全国の猛暑日を調査するため、祖データとなる気象データを気象庁のホームページから収集する作業を本日、終えました。２年半前に真冬日を調べた際、１３都市の祖データはすでに入手しているので、まずは追加となる2022〜2023年のデータ補完に着手しました。これはプログラム言語「Python」を使ってデータを自動取得するのですが、今回の猛暑日で追加する５都市の中で館林、富山、那覇も含めて昨日までにデータ収集しました。本日は残りの仙台と熊谷のデータ収集をしたのですが、結構手こずりました。例えば熊谷は明治以来のおよそ130年分の日々のデータをゲットするとExcelシートの50,000行弱の収集に匹敵し通常ではPythonをRunさせて３時間ほどの処理時間となります。ところが、今回はpython実行が途中でエラーすることが頻発し、何時間かけても一旦エラーすると最初からやり直しとなってしまいます。そこで、一括収集ではリスクが大きく期間を区切って何回かに分けてのトライ＆エラーとなりました。集めたのが以下のファイル群です。
２都市のデータを10個のファイルに分断して収集することになり結局、朝から晩までかかりました。実際も10回のRunでは済まずエラー分を入れるとその倍は実行した感じでした。エラー原因はおそらくデータ取得先へのアクセスに時間がかかり過ぎるとタイムオーバーでダウンしたように思われます。ちなみにアクセス先は例えば、熊谷の最初のデータはこちらの月単位の表からデータを取ってきますが、どうでしょう。前のアンダーバーのリンク先をクリックして見て、みなさんのパソコンからはスムーズにデータ表示されたでしょうか。アクセス時間帯によっては結構バラついて時間がかかったりもするようです。とは言え、まあ何とか予定した全データを収集することができてホッとしています。
