地震の発生履歴情報を集計して纏める

1.概要

現在から過去に発生した地震の履歴情報をwebサイトから定期的に取得して畜積していますが、年度別、月別、震度別といった区分けで 集計して統計的にまとめて見ました。データを集めるだけでは何の役にも立たないので有効活用できないものかと模索しています。 データの取得方法には、色んな手段がありますが、筆者の場合は定期的および継続的にデータの差分を取得する仕組みをExcel VBAで作成 して活用しています。今回はデータ取得後の蓄積データの活用方法について紹介します。


2.地震発生履歴情報の取得方法

2-1.データ取得先の調査

データを取得するに当たり、どのサイト様からデータを入手するのが良いのか調べてみると、下記のサイト様に必要とすべき地震履歴データが掲載されていました。

■気象庁 : 地震情報（震源・震度に関する情報）
URL : https://www.jma.go.jp/jp/quake/quake_singendo_index.html
データの表示文字が全て全角表示であり、過去分まで遡って取得できそうにない。
■tenki.jp : 過去の地震情報
URL : https://earthquake.tenki.jp/bousai/earthquake/entries/
最大震度の部分が画像で表示されているので、取得処理がめんどくさそうである。
過去分のデータ件数が約30,000件とYahoo!地震と比べて登録数が少ない。
■goo : 地震一覧
URL : https://weather.goo.ne.jp/earthquake/list/
過去分のデータ件数が約16,000件とYahoo!地震と比べて登録数が少ない。
また、マグネチュードが掲載されていない。
■Yahoo! : 履歴一覧
URL : https://typhoon.yahoo.co.jp/weather/earthquake/list/
過去分のデータ件数が約42,000件と豊富である。
また、必要な項目の並びやデータ項目がある。
ページのソースコードを確認して見ると、取得する箇所がTABLEタグで作られており
スクレイピングで取得し易い作りとなっている。

以上の調査結果から、Yahoo! 履歴一覧から取得しています。

2-2.スクレイピングプログラム

スクレイピングプログラムについてですが、筆者は参考となるソースコードが掲載されているサイト様が ありましたので、ほとんどそのままコピペして少し、手直しして利用させて頂いています。
少し古い記事ですが、ソースコードと丁寧な説明があります。

■クマがいちごを食べていた
  2012.09.01 【情報】Excelでスクレイピング【ぶっこ抜き】
  URL : http://n73.jugem.jp/?end=50

●筆者が実施した主な改良点(参考)
(1)前回取得分との差分を取得できるようにした
(2)取得結果をCSV形式で出力できるようにした
(3)シート上のデータを消去できる機能を追加した
(4)yyyymmddhhmm形式の検索キー項目を作成できるようにした

必要であれば、紹介のサイト様を参考とさせて頂いて、各自で利用しやすい形に改良すれば必要とすべきデータが取得できると思います。 筆者が改良したものは、9割以上丸写しですので再配布は致しません。 実際にデータを収集する場合は。取得件数が非常に多いので、サイト様に迷惑とならないように少しずつ取得件数を分割して 行うようにして下さい。データ取得は、全て自己責任で行って下さい。

3.地震発生履歴情報の集計と可視化

3-1.地震発生履歴情報の集計

(1)定期的に取得したデータをExcelで管理しています。
    (別の用途で利用するため、バックアップとしてSQLiteでもDBを作成して管理)

地震履歴シート画面

(2)地震履歴シートのデータ参照して、地震統計シートの各セルに計算式を設定して自動集計する。
    (下記画面は、年別・月別の集計結果画面である。)
    2004年から2023年まで自動集計できるように計算式を挿入済み

年別・月別統計画面

(3)(2)と同一画面です。
    (下記画面は、年別・月別の統計結果画面である。)
     2004年から2023年まで自動集計できるように計算式を挿入済み

年別・震度別統計画面

3-2.地震発生履歴情報の可視化

2004年1月から2020年12月までのデータ約41,000件分を集計後、区分別にグラフ化してWebへ掲載しています。

DEMO   地震発生履歴統計データ (2004年1月～2020年12月) －(１)

DEMO   地震発生履歴統計データ (2004年1月～2020年12月) －(２)

現在までに約41,00件取得して蓄積していますが、統計データを見てみると、毎年、累計で1,500件から2,000件の発生件数で推移していますが、2011年は東日本大震災が発生したので、9,000件と異常な発生件数となっています。 以上、何らかの参考となれば幸いです。

4.ダウンロード

Web上に掲載している年別、月別、震度別の統計データから取得したものを提供します。 ご自身で取得して見たいという方は、ExcelのWebクエリを使って取得して見て下さい。提供データは筆者がWebクエリで 取得したものを少し整理して、ブック形式で格納したものです。

操作方法は、Excelのバージョンによって多少タブやリボンの内容が異なりますが、機能的には変わりありません。 筆者は、Windows10(64bit)のOffice365(2016版)を利用しています。 「データ」→「Webから」→「Webからのダイアログ」がでたら取得先のURLを入力して、OKボタンをクリックしてテーブルデータの読み込みを行います。 全てのテーブルを追加(1つに連結)して作成しています。Power Queryの機能は使いこなせば非常に便利なんでしょうが、まだまだ、使いこなせていません。 詳細な操作方法や機能などは、ネットを検索して見て下さい。ここでは、説明を割愛させて頂きます。

●データ取得先Webページ
URL : http://hspnext.sakura.ne.jp/leaflet/震度観測点/html/eqtoukei01.html
URL : http://hspnext.sakura.ne.jp/leaflet/震度観測点/html/eqtoukei02.html

Excelのwebクエリ機能を利用してのデータ取得画面例

統計データは下記よりダウンロードして下さい。

ダウンロード