グレおやぢの日常

1.概要 leafletで地図などを作成していますが、マーカーなどを配置する場合、必須になるのが緯度と経度です。 元となる原単位情報で住所や建物名などの表を作り、そこに緯度と経度を挿入します。緯度と経度の調べ方は、 いろいろありますが、大量の緯度と経度を調べるのは、GoogleMapsなどで一つずつ検索に住所を入れて調べてられません。 そこで住所からの逆引きという方法を用いるのが一般的です。これをアドレスマッチングと言います。筆者も以前は、 GoogleMapsのAPIをコールして自動でアドレスマッチングしていましたが、GoogleMapsにおける無料利用の範囲が制限 されてから、Web上の変換サービスを利用させて頂いています。こうして得られた緯度と経度ですが、精度の面で 検証が必要となります。ときどき変な場所の緯度と経度であったりします。今回は、検証に利用するために緯度と経度を複数の地図での URLリンクを自動で作成するツールを作成して見ました。 2.利用方法 まずは、アドレスマッチングツールを紹介します。 下記のサイト様でサービスが提供されています。住所の入ったCSVデータから一括して変換してくれます。サイトに書かれている 利用方法や注意事項を良く読んで利用して下さい。 「東京大学空間情報科学研究センター」が提供している「Geocoding Tool & Utilities」 URL : http://newspat.csis.u-tokyo.ac.jp/geocode/ 利用手順は、次の通りです。 (1)緯度、経度が入力されている表を準備します。       ※緯度と経度をCSVファイルにしているものでも可。ファイルから入力で行います。 (2) 各種地図用URLリンク作成.xlsm 起動します。 (3)プルダウンより対象地図を選択します。対象地図は、次の5種類から選択できます。 ・google maps ・Yahoo地図 ・Bing地図 ・Mapon ・XRAIN GIS版 (4)準備してある表の緯度と経度をコピーして、A5から貼付します。 (5)ファイルから貼付ボタンをクリックします。 (6)地図表示用のURL一覧がE5から表示され、外部ファイルにテキスト形式で出力されます。 (7)ファイルから入

1.概要 日本語形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報に基づき、 形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業です。（出典:Wikipedia） 形態素解析エンジンとしては、Mecabが有名です。筆者もPythonにインストールして、テキストマイニングに利用しています。しかし、会社などで利用したい 場合は、このような環境を個人的な利用目的で構築するにしても、セキュリティ上の問題などでIT管理者などから利用許可が下りない場合があります。 今回は、普段から利用しているExcelのアドインでテキストマイニングをして見たいと思います。特別なサーバーなどへのインストールなしで、 個人PCにアドインのインストール許可さえもらえれば誰でも簡単にテキストマイニング(ワードクラウド)分析をすることができます。 2.利用方法 (1)Excelのアドインである「E2D3」を追加します。「挿入」→「アドインを入手」をクリックし      「データ分析」を選択して、「E2D3」を探します。見つかったら、「追加」をクリックしま      す。これで、「E2D3」が利用できるようになります。 (2)分析するデータ(テキスト文書)を準備します。 (3)下記サイトの日本語形態素解析サービス(無料ツール)を利用して、文書を解析し品詞毎に分解、      統計データとして出力します。 日本語形態素解析サービス(無料ツール) URL : https://opendata-web.site/tool/parse/ ※ブックマーク等に登録しておくと良いでしょう。 (4)分析するデータ(テキスト文書)をテキストボックスに貼付け、解析ボタンをクリックします。 (5)解析結果が日本語形態素と統計の2種類画面出力されるので、統計の表をコピペして、Excelの      空きシートに一時的に貼り付けます。 (6)フィルタを追加して、品詞で名詞を選択してフィルタリングします。名詞のみのデータになるの      で、フィルタしたシートのB列(出現数)、C列(表記)をコピーして退避し、B列とC列を入れ替え

1.概要 データの可視化をテーマとして、当ブログ内で鳥類、哺乳類、魚類の目録データを階層構造のJSONファイルを作成し、D3.jsのCollapsible Treeで 可視化をしています。実際、公開しているデモサンプルを見て頂いた方より、ツリーを一つずつクリックしないで 縦長にそのまま表示して閲覧できるようにしてほしいとの要望を頂きました。ダウンロードアーカイブには、Collapsible Treeで展開された 画像を分割して、提供していますが印刷して繋げられるように、サイズの関係からA3版のサイズとしていました。 今回、1枚にした画像をWeb画面として閲覧できるように対応しましたので、紹介します。 2.鳥類、哺乳類、魚類目録分類図 下記のDEMOをクリックすると、それぞれの画面が確認できます。 DEMO    1.日本鳥類目録第７版　分類図 (Collapsible Tree) DEMO    2.日本海産魚類目録　分類図 (Collapsible Tree) DEMO    3.日本哺乳類目録　分類図 (Collapsible Tree) ■関連記事 ・日本鳥類目録分類図の可視化 ・日本哺乳類目録分類図の可視化 ・日本海産魚類目録分類図の可視化

1.概要 当ブログの 「過去の気象データ検索からのデータ取得」 で気象庁のページより取得済みのデータが溜まっていますので、 今回は、この溜まったデータの整理方法について紹介します。年単位のフォルダに保存している月単位(1月から12月)のブックを1つのブックに統合します。 月別のデータを12枚のシートと年毎に集約した気温データ一覧、気温グラフ一覧、気圧グラフ一覧、湿度グラフ一覧、風速グラフ一覧、日照時間グラフ一覧、降水量グラフ一覧を 加えた計19枚のシートを作成して纏めるものです。 2.使用方法 (1) 気象庁_気象データ統合.xlsm を起動します。 (2)カレントディレクトリに作業用サブフォルダのWORKディレクリを作成し、月別ファイルを      コピーします。 ※作業用のWORKフォルダは必ず作成して下さい。 (3)気象データブック統合処理ボタンをクリックします。 (4)作業用フォルダのWORK内のファイル一覧を取得して、ファイル統合処理を開始します。 (5)統合処理が完了すると、WORK内のコピー元ファイルの削除応答があるので、OKボタンを      クリックします。 ※特別な用途がなければ、通常は削除して下さい。 (6)グラフ作成処理と統合ファイルの作成が全て完了したら、ダイアログのOKボタンを      クリックして処理を終了します。 (7)統合されたファイルは、カレントディレクリに〇〇〇〇年気象情報.xlsxという形式      で出力されるので、月別の管理フォルダと同様に気象年別統計データというフォルダを作成して      管理すると良いと思います。 尚、作成されるシート名は、以下の通りです。(例：2020年の場合) ・2020年1月～2020年12月 (計12シート) ・気温データ一覧 ・気温グラフ一覧 ・気圧グラフ一覧 ・湿度グラフ一覧 ・日照時間グラフ一覧 ・風速グラフ一覧 ・降水量グラフ一覧 3.ソースコード ソースコードは、下記の通りです。 Sheet1(ブック統合処理) は、シート上に配置した 「気象データブック統合処理」ボタンのクリックイベントです。クリックすると、 標準モジュールのBookcom の CopyBook() の処理を実行します。 事前に作成して

1.概要 気象庁ホームページが最近、大幅なサイトリニューアルにより、色んな情報がビジュアル化されて分かりやすくなっています。従来の表示方法も気に入ってはいたのですが、 地図をベースとした利用者の地域に密着したものに改訂されています。気象や地震情報は日々の暮らしに欠かせないものです。また、過去の統計データなども、 防災や減災対策に役に立つものです。今回は、気象庁の公開データの 「過去の気象データ検索」 から日ごとの値を取得してグラフ化して見ます。 2.利用方法 Excel VBAマクロの 気象庁_気象情報自動取得.xlsm を起動します。 (1)取得期間をプルダウンで、開始年月と終了年月を設定します。       ※1ヶ月分のみの場合は、開始、終了共に同じ年月を設定します。 (2)実行ボタンをクリックします。 (3)取得データと共に6種類のグラフを描画して結果をブック形式で外部出力します。 気象庁の過去の気象データは、1976年から取得できますが、都道府県の気象台や観測所での観測開始時期が異なるので、 必ずしも、全国一律に取得(データ蓄積)できるかどうかは、未確認です。 3.ソースコード ソースコードは曜日(土、日)や日付の色分けと6つのグラフの描画部分などがあり、 標準モジュール : IEAuto は非常に冗長となっていますが、 全リストを掲載しています。データ取得は、 東京をデフォルトとして設定 していますので、他の都道府県の地域を指定する場合は、 下記の都道府県の prec_no と block_no の指定が必要となります。 気象台や観測所が都道府県によって複数ありますが、各都道府県の中の気象台を1つのみ選択して表に纏めたものです。 標準モジュール : IEAuto の 65行目と66行目をそれぞれ変更 して下さい。元々、他の地域のデータ取得を考慮していなかったので、 お手数ですが、該当ソースコード部分を直接変更して下さい。 都道府県 地域 prec_no block_no 01 : 北海道 北海道(釧路)－釧路 19 47418 02 : 青森県 青森県－青森 31 47575 03 : 岩手県 岩手県－盛岡 33 47584 04 : 宮城県 宮城県－仙台 34 47590 05 : 秋田県 秋田

1.概要 毎日、365日利用している電気について、その使用量がどうなっているのか気にしたことはありませんか？ 東京電力のサイトでは、でんき予報として電気の使用量についての、予測や実績をリアルタイムで数値で公開されています。 過去の使用実績についても、数値をダウンロードできます。 でんき予報には東京電力グループだけでなく、サービスエリア内全ての電力需要ならびに電力供給力の合計値が掲載されています。 今回、普段あまり気にすることは多くないと思いますが、サービス提供されているデータをHSPスクリプト言語でリアルタイムに 取得し、グラフ化して可視化します。 2.ソースコード 作成したプログラムは、 東京電力 - 電力使用状況 (poweruse.exe) です。起動すると、 最新の使用率(%)をゲージグラフで表示します。使用率は、実績値 / 供給力で表されます。 グラフボタンをクリックすると、使用量の時間帯別推移をグラフ化して表示します。1時間単位ですので、〇〇時台の実績となり、 1時間前の状況となります。下記の画面は、この記事を作成する前に取得したもので、画面下のグラフは24時間の推移がどんな風にグラフ化 されるのを見せるために、過去のデータから参考としてグラフ化したものです。 尚、 poweruse.exe を実行させるには、設定情報の保存に SQLite3 を利用していますので、同一フォルダに SQLite3.dll が必要です。ダウンロードアーカイブに同梱しています。 ソースコードは、下記の通りです。コードの前半部分は、画面の描画や移動などに必要なAPIやグラフ描画のためのモジュールを定義 しています。起動すると、電力使用状況のサイトページにアクセスして、一旦ページ全体を取得しバッファに格納します。 取得先ページは、予め取得し易いようにテキスト形式のカンマ区切りとしてデータが掲載されています。 取得できたら、現在の時間から、最新のデータに更新されている行を取得後、改行コードを変換します。 取得データを分解して配列に格納したら、ゲージグラフを描画します。ゲージグラフは 「アナログ時計」 の 針の位置を描画するルーチンの応用で270°を 0(基点)として計算しています。以下、その状態でタイマー割り込みで10分単位に サイトにアクセスして更新データを取得

1.概要 Leafletで地図を作ろう － (都道府県別人口統計マップ) の元情報となった都道府県(全国自治体)の原単位である 住所や電話番号などをメンテしてHTMLコンテンツとして整理して見ました。地図上のスライドメニューからもリンクさせています。都道府県名や市町村名をクリックすると、 県庁や役所のホームページを表示するようにリンクさせています。行政もいろいろと電子化が進められていて、全国全ての自治体にはホームページがあります。 情報も各自治体独自に工夫されていて、充実したものとなっています。時々、じっくり見てみると、補助金制度や各種申請をすればもらえる便利な情報もあります。 2.利用方法 資料は、全部で11種類あります。全国地方自治体所在地一覧は、全国を10ブロックに分けてまとめてあります。 DEMO    0.都道府県庁所在地一覧データ DEMO    1.全国地方自治体所在地一覧 (北海道地方) DEMO    2.全国地方自治体所在地一覧 (東北地方) DEMO    3.全国地方自治体所在地一覧 (関東・甲信地方) DEMO    4.全国地方自治体所在地一覧 (北陸地方) DEMO    5.全国地方自治体所在地一覧 (東海地方) DEMO    6.全国地方自治体所在地一覧 (関西地方) DEMO    7.全国地方自治体所在地一覧 (中国地方) DEMO    8.全国地方自治体所在地一覧 (四国地方) DEMO    9.全国地方自治体所在地一覧 (九州地方) DEMO    10.全国地方自治体所在地一覧 (沖縄地方) ■関連記事 ・Leafletで地図を作ろう － (都道府県別人口統計マップ)