グレおやぢの日常

1.概要 企業などでは、これまでの事業活動の中で大量に蓄積されたデータがあります。また、日々、増え続けています。 筆者も以前は、会社でイントラネットでグラフライブラリ等を利用して社内で共有する進捗状況や予算方針などの 経営諸数値をグラフ化して掲載していました。現在は、BIツールやAIなどを導入したため、手作りのものは利用する ことがなくなりました。個人的な研究や調査結果などでの利用範囲となりました。Web上で掲載する機会も少ない のですが、見える化の一環として便利なものですので良く利用されるグラフをテンプレート(サンプル)として作成して見ました。 2.良く利用するグラフのテンプレート 無料で使えるJavaScriptのグラフライブラリとしては、Chart.js、Chartist.js、Google Chartsなどが良く利用されていますが、 今回は、Google Chartsを利用して見ることにしました。ただ少し心配な点は、Googleのサービスなので、いつサービスが 廃止されるかわからない点があります。練習用ということで、良く利用される代表的なグラフから10種類を選択して、 データ数値やタイトル、要素名などを変更すれば簡単に利用できると思います。 下記のデモをクリックするとサンプルを確認できます。どんなグラフライブラリでも同じですが、デザインやレイアウトに拘り 過ぎるとコードがごちゃごちゃして分かりにくくなりますので、注意が必要です。 DEMO    Google Chartsグラフテンプレート 3.ソースコード ソースコードは、下記の通りです。ほとんど、公式サイトのギャラリーにあるサンプルをベースにカスタマイズしたものです。 Googleグラフ公式サイト URL: https://developers.google.com/chart 作成したテンプレートのグラフは、次の10種類です。 ・縦棒グラフ ・３Ｄ円グラフ ・積み上げ縦棒グラフ ・複数折れ線グラフ ・ドーナツグラフ(パイチャート) ・折れ線グラフ ・横棒グラフ ・積み上げ(100%)横棒グラフ ・縦棒グラフ(比較) ・面(100%)積み上げグラフ テキストのフォント( textStyle )、タイトルのフォント( titleTextSty

1.概要 日本語形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報に基づき、 形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業です。（出典:Wikipedia） 形態素解析エンジンとしては、Mecabが有名です。筆者もPythonにインストールして、テキストマイニングに利用しています。しかし、会社などで利用したい 場合は、このような環境を個人的な利用目的で構築するにしても、セキュリティ上の問題などでIT管理者などから利用許可が下りない場合があります。 今回は、普段から利用しているExcelのアドインでテキストマイニングをして見たいと思います。特別なサーバーなどへのインストールなしで、 個人PCにアドインのインストール許可さえもらえれば誰でも簡単にテキストマイニング(ワードクラウド)分析をすることができます。 2.利用方法 (1)Excelのアドインである「E2D3」を追加します。「挿入」→「アドインを入手」をクリックし      「データ分析」を選択して、「E2D3」を探します。見つかったら、「追加」をクリックしま      す。これで、「E2D3」が利用できるようになります。 (2)分析するデータ(テキスト文書)を準備します。 (3)下記サイトの日本語形態素解析サービス(無料ツール)を利用して、文書を解析し品詞毎に分解、      統計データとして出力します。 日本語形態素解析サービス(無料ツール) URL : https://opendata-web.site/tool/parse/ ※ブックマーク等に登録しておくと良いでしょう。 (4)分析するデータ(テキスト文書)をテキストボックスに貼付け、解析ボタンをクリックします。 (5)解析結果が日本語形態素と統計の2種類画面出力されるので、統計の表をコピペして、Excelの      空きシートに一時的に貼り付けます。 (6)フィルタを追加して、品詞で名詞を選択してフィルタリングします。名詞のみのデータになるの      で、フィルタしたシートのB列(出現数)、C列(表記)をコピーして退避し、B列とC列を入れ替え

1.概要 毎日、365日利用している電気について、その使用量がどうなっているのか気にしたことはありませんか？ 東京電力のサイトでは、でんき予報として電気の使用量についての、予測や実績をリアルタイムで数値で公開されています。 過去の使用実績についても、数値をダウンロードできます。 でんき予報には東京電力グループだけでなく、サービスエリア内全ての電力需要ならびに電力供給力の合計値が掲載されています。 今回、普段あまり気にすることは多くないと思いますが、サービス提供されているデータをHSPスクリプト言語でリアルタイムに 取得し、グラフ化して可視化します。 2.ソースコード 作成したプログラムは、 東京電力 - 電力使用状況 (poweruse.exe) です。起動すると、 最新の使用率(%)をゲージグラフで表示します。使用率は、実績値 / 供給力で表されます。 グラフボタンをクリックすると、使用量の時間帯別推移をグラフ化して表示します。1時間単位ですので、〇〇時台の実績となり、 1時間前の状況となります。下記の画面は、この記事を作成する前に取得したもので、画面下のグラフは24時間の推移がどんな風にグラフ化 されるのを見せるために、過去のデータから参考としてグラフ化したものです。 尚、 poweruse.exe を実行させるには、設定情報の保存に SQLite3 を利用していますので、同一フォルダに SQLite3.dll が必要です。ダウンロードアーカイブに同梱しています。 ソースコードは、下記の通りです。コードの前半部分は、画面の描画や移動などに必要なAPIやグラフ描画のためのモジュールを定義 しています。起動すると、電力使用状況のサイトページにアクセスして、一旦ページ全体を取得しバッファに格納します。 取得先ページは、予め取得し易いようにテキスト形式のカンマ区切りとしてデータが掲載されています。 取得できたら、現在の時間から、最新のデータに更新されている行を取得後、改行コードを変換します。 取得データを分解して配列に格納したら、ゲージグラフを描画します。ゲージグラフは 「アナログ時計」 の 針の位置を描画するルーチンの応用で270°を 0(基点)として計算しています。以下、その状態でタイマー割り込みで10分単位に サイトにアクセスして更新データを取得

1.概要 現在から過去に発生した地震の履歴情報をwebサイトから定期的に取得して畜積していますが、年度別、月別、震度別といった区分けで 集計して 統計的にまとめて 見ました。データを集めるだけでは何の役にも立たないので有効活用できないものかと模索しています。 データの取得方法には、色んな手段がありますが、筆者の場合は定期的および継続的にデータの差分を取得する仕組みをExcel VBAで作成 して活用しています。今回は データ取得後の蓄積データの活用方法について紹介 します。 2.地震発生履歴情報の取得方法 2-1.データ取得先の調査 データを取得するに当たり、どのサイト様からデータを入手するのが良いのか調べてみると、下記のサイト様に必要とすべき地震履歴データが掲載されていました。 ■気象庁 : 地震情報（震源・震度に関する情報） URL : https://www.jma.go.jp/jp/quake/quake_singendo_index.html データの表示文字が全て全角表示であり、過去分まで遡って取得できそうにない。 ■tenki.jp : 過去の地震情報 URL : https://earthquake.tenki.jp/bousai/earthquake/entries/ 最大震度の部分が画像で表示されているので、取得処理がめんどくさそうである。 過去分のデータ件数が約30,000件とYahoo!地震と比べて登録数が少ない。 ■goo : 地震一覧 URL : https://weather.goo.ne.jp/earthquake/list/ 過去分のデータ件数が約16,000件とYahoo!地震と比べて登録数が少ない。 また、マグネチュードが掲載されていない。 ■Yahoo! : 履歴一覧 URL : https://typhoon.yahoo.co.jp/weather/earthquake/list/ 過去分のデータ件数が約42,000件と豊富である。 また、必要な項目の並びやデータ項目がある。 ページのソースコードを確認して見ると、取得する箇所がTABLEタグで作られており スクレイピングで取得し易い作りとなっている。 以上の調査結果から、 Yahoo! 履歴一覧から取得 し

1.日本海産魚類目録分類図 データの可視化(視覚化)の第三弾として、 鳥類目録 、 哺乳類目録 に続き 魚類目録の可視化 を行って見ます。 データの作成手順 や可視化の手法は、鳥類目録とほぼ同じですが、入手できる元となるデータが鳥類目録の場合は Excel の表形式で提供されてい ましたが、魚類目録の場合は探して見ましたが加工しやすい形式のものは見つかりませんでした。使えそうなものとして PDF 形式の 「日本海産魚類目録(予報)」というものがありました。 今回は、この PDF 形式の目録リストを利用することにしました。 2.データ作成手順 まずは、魚類目録の可視化をするために「日本海産魚類目録(予報)」をダウンロードします。 1. 下記のサイトより、日本海産魚類目録(予報)(5-94.pdf)をダウンロード     (出典: 資料提供元(敬称略) :著者 : 河野光久 ・土井啓行 ・堀 成夫)     データダウンロード先： http://jsnfri.fra.affrc.go.jp/pref/yamaguchi/kenpo/9/pdf/65-94.pdf ※2.以降の手順は、筆者が行った参考手順ですので読み飛ばしてもOKです。 2.ダウンロードした PDF ファイルを開き、P7～P30(PDF のページ番号)を参照します。 3.P7～P30(PDF のページ番号)までを選択してコピーします。     (※PDF からテキストを抽出するがあれば、それを利用するのも良いでしょう) 4.コピーしたデータをそのままメモ帳などのテキストエディタに貼り付けます。 5.英語名部分などは今回使用しないので、データを目視しながら可能な限り不要部分を     削除します。また、文字化けした部分も多々あるので注意深く削除します。 6.重複データや他に文字化けがないかチェックして、Excel に取り込む形式にするため、     目名、科名、種名を TAB でインデントします。 7.TAB でインデントできたら、一旦、fish.txt としてセーブします。 8.新規に Excel を開き、データ→テキストファイルで fish.txt をインポートします。データ形式は、     すべて文字列としておいて下さい。 9.インポートできたら

1.日本哺乳類目録分類図 データ可視化(視覚化)の第二弾として、 鳥類目録 に続き、 哺乳類目録の可視化 を行って見ます。データの作成手順や可視化 の手法は、 鳥類目録 とほぼ同じですが、入手できる元となるデータが 鳥類目録 の場合は Excel の表形式で提供されていましたが、 哺乳類目録の場合 は探して見ましたが加工しやすい形式のものは見つかりませんでした。使えそうなものとして PDF 形式の環境 省自然環境局野生生物課が公開 している「日本野生鳥獣目録リスト」がありました。今回は、この PDF 形式の目録リストを利用 することにしました。 2.データ作成手順 まずは、哺乳類目録の可視化をするために「哺乳類目録リスト」をダウンロードします。 1. 下記のサイトより、哺乳類目録リスト(inventory-of-wildlife.pdf)をダウンロード     (出典 : 資料提供元 : 環境省自然環境局野生生物課)     データダウンロード先： http://www.biodic.go.jp/kiso/15/inventory-of-wildlife.pdf ※2.以降の手順は、筆者が行った参考手順ですので読み飛ばしてもOKです。 2.データは、平成 14 年 7 月作成のもので、やや古いのですが、この PDF 資料から必要な部分を     コピーしてテキスト化します。 3.ダウンロードした PDF ファイルを開き、P31～P37(PDF のページ番号)までを選択してコピー     します。 4.コピーしたデータをそのままメモ帳などのテキストエディタに貼り付けます。 5.英語名部分などは今回使用しないので、データを目視しながら可能な限り不要部分を     削除します。 6.とりあえず仮整形した状態までできたら、半角カタカナを全角カタカナへ置換します。     たいていのテキストエディタは半角→全角変換があると思いますので、その機能を利用して     変換します。 7.まだ、この状態でも文字化け等があって見にくいので、濁点などの文字化けを置換機能で正しく     変換して整形します。 8.重複データや他に文字化けがないかチェックして、Excel に取り込む形式にするため、     目名、科名、種名を

1.日本鳥類目録分類図 データの可視化(視覚化)をして見たいと思います。データの可視化はグラフや電子地図上にデータをマッピングしたりして分かりやすくすることです。 これを「データビジュアライゼーション」と言うそうです。特に今回は、題材として階層構造化(ツリー構造)されたデータを可視化ツールとして有名な Javascript ライブラリである D3.js を利用して見ました。まず、 見える化の第一弾としての題材は鳥類目録の作成 をします。 題材における可視化のヒントは、 ■公式ウェブサイト URL : https://d3js.org/ ■2013-12-27 d3.jsで鳥類目録 URL : http://d.hatena.ne.jp/tmizu23/20131227 ■DATA GO JPで公表されている苔の絶滅危惧種を R + d3.js で可視化してみた URL : http://kuteken.hatenablog.com/entry/2013/12/25/025118 のサイトで公開されているものが非常に興味深く、参考とさせて頂きました。同じことをやって見たいと思い、データの収集と階層構造 データの作成に取り組みましたので、 その作成手順等を紹介致します。 2.データ作成手順 まずは、鳥類目録の可視化をするために「鳥類目録 第 7 版」をダウンロードします。 1. 下記のサイトより、日本鳥類目録 第 7 版リスト(mokuroku7.xls)をダウンロード (資料提供元 : NPO 法人 バードリサーチ) データダウンロード先： http://www.bird-research.jp/1_shiryo/7ed/ 2.ダウンロードしたExcelファイルを開き、目名、科名、種名のみを残し、     他の列(A列、E列)は削除します。 3.目名、科名、種名を残した状態で列(A列、B列)を挿入で追加して、     A列：日本鳥類目録、B列:鳥類を追加します。 4.階層構造にして、目名と科名の同じものをそれぞれ先頭行のみとして削除します。 5.階層構造の表ができたら、A列の最終行にEOFの文字列を追加します。 6.ベースの表ができたので名前を付けて保存するので、任意のブック名で     一旦

1.はじめに 仕事や趣味でいろいろなデータを扱いますが、プログラミングで扱うデータ形式も多種多様でデータベース、テキスト、csv、xml、json形式など 思い付くだけで数十種類でてきます。データの見える化 (可視化) をやりたくて階層構造のJSON形式のファイルを扱う必要性があり、 元データ収集・編集 ⇒ Excelでデータ作成 ⇒ CSV出力 ⇒ 階層構造のJSONファイルへ変換出力と言ったステップでJSONファイルを作成して見ましたので紹介致します。 2.階層構造CSVtoJSONコンバータ 最初は、テキストエディタで手作業でJSONファイルを作成しょうと試みましたが、{}の対応付けや[,などの挿入漏れなど ミスすることが多くてデータを読み込むとエラーで動かないことの連続でした。何とか効率良く元データより階層構造の JSON形式のファイルを作成することができないものかとネット検索しても意図したものを見つけ出すことが出来ませんでした。 そこで今回、試行錯誤してExcel VBAで作成した 「階層構造CSVtoJSONコンバータ」 によるデータ作成手順をまとめて見ました。 階層構造のJSONファイルとは、 親、子、孫、曾孫・・・といった 階層構造のデータ形式のァイル です。 2-1.データの収集について まずは、目的とすべき元となるデータを収集しなければなりません。データの入手や収集手段はいろいろあると思いますが、 1回限りでのみ利用する場合や不定期、日次、週次、月次など継続的に利用する場合に応じて効率良い方法を選択する必要があります。 企業では自社内の各種システムにて収集や加工・編集などができるツール類もあると思いますが、個人ではなかなか揃えられません。 尚、今回は小規模なデータを扱うことを前提としているので効率的なデータの収集方法などについては別の機会にでも考えていきたいと 思います。ここでは、 「階層構造CSVtoJSONコンバータ」 の説明のためのテストデータを利用しての手順について説明します。 2-2.作成手順 (1)元データの準備 (テスト用に鳥類目録データの一部を利用) (2)Excelで元データを利用して、階層構造のデータ表を作成する。     ※【お願い】ファイルの終端判定のため、A列の末尾のセルにEOFと追記して下