グレおやぢの日常

1.概要 ●タイムの相互変換方法について 競馬データの中で走破タイムを比較したりする場合、秒に変換して 比較するのが一般的でありますが、走破タイムは、m.s.0という形式で 1/10秒までで表示されています。 この形式のままでは、直接、Excelでは秒に変換することが難しいです。 これをうまく計算させるには、m.s.0の形式で入力されているデータ をユーザー定義で、m:s:0としてセルの書式を書式変換して計算させます。 また、逆に秒から分への変換では、計算結果をユーザ定義で 選択して形式を m:s.0とすれば相互に変換することができます。 今回は、計算例としての「タイム換算計算テーブル(秒) →(分)への変換」を作成して見ました。 2.タイム換算計算テーブル 計算方法は、次のようにします。 ＜秒 → 分への変換＞ s : 変換元秒(sec) m : 変換後分(min) m = s/(24*60*60) ※セルの書式の表示形式で、ユーザ定義を選択して、形式を m:s.0 とする。 ＜分 → 秒への変換＞ m : 変換元分(min) s : 変換後秒(sec) s = INT(m*1440)+(m*1440-INT(m*1440))*0.6 3.ダウンロード 紹介したタイム換算計算テーブル(サンプル)は、必要であれば、下記よりダウンロードして自由に利用下さい。 ダウンロード

1.概要 leafletで地図などを作成していますが、マーカーなどを配置する場合、必須になるのが緯度と経度です。 元となる原単位情報で住所や建物名などの表を作り、そこに緯度と経度を挿入します。緯度と経度の調べ方は、 いろいろありますが、大量の緯度と経度を調べるのは、GoogleMapsなどで一つずつ検索に住所を入れて調べてられません。 そこで住所からの逆引きという方法を用いるのが一般的です。これをアドレスマッチングと言います。筆者も以前は、 GoogleMapsのAPIをコールして自動でアドレスマッチングしていましたが、GoogleMapsにおける無料利用の範囲が制限 されてから、Web上の変換サービスを利用させて頂いています。こうして得られた緯度と経度ですが、精度の面で 検証が必要となります。ときどき変な場所の緯度と経度であったりします。今回は、検証に利用するために緯度と経度を複数の地図での URLリンクを自動で作成するツールを作成して見ました。 2.利用方法 まずは、アドレスマッチングツールを紹介します。 下記のサイト様でサービスが提供されています。住所の入ったCSVデータから一括して変換してくれます。サイトに書かれている 利用方法や注意事項を良く読んで利用して下さい。 「東京大学空間情報科学研究センター」が提供している「Geocoding Tool & Utilities」 URL : http://newspat.csis.u-tokyo.ac.jp/geocode/ 利用手順は、次の通りです。 (1)緯度、経度が入力されている表を準備します。       ※緯度と経度をCSVファイルにしているものでも可。ファイルから入力で行います。 (2) 各種地図用URLリンク作成.xlsm 起動します。 (3)プルダウンより対象地図を選択します。対象地図は、次の5種類から選択できます。 ・google maps ・Yahoo地図 ・Bing地図 ・Mapon ・XRAIN GIS版 (4)準備してある表の緯度と経度をコピーして、A5から貼付します。 (5)ファイルから貼付ボタンをクリックします。 (6)地図表示用のURL一覧がE5から表示され、外部ファイルにテキスト形式で出力されます。 (7)ファイルから入

1.概要 日本語形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報に基づき、 形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業です。（出典:Wikipedia） 形態素解析エンジンとしては、Mecabが有名です。筆者もPythonにインストールして、テキストマイニングに利用しています。しかし、会社などで利用したい 場合は、このような環境を個人的な利用目的で構築するにしても、セキュリティ上の問題などでIT管理者などから利用許可が下りない場合があります。 今回は、普段から利用しているExcelのアドインでテキストマイニングをして見たいと思います。特別なサーバーなどへのインストールなしで、 個人PCにアドインのインストール許可さえもらえれば誰でも簡単にテキストマイニング(ワードクラウド)分析をすることができます。 2.利用方法 (1)Excelのアドインである「E2D3」を追加します。「挿入」→「アドインを入手」をクリックし      「データ分析」を選択して、「E2D3」を探します。見つかったら、「追加」をクリックしま      す。これで、「E2D3」が利用できるようになります。 (2)分析するデータ(テキスト文書)を準備します。 (3)下記サイトの日本語形態素解析サービス(無料ツール)を利用して、文書を解析し品詞毎に分解、      統計データとして出力します。 日本語形態素解析サービス(無料ツール) URL : https://opendata-web.site/tool/parse/ ※ブックマーク等に登録しておくと良いでしょう。 (4)分析するデータ(テキスト文書)をテキストボックスに貼付け、解析ボタンをクリックします。 (5)解析結果が日本語形態素と統計の2種類画面出力されるので、統計の表をコピペして、Excelの      空きシートに一時的に貼り付けます。 (6)フィルタを追加して、品詞で名詞を選択してフィルタリングします。名詞のみのデータになるの      で、フィルタしたシートのB列(出現数)、C列(表記)をコピーして退避し、B列とC列を入れ替え

1.概要 当ブログの 「過去の気象データ検索からのデータ取得」 で気象庁のページより取得済みのデータが溜まっていますので、 今回は、この溜まったデータの整理方法について紹介します。年単位のフォルダに保存している月単位(1月から12月)のブックを1つのブックに統合します。 月別のデータを12枚のシートと年毎に集約した気温データ一覧、気温グラフ一覧、気圧グラフ一覧、湿度グラフ一覧、風速グラフ一覧、日照時間グラフ一覧、降水量グラフ一覧を 加えた計19枚のシートを作成して纏めるものです。 2.使用方法 (1) 気象庁_気象データ統合.xlsm を起動します。 (2)カレントディレクトリに作業用サブフォルダのWORKディレクリを作成し、月別ファイルを      コピーします。 ※作業用のWORKフォルダは必ず作成して下さい。 (3)気象データブック統合処理ボタンをクリックします。 (4)作業用フォルダのWORK内のファイル一覧を取得して、ファイル統合処理を開始します。 (5)統合処理が完了すると、WORK内のコピー元ファイルの削除応答があるので、OKボタンを      クリックします。 ※特別な用途がなければ、通常は削除して下さい。 (6)グラフ作成処理と統合ファイルの作成が全て完了したら、ダイアログのOKボタンを      クリックして処理を終了します。 (7)統合されたファイルは、カレントディレクリに〇〇〇〇年気象情報.xlsxという形式      で出力されるので、月別の管理フォルダと同様に気象年別統計データというフォルダを作成して      管理すると良いと思います。 尚、作成されるシート名は、以下の通りです。(例：2020年の場合) ・2020年1月～2020年12月 (計12シート) ・気温データ一覧 ・気温グラフ一覧 ・気圧グラフ一覧 ・湿度グラフ一覧 ・日照時間グラフ一覧 ・風速グラフ一覧 ・降水量グラフ一覧 3.ソースコード ソースコードは、下記の通りです。 Sheet1(ブック統合処理) は、シート上に配置した 「気象データブック統合処理」ボタンのクリックイベントです。クリックすると、 標準モジュールのBookcom の CopyBook() の処理を実行します。 事前に作成して

1.概要 気象庁ホームページが最近、大幅なサイトリニューアルにより、色んな情報がビジュアル化されて分かりやすくなっています。従来の表示方法も気に入ってはいたのですが、 地図をベースとした利用者の地域に密着したものに改訂されています。気象や地震情報は日々の暮らしに欠かせないものです。また、過去の統計データなども、 防災や減災対策に役に立つものです。今回は、気象庁の公開データの 「過去の気象データ検索」 から日ごとの値を取得してグラフ化して見ます。 2.利用方法 Excel VBAマクロの 気象庁_気象情報自動取得.xlsm を起動します。 (1)取得期間をプルダウンで、開始年月と終了年月を設定します。       ※1ヶ月分のみの場合は、開始、終了共に同じ年月を設定します。 (2)実行ボタンをクリックします。 (3)取得データと共に6種類のグラフを描画して結果をブック形式で外部出力します。 気象庁の過去の気象データは、1976年から取得できますが、都道府県の気象台や観測所での観測開始時期が異なるので、 必ずしも、全国一律に取得(データ蓄積)できるかどうかは、未確認です。 3.ソースコード ソースコードは曜日(土、日)や日付の色分けと6つのグラフの描画部分などがあり、 標準モジュール : IEAuto は非常に冗長となっていますが、 全リストを掲載しています。データ取得は、 東京をデフォルトとして設定 していますので、他の都道府県の地域を指定する場合は、 下記の都道府県の prec_no と block_no の指定が必要となります。 気象台や観測所が都道府県によって複数ありますが、各都道府県の中の気象台を1つのみ選択して表に纏めたものです。 標準モジュール : IEAuto の 65行目と66行目をそれぞれ変更 して下さい。元々、他の地域のデータ取得を考慮していなかったので、 お手数ですが、該当ソースコード部分を直接変更して下さい。 都道府県 地域 prec_no block_no 01 : 北海道 北海道(釧路)－釧路 19 47418 02 : 青森県 青森県－青森 31 47575 03 : 岩手県 岩手県－盛岡 33 47584 04 : 宮城県 宮城県－仙台 34 47590 05 : 秋田県 秋田

1.概要 競馬成績表データベースを作るの第四弾です。これまで、作成したデータベースを活用するためには、検索表示などができないと 何の役にも立ちません。今回は、Excel VBAで作成します。当ブログ記事の 「Excelでデータベース(SQLite3)を扱う」 で紹介しているテンプレートとなるソースコードを元にして、検索部分とデータ出力機能を追加しデータが抽出できるようにしたものです。 データベースをしっかり作成していれば、競馬以外の他の用途でも、いろいろと応用の効くものとすることができます。 2.ソースコード まずは、簡単に操作方法を説明します。 Yahoo競馬レース成績表検索.xlsm を起動します。 検索条件のコンボボックスで「競馬場」、「距離」、「コース」の3つの条件を選択して、実行ボタンをクリックします。 抽出対象データがあれば、100件/1ページ単位にデータが表示されます。ページ制御をしていますので、「次ページ」、 「前ページ」、「先頭」、「最終」のボタンをクリックしてページを表示させます。 また、「出力」ボタンをクリックすると、CSV形式で抽出したデータを外部出力できます。「消去」ボタンは、 画面上のデータを強制的に消去するものです。新たな条件で「実行」ボタンをクリックすれば、前処理として 消去(画面クリア)させていますので、通常は操作不要です。尚、 Yahoo競馬レース成績表検索.xlsm の実行には、 SQLite の ODBC とこのプログラムで利用する データベース(pegasus.db) が 必要 ですので事前に準備しておいて下さい。 ThisWorkbook は、ブックを開いた時の初期設定処理をしています。検索条件設定用のコンボボックスに値をセットします。 '***** ブックを開いた時の初期設定処理 ***** Private Sub Workbook_Open() Sheets("成績表").Select Worksheets("成績表").Activate '***** 検索条件用のコンボボックスを設定 ***** ' 競馬場 Dim CBRaceKaisai(10) CBRac

1.概要 「競馬成績表データベースを作る」の第三弾として、競馬成績表データの取得が完了していることを前提として、 記事を進めていきます。今回は、取得済みデータ(CSVファイル)からデータベースを作っていきます。 データベースは、SQLite3を利用しますので、当ブログ記事の 「Excelでデータベース(SQLite3)を扱う」 を一読願います。 データベースを作成するための必要なツールなどを紹介しています。これからの作業で必要となりますので、準備しておいて下さい。 2.作成手順 第二弾で説明したデータ取得編での作業が終了しているものとします。 (1)取得データの格納先パスを指定しなかったので、取得データは、カレントディレクトリにあると      思います。 (2)作業のために新規フォルダとして、「成績」と「日程」という2つのフォルダを作成します。 (3)RXXXXXXXXXXXXXX.txtは日程フォルダへ移動、SXXXXXXXXXXXXXX.csvは成績フォルダへ移動      させて下さい。 (4)DBへの入力元となるインポート用成績表ファイルをマージします。マージ処理は、当ブログの       「複数のファイルをマージする」 で公開の テキストファイルマージツール(tfmarge.exe) を使用      します。マージ対象先である成績フォルダを選択し、拡張子はcsvで出力ファイル名を成績      マージ.csvとしてマージボタンをクリックします。      成績フォルダ内に成績マージ.csvが作成されますので、カレントディレクトリに移動させます。 (5)成績マージ.csvファイルをメモ帳等のテキストエディタで開いて、先頭行にヘッダ名を挿入し      ます。予め別メモで書いているものをコピーして貼り付けると良いでしょう。 (6)import.batをダブルクリックして、成績マージ.csvファイルからデータベースを作成します。       ※【注意】import.batと同一フォルダにsqlite3.exeが必要です。      ・作成するDBファイル名 : pegasus.db      ・インポートCSVファイル名 : 成績マージ.csv (エンコード : UTF-8)      ・テー