競馬成績表データベースを作る(ツール－HSP編)

-
1.概要

競馬成績表データベースを作るの最終回です。第四弾で競馬成績表データベースを作る(ツール－Excel編)では、 データベースをExcel VBAにて作成したプログラムで操作しましたが、今回の記事では、HSPスクリプト言語で同等の機能のものを作ります。 実行形式(exe)ファイルとしているので、扱いも簡単でExcel版よりも、やや高速に動作します。HSPに付属しているSQLite3のラッパーモジュールで SQLite3のデータベースを操作できます。


2.ソースコード

まずは、raceseiseki.exeを起動します。使い方は、Yahoo競馬レース成績表検索.xlsmと同様に検索条件の 「競馬場」、「距離」、「コース」のプルダウンをそれぞれクリックして条件を選択します。検索ボタンをクリックすれば、条件にヒットしたものを全件出力します。 出力ボタンをクリックするとカンマ区切りのテキスト形式で出力します。
ソースコードの大部分は画面作成部分であり、実際にデータベースを操作する部分は、154行目から184行目となります。 また、最大抽出件数は、SQL文でLIMIT=20000件と制限しています。ページ制御もしていないので、Excel版と比べて非常にコンパクトです。 実際、筆者は約25万件のデータベースを作成して利用しています。 

	;*****  (raceseiseki.hsp) *****

	#include "sqlele.hsp"

	;***** 実行ファイル自動作成 ****
	#packopt type 0
	#packopt name "raceseiseki"
	#packopt runtime "hsprt"
	#packopt hide 1

	#module
	#uselib "kernel32.dll"
	#cfunc CreateMutex  "CreateMutexA" int,int,sptr
	#cfunc GetLastError "GetLastError"

	;***** 二重起動防止 *****
	#deffunc wexapend str prm1
	strname=prm1
	;***** 名前の文字列が省略された場合 *****
	if strlen(strname)==0 : strname="HSPApiseisekiSearch"
	ret=CreateMutex(0,1,strname)
	; 二重起動か？
	if GetLastError()==0   : return 0	; 同じジョブが起動していない
	if GetLastError()==183 : return 1	; 既に起動している
	return -1
	#global

	#uselib  "user32.dll"
	#func  EnableWindow "EnableWindow" int,int
	#uselib "gdi32.dll"
	#cfunc GetStockObject "GetStockObject" int
	#func  SetTextColor "SetTextColor" int,int
	#func  SetBkColor "SetBkColor" int,int
	#func  DeleteObject "DeleteObject" sptr

	#define WM_CTLCOLOREDIT		$00000133
	#define BLACK_BRUSH			$00000004

	wexapend "HSPApiseisekiSearch" : if stat : end

	;***** 起動ディレクトリ取得 *****
	sdim Startdir,512
	if hspstat&1=0 { Startdir=dir_exe+"¥¥" : chdir dir_exe
	} else {
		Startdir=dir_cur+"¥¥"
	}
	chdir Startdir

	;***** データベース存在確認 *****
	exist Startdir+"pegasus.db"
	if strsize ==-1 {
		dialog "データベースファイルが見つかりません。",0 : end
	}
	await

	;***** データベースオープン *****
	sql_open Startdir+"pegasus.db"

	#define MAX_REC					20000
	#define VER_CONSTAPPRI			1.0
	#define EM_SETMARGINS			$000000D3
	#define EC_LEFTMARGIN			$00000001
	#define EC_RIGHTMARGIN			$00000002
	#define CB_GETCURSEL			$00000147
	#define WM_COPY					$00000301
	#define EM_SETSEL				$000000B1
	#define EM_SETREADONLY			$000000CF
	#define CB_GETLBTEXT            $00000148
	#define WM_CLEAR                $00000303

	#define ctype RGB(%1,%2,%3) (%1|(%2<<8)|(%3<<16))
	#define ctype MAKELONG(%1,%2) (%1&$ffff|(%2<<16))

	;***** GUI画面作成 *****
	gosub *screengen

	sdim DBbuf,1000000
	sdim DBTmp,1000000
	sdim SQL,1024
	sdim Baba,12
	sdim sKyori,12
	sdim cource,12
	sdim fname,260
	
	syscolor 15 : boxf
	sysfont 17  : syscolor 8
	BarName="競馬成績データベース検索 Ver"+strf("%.1f",VER_CONSTAPPRI)
	title BarName
	;***** 競馬場選択 *****
	font "ＭＳＰ ゴシック",12,0 : objmode 2
	color 0,64,128 : boxf 4,5,56,26
	color 255,255,255 : pos 11,10 : mes "競馬場"
	comname0 = "東京¥n中山¥n京都¥n阪神¥n中京¥n札幌¥n函館¥n福島¥n新潟¥n小倉¥n¥n"
	objsize 60,14 : pos  60,5 : combox Babastr,50,comname0
	font "ＭＳＰ ゴシック",12,0
	objsize 46,24 :	pos 360,4 : button "検索", *Search
	;***** 表示エリア (mesbox) *****
	font "Verdana",11,0
	pos 0,32 : mesbox DBbuf,ginfo_winx,ginfo_winy-32,5 : hedit=objinfo(2,2)
	sendmsg objinfo(2,2), EM_SETMARGINS, EC_LEFTMARGIN|EC_RIGHTMARGIN,MAKELONG(5,5)
	hBrush=GetStockObject(BLACK_BRUSH)
	;***** 距離選択 *****	
	font "ＭＳＰ ゴシック",12,0
	color 0,64,128 : boxf 128,5,170,26
	color 255,255,255 : pos 137,10 : mes "距離"
	comname1 = "1000¥n1150¥n1200¥n1300¥n1400¥n1500¥n1600¥n1700¥n1800¥n1900¥n"
	comname1 += "2000¥n2100¥n2200¥n2300¥n2400¥n2500¥n2600¥n3000¥n3200¥n3400¥n3600¥n¥n"
	objsize 60,14 : pos  175,5 : combox Selstr,50,comname1
	;***** コース選択 *****
	font "ＭＳＰ ゴシック",12,0
	color 0,64,128 : boxf 244,5,292,26
	color 255,255,255 : pos 252,10 : mes "コース"
	font "Verdana",12,0
	comname2="ダート¥n芝¥n障害¥n¥n"
	objsize 50,14 : pos 300,5 : combox Defstr,40,comname2
	;***** 外部出力 *****
	objsize 66,24  : pos 515,4 : button "出力", *CopyClip
	EnableWindow objinfo(5,2),0
	;***** 抽出件数 *****
	pos 585,4 : input mnum,50,22
	sendmsg objinfo(6,2),EM_SETMARGINS,EC_LEFTMARGIN|EC_RIGHTMARGIN,MAKELONG(1,0)
	sendmsg objinfo(6,2),EM_SETREADONLY,1,0
	objsel 0 : gsel 0, 1
	
	onexit goto *owari
	oncmd gosub *OnWM_CTLCOLOREDIT, WM_CTLCOLOREDIT
	onkey gosub *onkeyFlag
	stop

*screengen
	sql_q "SELECT * FROM SValue WHERE ID = "+1
	xpos=sql_v("wxpos") : ypos=sql_v("wypos")
	screen 0,640,480,2,int(xpos),int(ypos)
	return

*OnWM_CTLCOLOREDIT
	;***** mesboxの背景色と文字色を変更 *****
	if ( lParam == hedit ) {
		SetTextColor wParam, RGB(255,255,255)
		SetBkColor wParam, RGB(0,8,12)
		return (hBrush)
	}
	return

*Search
	;///////////////// 検索処理 (クエリー実行) /////////////////
	sendmsg objinfo(0,2), CB_GETLBTEXT, Babastr, varptr(Baba)
	sendmsg objinfo(3,2), CB_GETLBTEXT, Selstr, varptr(sKyori)
	sendmsg objinfo(4,2), CB_GETLBTEXT, Defstr, varptr(cource)

	font "ＭＳＰ ゴシック",12,0
	color 200,0,0 : pos 420,10 : mes "検索中"

	;***** 抽出件数をLIMIT=20000件に制限する *****
		SQL = ""
		SQL = "SELECT * FROM seisekidb WHERE KeiBabajyou = '"+ Baba +"'"
		SQL += " AND Cource COLLATE NOCASE LIKE '%"+ cource +"%'"
		SQL += " AND Kyori COLLATE NOCASE LIKE '%"+ sKyori +"%'"
		SQL += " ORDER BY ID ASC LIMIT 20000"
		sql_q SQL

	;***** 抽出件数 *****
	DBTmp = ""
	count = stat : objprm 6,count
	if count==0 {
		DBTmp += "¥nData Not Found¥n"
		EnableWindow objinfo(5,2),0
		DBbuf = DBTmp
		objprm 2,DBbuf
		color 255,255,255 : boxf 415,4,470,26
		stop
	}

	;***** DBからデータ切り出し *****
	repeat count
		DBTmp += sql_v("RaceDate")+","+sql_v("BabaCode")+","+sql_v("RaceNo")+","+sql_v("KeiBabajyou")+","+sql_v("Kaisai")+","+sql_v("StartTime")+","
		DBTmp += sql_v("Tenki")+","+sql_v("Baba")+","+sql_v("RaceName")+","+sql_v("Cource")+","+sql_v("Kyori")+","
		DBTmp += sql_v("TanSyou")+","+sql_v("Wakulen")+","+sql_v("Umalen")+","+sql_v("UmaTan")+","+sql_v("SanlenTan")+","
		DBTmp += sql_v("OneUma")+","+sql_v("TwoUma")+","+sql_v("ThreeUma")+","+sql_v("Tousu")+"¥n"
		if cnt>MAX_REC-2 : DBTmp += "¥n; Data Max = "+MAX_REC+" Over.....¥n" : break
		sql_next
	loop
	DBbuf = DBTmp
	objprm 2,DBbuf
	EnableWindow objinfo(5,2),1
	color 255,255,255 : boxf 415,4,470,26
	stop

*CopyClip
	;***** 検索結果を出力 *****
	objsel 2
	fname = Startdir + "成績" + Baba + sKyori + cource + ".txt"
	notesel DBTmp
	notesave fname
	sendmsg objinfo(2,2), EM_SETSEL, 0, -1
	sendmsg objinfo(2,2), WM_CLEAR, 0, 0
	stop

*onkeyFlag
	;***** 入力ボックスでEnterを押すと検索 *****
	if iparam == 13 {
		objsel -1
		if stat == 0 {
			gosub *Search
		}
	}
	return

*owari
	;***** 終了処理 (DB CLOSE) *****
	onexit 0 : oncmd 0
	DeleteObject hBrush
	wxpos=str(ginfo_wx1)	; 画面左上 X 座標
	wypos=str(ginfo_wy1)	; 画面左上 y 座標
	sql_q "UPDATE SValue SET wxpos=" + prm_text(wxpos) + ", wypos=" + prm_text(wypos)+ "WHERE ID="+1
	sql_close
	end

3.ダウンロード

提供するソースコードのライセンスは、CC0 (クレジット表示不要、改変可、商用可) とします。自由に利用して頂いてかまいません。
下記のファイルをアーカイブにして提供します。データは、著作権に触れる恐れがあるため、配布することができません。 動作確認のテスト用のサンプルとして100件のみ入れてあります。実際に利用する場合は、各自で取得して新規に作成願います。 尚、データの取得やプログラム実行において損害等が生じた場合は、筆者は一切の責任も負いません。全て自己責任でお願いします。
ダウンロードアーカイブは、「ツール－Excel編」と同じものです。
    ・import.bat
    ・pegasus.db
    ・raceseiseki.exe
    ・raceseiseki.hsp
    ・sqlite3.dll (raceseiseki.exeを実行するのに必要)
    ・Yahoo競馬結果リンク先取得.xlsm
    ・Yahoo競馬レース結果取得.xlsm
    ・Yahoo競馬レース成績表検索.xlsm
    ・ヘッダー名.txt
「ツール－Excel編」で掲載している「Yahoo競馬レース成績表検索.xlsm」も同梱しています。

ダウンロード

■関連記事
・Excelでデータベース(SQLite3)を扱う
・複数のファイルをマージする
・競馬成績表データベースを作る(事前準備編)
・競馬成績表データベースを作る(データ取得編)
・競馬成績表データベースを作る(データベース編)
・競馬成績表データベースを作る(ツール－Excel編)

コメント

コメントを投稿

このブログの人気の投稿

Excelアドインで日本語形態素解析

-
イメージ
1.概要 日本語形態素解析とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報に基づき、 形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業です。（出典:Wikipedia） 形態素解析エンジンとしては、Mecabが有名です。筆者もPythonにインストールして、テキストマイニングに利用しています。しかし、会社などで利用したい 場合は、このような環境を個人的な利用目的で構築するにしても、セキュリティ上の問題などでIT管理者などから利用許可が下りない場合があります。 今回は、普段から利用しているExcelのアドインでテキストマイニングをして見たいと思います。特別なサーバーなどへのインストールなしで、 個人PCにアドインのインストール許可さえもらえれば誰でも簡単にテキストマイニング(ワードクラウド)分析をすることができます。 2.利用方法 (1)Excelのアドインである「E2D3」を追加します。「挿入」→「アドインを入手」をクリックし      「データ分析」を選択して、「E2D3」を探します。見つかったら、「追加」をクリックしま      す。これで、「E2D3」が利用できるようになります。 (2)分析するデータ(テキスト文書)を準備します。 (3)下記サイトの日本語形態素解析サービス(無料ツール)を利用して、文書を解析し品詞毎に分解、      統計データとして出力します。 日本語形態素解析サービス(無料ツール) URL : https://opendata-web.site/tool/parse/ ※ブックマーク等に登録しておくと良いでしょう。 (4)分析するデータ(テキスト文書)をテキストボックスに貼付け、解析ボタンをクリックします。 (5)解析結果が日本語形態素と統計の2種類画面出力されるので、統計の表をコピペして、Excelの      空きシートに一時的に貼り付けます。 (6)フィルタを追加して、品詞で名詞を選択してフィルタリングします。名詞のみのデータになるの      で、フィルタしたシートのB列(出現数)、C列(表記)をコピーして退避し、B列とC列を入れ替え

階層構造JSONファイルの作成

-
イメージ
1.はじめに 仕事や趣味でいろいろなデータを扱いますが、プログラミングで扱うデータ形式も多種多様でデータベース、テキスト、csv、xml、json形式など 思い付くだけで数十種類でてきます。データの見える化 (可視化) をやりたくて階層構造のJSON形式のファイルを扱う必要性があり、 元データ収集・編集 ⇒ Excelでデータ作成 ⇒ CSV出力 ⇒ 階層構造のJSONファイルへ変換出力と言ったステップでJSONファイルを作成して見ましたので紹介致します。 2.階層構造CSVtoJSONコンバータ 最初は、テキストエディタで手作業でJSONファイルを作成しょうと試みましたが、{}の対応付けや[,などの挿入漏れなど ミスすることが多くてデータを読み込むとエラーで動かないことの連続でした。何とか効率良く元データより階層構造の JSON形式のファイルを作成することができないものかとネット検索しても意図したものを見つけ出すことが出来ませんでした。 そこで今回、試行錯誤してExcel VBAで作成した 「階層構造CSVtoJSONコンバータ」 によるデータ作成手順をまとめて見ました。 階層構造のJSONファイルとは、 親、子、孫、曾孫・・・といった 階層構造のデータ形式のァイル です。 2-1.データの収集について まずは、目的とすべき元となるデータを収集しなければなりません。データの入手や収集手段はいろいろあると思いますが、 1回限りでのみ利用する場合や不定期、日次、週次、月次など継続的に利用する場合に応じて効率良い方法を選択する必要があります。 企業では自社内の各種システムにて収集や加工・編集などができるツール類もあると思いますが、個人ではなかなか揃えられません。 尚、今回は小規模なデータを扱うことを前提としているので効率的なデータの収集方法などについては別の機会にでも考えていきたいと 思います。ここでは、 「階層構造CSVtoJSONコンバータ」 の説明のためのテストデータを利用しての手順について説明します。 2-2.作成手順 (1)元データの準備 (テスト用に鳥類目録データの一部を利用) (2)Excelで元データを利用して、階層構造のデータ表を作成する。     ※【お願い】ファイルの終端判定のため、A列の末尾のセルにEOFと追記して下

HSPでコマンドプロンプトを制御する

-
イメージ
1.概要 最近は、Excel VBAやPythonなどによる自動化というキーワードを良く耳にしますが、昔からある自動化で最も安定性が あり、比較的単純な手順の記述とコマンド発行といったコマンドプロンプトによる操作およびバッチファイルによる自動処理 があります。システムの運用管理者やネットワーク管理者の人達も多く利用されています。 筆者も一時期は、良く利用していましたがGUIの操作に慣れ過ぎて最近は利用する機会も減ってきています。 今回は、HSP言語によるコマンドプロンプトを操作して外部から文字列(コマンド)を送信する方法を模索して見たいと思います。 2.コマンドプロンプトに文字列送信 コマンドプロンプトにGUI画面上からキー入力された文字列を送信する方法について説明します。 まず、概略の処理の流れを整理します。 (1) コマンドプロンプトを起動させる。 ただし、環境依存を無くすため環境変数 'comspec' より取得したパス名を、 exec 命令のp1パラメータとして渡す。 (2) 入力ボックス等より入力したコマンド（ テキスト文字列 ）をクリップボードにコピーする。 (3) コマンドプロンプト画面をアクティブにする。 (4) クリップボードよりコマンドを貼り付ける。 整理すると、これらの処理を実現させるためには、 ・環境変数'comspec'よりパス名を取得する処理 ・クリップボードにテキスト文字列をコピーする処理 ・任意の画面をアクティブにする処理 ・クリップボードよりテキスト文字列を貼り付ける処理 となります。ここで、一番難しいのはコンソールに対してクリップボードよりテキスト文字列を貼り付ける処理です。 [ ALT ]+[ SP ]+[ e ]+[ p ]+[ Enter ] キーという操作を keybd_event APIを 利用 して送り、貼り付け処理をしても良いのですが、メニューの操作をエミュレートするので、 [ ALT ]+[ SP ] で メニュー がポップアップし、次に [ e ] で編集がクリックされ、更に [ p ]+[ Enter ] キーといった流れとなって メニューの 操作が丸見えとなります。もちろん、動作的にも遅くスマートではありません。 コマンド

TOP