微負け。

最近、Javaで単項目のWebクローリングシステムを作った。
これは個人的に以前から作りたかったもので、
URLとタグをDBに登録することで、指定URLサイトのHTMLからテキストを抽出し、DB登録していく。
タグも正規表現対応済み。
DBテーブルは、テーブルレイアウトのみExcelで設計し、create後、hibernateフレームワークを用いて、マッピングクラス、マッピングxmlをリバースエンジニアリングで作成する。
いちいちSQLを記述する必要もないので楽。
設計と実装が詰め切れていないので、１テーブル１クラスになっているのがヌルイところ。つーか知識と技術が無いとも言う。

仕事の勉強も兼ねて使ったが予想以上に良い。。まだまだ、使っていない機能が多い上、さらに作業が楽になりそうなので暇があれば調べたい。

上記のWebクローリングは、重回帰分析、多変量解析、マルチファクターモデルを用いた分析を行う際に有用だ。

Weｂクローリングを行う上で、JavaなどよりExcel、Access、VBAに明るいのであれば、下記サイトが鉄板。
http://www.f3.dion.ne.jp/~element/msaccess/AcTipsWinHTTP1.html

近日中に、MT4EAを用いて、DB参照を行い売買判断を行うEAを作成するつもり。
（と宣言しておけばやるだろう・・・たぶん）

過去データも探して、インポートしないとな。

２つくらいやりたいネタがある。。一つは多変量解析系で、一つはソーシャルフィルタリングとでも呼べるかな？

・
多変量解析をやるにしても、自己相関をやるにしても、それだけじゃ足りないような気がしてる。
特に今年の値動きは、解析方法のレベルでは対応出来ないことが多かったように思える。

つまり、多変量解析を使うのか、自己相関を使うのか以前の段階で、どういった戦略を使うべきなのか否なのか。そおもそも多変量解析も自己相関も適用できない相場なのか。

そういった判断を行える仕組みも必要かもしれない。

[1回]