ＦＸに懸ける夢がある。

引っ越し

こちらへ引っ越します。

バックテスト用Java開発

多通貨、多指標のテストをMT4で実施しようとすると、
ほぼ不可能（ファイルやMarketInfo関数、DLLなどを駆使すれば可能だが・・・）だ。

実際に作ってみたのだけど、バックテスト時間が膨大に掛かり現実的ではないと判断した。
そもそも多通貨指標（Ku-Powerなど）をバックテストで利用すると、
バックテスト終了時のチャートオープン時に大量のKu-Chartがサブウィンドウに展開される。
iCustomの呼び出し毎にサブウィンドウに追加されているとしたら、各バーごとの計算量は恐ろしいことになっているはずで、その可能性が高いと思われた。

悪あがきは色々したのだが、どうやってもバックテスト時間が長すぎるため、MT4の継続利用は断念した。
そこで円滑なトレードシステム開発のため、経験の長いJavaでバックテスト機能を開発することにした。
他市場の多指標も使えるし、多通貨の指標も使える。
インディケーターの実装も自分で行う必要があるから、勉強にもなるし、いいことづくめだ。

そもそもMQLでは難しかった単体テストの領域も
Javaであれば、Junitにより容易だ。

いったん、最低レベルの目的地点まで到達できた。
1テスト20分以上かかっていたテストが、15秒程度で完了するようになった。

作ってみて思ったのは、スクラッチであるメリットについて。
スクラッチなのだから当たり前だが、バックテスト結果の統計情報として、
様々な情報を計算して出せるため、多角的な視点から諸々の情報を俯瞰できる。

資産残高のHWMの未更新期間、シャープレシオ、平均保有期間など。

MT4（MetaTrader4）におけるStopLevelについて

StopLevelとは

業者によって、StopLevelなるものが設定されていることがある。
StopLevelとは、StopLoss価格を設定するときに参照される制約である。

StopLevelによる制約に抵触する条件は以下のとおり、

　現在の決済レート±StopLevel値幅　∋　StopLoss価格

　※∋　は以内を意図する
　
現在の決済レートとは
　買いポジションなら決済レートはBIDとなり、
　売りポジションなら決済レートはASKとなる。
　ポイントは、約定価格ではない、という点。
　
StopLevel値幅とは
　例えばUSDJPYならば、MarketInfo("USDJPY", MODE_STOPLEVEL)で取得された値である。単位はMarketInfo("USDJPY", MODE_POINT)で得られる。
　なお、StopLevelは、各通貨ごとに設定されている。

StopLoss価格とは
　そのままの意味で、損切り注文の価格である。

補足というかコメント

　StopLoss価格は、一般的には損失幅を確定するために約定価格から計算されると思われる。
　しかし、MT4のStopLevelにおける制約は、あくまで現在の決済レートを基準に適用される。
　このため、約定価格から損失幅を差し引いて得られたStopLoss価格（約定価格－StopLoss幅）とStopLevelの制約範囲（決済レート±StopLevel値幅）は、整合しない。
　
　OrderSendの時点で、StopLossも合わせて設定するのであれば、あまり問題は無いのだろうが、ブローカーごとに処理を分けるよりは、毎回OrderSend、OrderModifyで解決を図ろうとしたところ、この問題に遭遇した。

近況

やったこと
■ＦＸ
・OANDA, DUKASCOPYティックフィード精緻化
・OANDA, DUKASCOPYの裁定機会調査
　有ったけど、ここに書いているって時点でお察し。

■仮想通貨
・BitFlyer CoinCheck裁定取引システム
　勉強と実益を兼ねてやったが、うまくいくまえに「やられ」ましたため、お蔵入り。

・BitFlyer 現物ＦＸの価格差縮小を狙ったシステム
　BitFlyerにSFDなる価格差縮小プログラムが導入された結果、いろいろおかしな状況（縮小どころか、SFDの仕様不備を突いた取引が増えるとか）になっており、運用見合わせ。たぶんお蔵入り。

・BitFlyer FX 板を見る片張りシステム
　粗削り過ぎて運用見合わせ。たぶんお蔵入り。

・ICO1件投入中
　これが2倍程度まで増えたらいったん仮想通貨業界からはログアウトするつもり。
　このICOは直球ど真ん中みたいなやつなんで、丸ごと消えたりはしないと思われるが・・・。

やられたこと
■CoinCheckされた
　資金の3分の2が持っていかれている状態。
　仮想通貨の勉強を生かしきれずにこの結果を迎えた点は恥ずかしいとしか言いようがない。
　一応、返還はされるとのことだが、運が良かっただけ。全額ロストはふつうにありえた。

　CoinCheckやBitFlyer等のAPIは一通り触って、Webサイトも一通り触ったが、金融系のバックボーンを持つ人たちが入っている会社というよりは、Web系のバックボーンを持った人たちが入っていることは、当初から容易に想像できた。そもそも、API公開ということ自体、金融サービスとしては先進的。

　仮に金融系のバックボーンが入っているとなれば、信託保全を謳っているはずであるし（去年調べた時はどこもやってなかったのは把握していた）、この仮想通貨のボラティリティに対してあのレバレッジ（5～15倍）は用意しなかっただろう。

　あと、サーバ弱すぎというか、ＡＰＩ叩かせすぎというか、サーバダウンとかＦＸとは比べ物にならないくらい無責任にあり、金融系というよりかは仮想金融系といった印象。しかもZaifというブローカーに至っては、異常過ぎる異常値をつけて、刈り取ってくるし、GMOは安定のGMOクオリティで（知ってた）あったし、そこにクラッカーも乗り込んできたり、果てにはインサイダー横行と、考えるうる限りの劣悪な弱肉強食のサバンナ。いや魑魅魍魎蔓延る地獄か。

　一連の仮想通貨界は、ちょっと自分には毒が強すぎたかな・・・。
　税金も高いし。

今後の予定
■ＦＸシステム開発再着手
　正直、ＦＸ勝てるんかいな・・・って自信喪失している面があって、今回久しぶりに自分のブックマークを訪問しまくってみたり、界隈で儲かっているシステムとか探してみた。
　商材屋ですら、1年フォワードで勝っているし、純粋なシストレさんも鬼勝ちしている人を何人か把握出来て、未来は明るいなと感じた。それが自分にも当たり前のように置き換えられるとは思わないが、前向きな気持ちにはさせてくれる。まぁ、ブックマークのほとんどは、2013年あたりから消息を絶っていたが・・・

　リハビリ兼ねて何個かEA作ってみたい。

近況

シストレ

データフィード
■楽天証券MT4
　データフィード実施中。

　データフィード先として選定していたが、なかなか厳しいことがメールで展開されてきたので、データを取るのはやめにしようか迷い中。あんまり裁定取引は技術的にも知識的にも出来る自信ないが・・・。

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

【当社が禁止する取引の事例】

　　1. 当社のレート配信と第三者のレート配信を比較し、レートの遅延や乖離をシステム的に利用した取引、またはこれに類似する取引。

　　2. 当社のインターバンク市場でのカバー取引が困難となる過大な流動

性を必要とするお取引、または極めて短い時間の間に複数の発注を自動的かつ継続的に行う高速取引

ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー

■OANDA JAPAN　　
　データフィード実施中。
　通貨数が豊富なので継続中。

■DUKASCOPY　
　データフィード未実施。　
　シストレやるなら透明性が最も高いと感じられる。
　NDD+ECNでDUKASCOPY BANKがカバーに入っている。
　シストレライブ取引は、国内からここ一択もありうるんじゃないか。

　APIも公開しており、通常のAPIとFIX APIがあるようだ。
　FIX APIも使ってみたいが、カストレーダーのため、必要口座資金（１００万）が満たせない。

　先日口座開設したばかりで、APIを読み解き中。
　公式は英語でかつJavaDocにほとんど記載がないのでなかなか読み解きづらい。

　補助的なサービスも充実している。
　例えば、通貨インデックスやセンチメント指数などマーケット情報として提供している。
　
　為替歩み値のダウンロードサービスも非常に強力。なんとティック単位からサポートしているうえに、ローソク足の集約期間を動的に指定したうえでダウンロードできる（！）。すごすぎ。

　あとネットで書かれているような不満は割と取り込まれているので、よく需要に応えていると思う（たとえばJavaのトレーディングロジックはデコンパイルが容易という懸念を書いたブログがあったか、現在は難読化をしてからコンパイルするオプションが導入されている。）

　たぶん、需要が期待できる機能を要望すれば応えてくれる気がする。

■最近やったこと
　・市場がクローズしたタイミングでのティックDB登録
　　ティックのDB登録タイミングが溜まった件数に依存していたため、実は土曜日のクローズ時間帯のティックが記録できていない問題があった。
　　サマータイム、取引時間を考慮した市場クローズタイミングの判断を実装し稼働させている。
　・LINE APIによる定期通知
　　毎日、ティックフィードサーバからLINE API経由で自身のアカウントに定期通知を行える機構を用意した。
　　
　・BitCoin フィードの開発
　　CoinCheckAPIを通して、データフィードを取る機構を開発。
　　1分データで取っている。

■データフィード全体の課題
　・BitCoinフィードの24365化
　　仮想通貨は24時間365日取引があるため、そのデータを漏れなく記録するのは個人では厳しい。
　　＃というか、そもそもデータフィードが必要なのか勉強不足で怪しいｗ
　　＃価格の記録を追えるならデータフィード自体、無意味ｗ

　・ネットワーク断線監視
　　自宅のネットワーク自体が問題がないかは記録していく機構がないと誤った学習を誘発する懸念がある。

　・ストレージ
　　RAID1のHDDに記録しているが、今のご時世、クラウドに保管するのがふつうか。
　　これは取引戦略が確立出来てからの話か。

シストレ
　敷居が高すぎる。
　もうどうやらディープラーニングが良いらしいとかそのレベルの情報弱者。

裁量
　今年は年初から10万を元手に裁量トレードをしている。
　中長期のトレードのみを手掛けており、一応2倍強には増やせている。

　さんざんやられてきた裁量トレードだが、ここ数年で一番伸びた自分の能力を振り返ると、決断力に他ならないと常々思っていたため、数年ぶりに再開した。

　トレード手法といったたいそうなものはなく、総合的に月足、週足、日足で鉄板トレンドとなりそうなところで入って抜くだけ。利益確定のタイミングがカスなので今後の課題。
　やばいと思ったら速攻逃げることは出来るようになったので、そこは成長したと思える。
　10か月、生き残ったのは初めて(^o^)

　みんなのFXで何となくやっていたが、USDCHFのスプレッドがデカすぎるので業者変え。
　これまた何となく先日口座開設したDUKASCOPYへ移動。
　正直中長期トレードだから、どこでもいい。
　みんなのFXのUSDCHFスプ5はない。

仮想通貨
　基本的には長期投資を想定している。6月頃から段階的に40万ほど入れている。あんまり増えていないが。
　こちらは最終的に200万程度は投入出来たらと考えている。余裕があればどんどん入れたい。最終的には1000万～2000万くらいになれば御の字だと思う。税制が追い付いておらず、雑所得の扱いということらしい（グーグル検索「仮想通貨　雑所得」）のでそこは受け入れるしかない。
　取引高は外国為替市場に比べれば圧倒的に少ない（2017年9月分は約7000万BTC、9月中の1BTC平均を60万として=1,4兆円くらいで、為替市場は一日あたり650兆円程度（上田ハーロー「主要国の市場規模」から試算））ため、仮想通貨次第ではあるが、まだまだ資金流入は期待出来る。
　資金流入というよりは、プラットフォームの変遷というか、時代の要求が強まればの話か。

　持たざるものが持てるものになる稀有なチャンスだと思う。

構築日記

ティックフィードの再構築中。
mt4 →dll→（ソケット）→サーバまでの一連の流れの実装が一巡した。
ソケットプログラミングは初めてだったが、形にはなった。
例外検知については、調べれば調べるほど奥が深いことがわかってきた。
今の所、実装出来たものとしては、mt4 とフィードサーバの疎通監視のみ。
mt4 とブローカーとの疎通監視はまだ出来てない。他にも気になる例外検知はまだ実装出来てないし、そもそも事象に対する理解もイマイチ。

フィードサーバの環境見直しをしていたところ、メモリ8gであるべきところが4gしか認識していなかったので来週直したい。

nuroに回線を変えた。満足いく速度が出た。回線工事まで1ヶ月以上待ったがその価値はあった。

mt4 稼働サーバは有線LAN環境に移行したい。時間が足らず、無線LAN環境にて今週は乗り切ろうと思うが、先述の切断検知のテストとして割り切る態度も必要か。

今回、フィードに関する実装はとにかくプロジェクトごとの責務を細分化し、クラスにおいても細分化した。
命名が適切であればあるほど、設計記述は省けるはずだから、ここはもっと詰めていきたい。
マルチスレッドプログラミングも行なっているが、フィード受信スレッド、永続化スレッド、切断監視スレッド、マネージャスレッドなどに細分化した。まだまだ増えるだろうが、適切な命名を心掛けたい。
コードを読むより、パッケージと名前を読ませることで、何をしているかを示した方が良いだろうと考えている。将来の自分が見た時にどこで何をしているか分からないコードにはなんの価値もないだろうから。

構築日記

ここ数年は、私生活でいろいろ変化が激しかった。
人生の重要なイベントが１巡した。

時間ができたとは中々言いづらいが、シストレ（実際はシステム構築だが）を再開しようと決心した。
はっきりいって、仕事にまじめに従事していれば生活できる収入はできるし、特に仕事が辛いというわけでもない。不満がないわけではないが、不満を溜め込む性格は矯正し、いかに自分が変わるか、いかに自分の存在感を出し、価値を認めさせるか、そういった働き方にシフトしている。

シストレに関して今までやってきたことが、何の意味もないことは理解したくらいには成長した。ラッキーパンチが当たっただけの素人が勘違いしていたことも痛感している。

これまでここで書いてきたことは無意味とまでは言わないが厚みのない記録だ。だから、新しい場で成長した自分として、記録を残そうかとも思ったが、やめた。
過去を認める意味も含めて、ここで新たな姿勢で記録を残していく。

さて、今後の計画だが、やはりティックデータの収集をしたい。
理由はいろいろある。
ティックベースのシステムの開発をしてみたい。
自分が勝てるフィールドは必ずあるはずだ。そこを探す。

以前に構築したMT4-DDL(JNI)-Java(RMI)のティックフィードシステムだが、RMIを採用した理由はC言語を極力やりたくないという逃げの姿勢が前面に押し出たものだ。
JNIやRMIという本来不必要なものを利用しており、冗長というほかない。
Java側のソースコードも汚く、後から見るとどこで何をしているのか分からない、クラス分割も甘い、情報の取り扱いも冗長と無駄と複雑の積み重ねのようなプログラムとなっていた。
結局、人（私）がバグっているから、良いシステムが作れなかったということに他ならない。
これは、捨てる決心をした。

だが、ティックを取り扱うメインのシステムはJavaとしたい。
長年使っているeclipse上の開発が自分にとって開発コストの面でメリットとなるからだ。

ティックデータの収集方式については、理想はTCP/IP通信ベースによるFX業者システムへの接続、フィードの収集だが、今のところあらゆるハードルが高いため断念している。

上記の事情もあり、以下の構成を検討している。
MT4（DLL）→ソケット→Java→DB

基本的な実装コードの検証はできた。
１０万件連続送信しても２ミリ秒程度というレベルであるため、速度的には問題なさそうである。

異常検知系が経験的にも弱いので、ここをどこまで詰めるかという話になってくる。

2015年年間収支

0円。
特にトレードはしていません。

今後2,3年は仕事の勉強や相場の勉強があるので無理でしょう。相場の勉強といってもパン・ローリングはもう読まなくていいですね。

仮に今後勝てても負けても誇大に喚き散らすような真似はしないつもりです。いい大人ですからね。

ティックフィーダー開発記録13

さらなる安定化を目指しメモリ増強に着手。
なぜか、認識はされるがハードウェア予約済みとなっており、OSの手元にいかない。
msconfigのブートオプションのメモリ最大値のチェックを外してみる。
起動しなくなるw
しかも、BIOSから。

メモリを元の4G2枚挿しにし、起動。
BIOSは起動したが、OSは起動しない。
何度か試行すると、OSがセーフモードで立ち上がる。
そこからバックアップドライブよりイメージ復旧。

ここから格闘すること3日ばかり。

ハードウェア予約済みとなっていた理由は、どうも、メモリの一部をRAMディスク化していたせいだったようです。
RAMディスクを解放し、再起動すると増強したメモリの認識に成功しました。

いやはや、外付けバックアップドライブにバックアップがあって九死に一生を得ました。

ティックフィーダー開発記録12

先週の途中でCPU高騰が再発。
再び再調査。
DLLからJNIゴール後のjstring型を解放していなかったために、一定以上の生成数を超えるとCPU使用率が高騰していたことが分かった。

これを修正し再稼働させたところ、金曜夜においても問題なく稼働した。
金曜においては、CPU使用率がそれぞれのターミナルで4,5%の推移、メモリはそれぞれで500MB以下で推移した。

今後はフィーダーの安定稼働を目指しつつ、分析や検証の体制を作りたいところ。グラフィカルな分析環境を作れればモチベーション維持にも役立てられるのでそこは重点的に進めたい。