Issue #009: 急変動検知と予測改善

報告日

2026-02-24

関連issue

008 方向予測ロジック再設計（active）— R8-3で急変動検知の課題を認識
009 急変動検知と予測改善 ← このissue

調査経緯

1. 008実装中に「一致度(value_confidence)」の分析を実施
2. 3モデル（XGB/LGBM/CAT）の特性を274件の実績データから分析
3. 急変動時にモデルがほぼ追従できないことが判明
4. 急変動検知メカニズムの調査を実施（学術論文・市場分析含む）
5. ベースライン指標をDB実績データから計算
6. Phase 1（特徴量追加+サンプル重み改善）を実装、効果検証中

問題

問題1: 30M足の方向精度がランダム以下

DB実績データ441件から計算:

30M 方向精度: 48.8% （ランダム=50%を下回る）
  UP:   126/255 = 49.4%
  DOWN:  89/186 = 47.8%

比較:

H足 方向精度:  74.5% （585件、バックテスト）
  UP:  209/269 = 77.7%
  DOWN: 227/316 = 71.8%

30M足はシグナルとして機能していない。 H足との差が25ポイント以上。

問題2: 急変動に全く追従できない

30M足の急変動時（上位25%、110件）:

• 30Mは実績の19%しか捉えていない（110件全てで過小予測）
• H足でも68%しか捉えていないが、方向は98.6%一致

問題3: CatBoostの負の相関

274件の3モデル比較分析で判明:

CatBoostの問題: - 実績と負の相関 — 実績が上がるとモデルは下がると予測する傾向 - 不一致時の正答率40.7% — 他2モデルと意見が違う時に間違いやすい - 予測振幅が最も保守的（急変動への追従力が最低） - 現在の重み: xgb:0.50, lgbm:0.37, cat:0.13

問題4: 根本原因（構造的な2つの限界）

1. 損失関数（MAE）の限界 - 3モデルとも objective='mae' / loss_function='MAE' を使用 - MAEは中央値への収束を促し、テール事象（急変動）を構造的に無視する - 急変動を正確に予測しても、多数の通常時予測の精度が下がるため、モデルは保守的な予測に収束

2. 急変動の「予兆」を捉える特徴量の不足 - 既存: price_shock（2σ超で検出）→ 既に起きた後の検出 - 既存: atr_ratio（短期/長期ATR）→ 遅行指標 - 欠如: BBスクイーズ（低ボラ→急変動の前兆） - 欠如: OI+FRの組合せ（清算カスケードの前兆） - 欠如: ボラティリティの急変そのものを表す特徴量

既存の対策とその限界

TF別の急変動方向精度

ベースライン指標（改善前の基準値）

30M足 — DB実績データ（441件、リアル予測確定済み）

30M足 — バックテスト MAE (periods=3)

30M足 — セッション別 MAE

USセッションのMAEが突出（0.73% vs Asia 0.48%）。ボラティリティが高い時間帯の予測精度が低い。

H足 — バックテスト（585件）

改善計画

Phase 1: 特徴量追加 + サンプル重み改善（難易度: 低）— 実装済み

P1-1: BBスクイーズ指標 — 実装済み

ヘルパー関数 _add_bb_squeeze_features() を作成し、4TF（D/H/30M/15M）全てに適用。

根拠: 「低ボラ後に急変動が来る」は最も再現性の高い知見（Bollinger Squeeze then Surge）

挿入箇所: | TF | 関数 | MA列 | 挿入位置 | |----|------|------|---------| | D | create_daily_features() | ma20 | BB計算直後 | | H | create_hourly_features() | ma_24h | BB計算直後 | | 30M | create_30min_features() | ma_48 | BB計算直後 | | 15M | create_15min_features() | ma_96 | BB計算直後 |

P1-2: デリバティブ組合せ特徴量 — 実装済み

_add_derivative_features() に3特徴量を追加。

根拠: 清算カスケードは「OI増加 → FR偏り → 価格圧縮 → カスケード」の明確なシーケンスを踏む

P1-3: サンプル重みの改善 — 実装済み

_compute_sample_weights() を変更。

Phase 2: モデル改善（難易度: 中）— 実装・検証済み

P2-1: 振幅補正（方向と振幅の分離） — 実装済み、効果大

当初計画の「ボラティリティ分類器」を、より直接的な「振幅予測器」に変更。

[predict_magnitude] abs(close_change_pct)を別途予測
    モデル: LightGBM (MAE) — abs値は常に正なので中央値回帰でも有効

[既存予測パイプライン] → pred_pct（方向+振幅）

[振幅補正] final = pred_pct * (blended_mag / current_mag)
    blended_mag = current_mag × (1-α) + predicted_mag × α
    α = magnitude_blend_ratio (default 0.5)

挿入箇所: model.py → regime_ensemble_predict_multi() 内、高ボラクリッピングの前

P2-2: 分位点回帰スケーリング — 実装済み、効果限定的

挿入箇所: model.py → predict_quantile_width(), _fit_predict_quantile()

P2-3: CatBoost除外 — 検証完了

config.pyの30M/15M重みを [0.54, 0.46, 0.00] に変更。効果ゼロ — 元の重み0.06が小さすぎた。 ただしCatBoostスキップ最適化（if cat_w > 0: チェック）で速度28%改善。

P2-4: HAR-J型特徴量（実現ボラティリティ分解） — 実装済み

ヘルパー関数 _add_har_j_features() を作成し、4TF（D/H/30M/15M）全てに適用。

パラメータ: | TF | window_short | window_long | |----|-------------|-------------| | D | 14 | 60 | | H | 12 | 48 | | 30M | 12 | 48 | | 15M | 24 | 96 |

根拠: HAR-Jモデルは学術的裏付けが最も強い。BTC市場では下落方向のsemivarianceが将来ボラティリティに強い予測力を持つ。

P2-5: blend_ratio最適化 — 完了

50サンプルでblend_ratio 0.0-1.0を比較。

結論: RMSE最小は0.6。MAE/RMSE/MagRatioのバランスから0.6を採用（0.5→0.6に更新）。

P2-6: 方向予測pred復帰 — 実装済み、大幅改善

30M足の方向精度が39.9%と低い原因: predシグナルが投票から完全除外されていた（#008で変更）。 30M/15M足に限り、predを投票に復帰。

結論: pred投票復帰で54.2% → 90.0%に劇的改善。direction_pred_in_voting_30M=Trueを採用。

Phase 2 追加検証: H足/15M足へのP2-1展開 — 検証完了

結論: P2-1はH足・15M足でもMagRatioを大幅改善。MAE微増は許容範囲。全TFで有効。

Phase 4: 急変動シグナルUI表示（難易度: 低）— 実装済み

P4-1: predict_magnitude結果のDB保存 + 急変動バッジ表示

predict_magnitude() は毎予測で実行されて振幅補正に使われるが、予測値自体はDB保存されず捨てられていた。 この予測値を活用し「次の足が通常より大きく動く可能性がある」ことを示す急変動シグナルを出す。

閾値判定ロジック: - pred_mag > median(直近100足のabs(return_1d)) × 2.0 → volatility_alert = 1（警戒） - それ以外 → volatility_alert = 0（通常）

Phase 3: アーキテクチャ拡張（難易度: 中〜高）— 関数実装済み、統合保留

P3-1: ボラティリティ予測の独立モデル

predict_volatility() 関数をmodel.pyに実装。ATR%を1期先予測するLightGBMモデル。 ただしP2-1（振幅補正）と機能重複のため、regime_ensemble_predict_multiへの統合は保留。 P2-1がMagRatio +149%を達成済みで、追加の独立ボラティリティモデルの限界効果は小さい。

検証計画

検証1: ベースライン — 完了

上記「ベースライン指標」セクション参照。

検証方法: - バックテスト: predict_ohlc -t 30M --backtest --periods 3 --step 1 --save（65分） - DB実績データ: BtcPredictionDetail の確定済み441件から方向精度/RMSE/MagRatio算出 - スクリプト: test_scripts/009_baseline_metrics.py, test_scripts/009_30m_metrics.py

注意: periods=100は1バーあたり約25分で非現実的。periods=3（65分）を標準条件とする。

検証2: Phase 1 全適用 — 完了

P1-1 + P1-2 + P1-3 を全て適用した状態でバックテスト実行。

結果: 特徴量追加だけでは改善しない

※ベースラインはリアル予測441件、Phase 1はバックテスト7662件（期間が異なるため単純比較不可）

考察: - 特徴量を7つ追加しても、MAEとMagRatioはほぼ変化なし - これは根本原因が損失関数（MAE）にあることを裏付ける - MAE損失はテール事象を構造的に無視するため、急変動の「予兆」特徴量を入れても中央値予測に収束する - Phase 2（損失関数の変更・モデル構造の改善）が必要

検証3: Phase 2 サンプリング効果測定 — 完了

50ケース（上位25%高ボラ + ランダム25件）での A/B テスト結果:

分析: - P2-1（振幅補正）が最も効果的: MagRatio 0.15 → 0.26 (+73%!)、MAE 1.00 → 0.87 (-13%) - P2-2（分位点）: MagRatio微増のみ、方向精度+2% - 振幅補正の方向精度は微減(-2%) — 振幅拡大により誤方向時のペナルティも増加するため - Top10ケースでは全て方向は正しく追従、振幅も1.5-5倍に拡大

結論: P2-1を採用、P2-2は保留

検証4: CatBoost除外バックテスト — 完了

ensemble_weights_30M: [0.54, 0.46, 0.00] でフルバックテスト(30M, 7662件)。

結果: CatBoost除外の効果はほぼゼロ - MAE +1: 0.34% (変化なし) - MagRatio: 0.1831 (0.1839 → わずかに低下) - 元の重み0.06(6%)が小さすぎて全体への影響が限定的

検証5: P2-1フルバックテスト — 完了

CatBoost除外 + P2-1振幅補正の組み合わせで7662件のフルバックテスト。

P2-1の効果は絶大: - MagRatio 2.5倍改善: 実績の19%追従 → 47%追従 - MAEも全期間で改善（特に+6 bars -6%） - CatBoostスキップ最適化で速度28%向上（cat_w > 0 チェック追加）

検証6: blend_ratio最適化 — 完了

50サンプルでblend_ratio 0.0-1.0を9段階比較。RMSE最小は0.6。 MAE/RMSE/MagRatioのバランスから0.6を採用（config更新済み）。

検証7: 方向予測pred投票復帰 — 完了

100サンプルで3設定を比較。pred投票復帰で54.2% → 90.0%に改善。 30M/15M足でdirection_pred_in_voting=Trueを採用。

検証8: H足/15M足P2-1展開 — 完了

50サンプルで各TFのP2-1効果を確認。 - H足: MagR>0.5が4% → 60% - 15M足: MagR>0.5が14% → 62% 全TFでP2-1有効を確認。

対象ファイル

参考文献

• Bollinger Bands Strategy: Squeeze then Surge — John Bollinger提唱
• HAR-J: Heterogeneous AutoRegressive with Jumps model — BTC市場でジャンプ成分が80%以上の期間で検出
• BTC清算カスケードのオンチェーン分析（BeInCrypto） — OI+FR+LS比のシーケンス
• Regime-switching GARCH for BTC volatility — 2レジームモデルが単一レジームを大幅に上回る
• XGBoost Quantile Regression v2.0+ — ネイティブサポート
• Forecasting Bitcoin volatility using machine learning techniques (ScienceDirect, 2024)
• High-Frequency Forecasting of Bitcoin Volatility (Concordia, 2025)