高確信度で誤るという逆説

機械学習モデルを本番環境に置くと、必ず訓練データに含まれなかったデータが届きます。この「訓練分布の外にあるデータ」を OOD（Out-of-Distribution） と呼びます。

OOD の恐ろしさは、モデルが「分からない」と答えるのではなく、「高い確信度で誤った答えを返す」点にあります。スパムフィルタを例に取ると分かりやすいです。2 年前のデータで訓練したフィルタは、新しい手口のスパムを「正常メール」と判定し、しかも確信度 0.97 を付けて通過させます。システムは警告を一切出さない。

ナイーブベイズ分類器が示す Zero Frequency 問題はこの典型です。訓練データに一度も出現しなかった単語に対して確率 0 を割り当て、どれほど他の証拠が揃っていても結果が強制的に 0 になります。未知の語彙 = OOD への脆弱性が、確信度の計算式そのものに組み込まれています。

OOD 問題は、不確実性の種類の整理で扱った認識論的（Epistemic）不確実性の典型例です。モデルが「知らないことを知らない」状態で動き続けます。

なぜラベル付き OOD データが手に入らないのか

OOD を検出するための分類器を別途作れば解決するように思えます。しかし根本的な障壁があります。

**「未知データは未知だから、あらかじめラベルを付けられない」**という循環です。

In-Distribution（ID）データ、つまり訓練分布内のデータは大量にあります。しかし OOD データは「まだ見ていないもの」であり、収集・ラベリングが定義上できません。検出器を訓練しようにも、負例（OOD サンプル）が存在しないのです。

これは Unknown Unknowns の問題です。何が分布外なのかを事前に列挙することはできない。既知の未知（Known Unknowns）ではなく、未知の未知（Unknown Unknowns）に直面しています。

LLM による合成 OOD プロキシ生成

この壁を突破するアプローチが、2025 年に相次いで発表されました。

合成 OOD プロキシとは、LLM に「潜在的な分布シフトを起こしそうなサンプル」を生成させたものです。本物の OOD ではないが、OOD の代理（プロキシ）として使える擬似データです。

論文 "Out-of-Distribution Detection using Synthetic Data Generation"（arxiv 2502.03323, 2025）では、次のパイプラインを検証しています。

ID データ（実データ）
  ↓
LLM に「分布シフトを模倣したサンプル」を生成させる
  ↓
ID + 合成 OOD プロキシで検出器を訓練
  ↓
本番の OOD を検出する

毒性検出・感情分類・RLHF の報酬モデルという 3 つのタスクで検証した結果、LLM 生成の合成 OOD は人手アノテーションによる OOD と同等かそれ以上の検出精度を達成しています。グラフデータへの応用を扱った "Graph Synthetic OOD Exposure with LLMs"（arxiv 2504.21198, 2025）でも同水準の結果が報告されています。

直感的には「偽の未知データで訓練する」という奇妙な話ですが、LLM が保持する広大な知識を使って「ありえそうな分布の外縁」を近似できる、という考え方です。

LLM-as-a-Judge の落とし穴

このアプローチには見落としやすい危険があります。「合成した LLM でそのまま評価する」という罠です。

ICLR 2026 採録の研究は、生成と評価に同じ LLM を使うと preference leakage（汚染） が発生することを示しています。生成者であるモデルは自分が作ったデータに暗黙の優先を与え、評価スコアが水増しされます。

「自分で作ったものを自分で採点する」状況です。実力を計れていない。

対策はシンプルです。生成 LLM と評価 LLM を別モデルにする。同じ組織のモデルファミリーすら避けた方が安全な場合があります。

モデルコラプスのリスク

合成データを再帰的に使い続けると、別の問題が浮上します。

Nature 2024 年掲載の Shumailov et al. による研究は、合成データのみで繰り返し再学習させると**モデルコラプス（Model Collapse）**が起きることを示しました。世代を重ねるごとに分布の裾野（レアなサンプル）が削られ、多様性が縮退します。やがてモデルは「よくあるパターン」しか出力・認識できなくなる。

OOD 検出器の文脈では致命的です。多様な周辺事例をカバーするために合成プロキシを作ったはずが、繰り返し使うにつれてその合成データ自体がありふれたパターンへと収束してしまいます。

対策は 実データと合成データの混合使用です。合成データは補強材であり、完全な代替にはなりません。

実践的なパイプライン

以上の知見をまとめると、合成 OOD プロキシを安全に活用するパイプラインは次のようになります。

[1] LLM-A で合成 OOD プロキシを生成
      ↓
[2] ID 実データ + 合成 OOD プロキシで検出器を訓練
      ↓
[3] 別の LLM-B（または非 LLM 手法）で品質を評価
      ↓
[4] 実データとの混合比率を管理しながら運用
      ↓
[5] 定期的に実世界データでドリフトを監視・再学習

「合成で検証済み = 実世界汎化」にはなりません。"Beyond Synthetic Benchmarks"（arxiv 2510.26130）の調査では、合成ベンチマーク上で 84〜89% の正解率を示したモデルが、実世界では 25〜34% に急落した事例が報告されています。合成データは探索と訓練の補助であり、実データによる最終確認は省略できません。

まとめ

  • OOD は訓練分布外のデータ。モデルは OOD に対して高確信度で誤るリスクがある
  • ラベル付き OOD が原理的に手に入らないという Unknown Unknowns の壁が根本課題
  • LLM に合成 OOD プロキシを生成させる手法が 2025 年の研究で有効性を示した
  • 生成と評価に同じ LLM を使う preference leakage に注意する。評価は別モデルで行う
  • 合成データのみでの繰り返し学習は モデルコラプスを招く。実データとの混合が必須
  • 合成ベンチマークの高精度は実世界汎化を保証しない。実データでのドリフト監視を継続する

出典