Python

LLM 出力を AI が採点する ── 絶対評価・ペアワイズと統計的有意性

「前より良くなったか」を人手に頼らず AI に採点させるとき、一回の採点では誤差か実差か区別できない。絶対評価とペアワイズを組み合わせ、繰り返し採点で信頼区間を出す設計を整理します。

• #LLM
• #AI
• #Python

テストシナリオを LLM で量産する ── カバレッジマトリクスという考え方

LLM アプリのテストケースを手書きするとすぐ頭打ちになる。入力条件の組み合わせをマトリクスで定義し、LLM にテストデータを生成させてカバレッジを体系的に管理する方法を整理します。

• #LLM
• #AI
• #Python

LLM の出力に「ゴールデンデータ」で回帰テストを仕込む

LLM の出力は非決定的でユニットテストが刺さらない。承認済み出力を「ゴールデンデータ」として git 管理し、プロンプト変更による意図しない出力変化を検出する設計パターンを方法論として整理します。

• #LLM
• #AI
• #Python