Tag
LLM
30 件の記事 · 1 / 3 ページ
-
AIコーディング slop の解剖 ── なぜ足すばかりで消せないのか
一応動くのに、全体としては劣化していく——AI が量産するコードの症状を4つの軸に整理し、その根っこにある「削除の証明ができない」という制約と、コストを誰が払っているかを実証データから読み解きます。
-
プロンプトインジェクションはなぜ根本解決が難しいのか
プロンプトインジェクションが厄介なのは攻撃の巧妙さではなく、LLM が命令とデータを構造的に区別できないという設計上の性質にあります。
-
LLM 時代の読解力劣化——「スキャン」が「読む」を置き換える日
AI が文章を構造化してくれる時代に、人が自分で意味を組み立てる能力はどう変質するか——読解力劣化の機序と、その先にある思考の空洞化を考察します。
-
正しさの感覚を委託しないために——「確認しない人間」問題
ハルシネーションより怖いのは、それを確認しない人間の側の変化——「AI が言うなら合っている」という受け身の検証が常態化し、正しさを自分で判断する回路が錆びていく過程を考えます。
-
AIを使うことは「成果物の外注」である
AI に頼むことはアプリ開発を外注するのと同じ——外注した瞬間に消えるプロセスと経験に注目して、身につけたいかどうかで使い方を選び分ける整理をします。
-
bonsai — 全部読む前に地図を作れ
コードベースの骨格だけを抽出してトークン効率の高い地図を生成する CLI ツール bonsai——全文を読ませる前に「何を読むか」を決めることで、AI エージェントのコンテキスト消費を 4〜5 倍削減します。
-
LLM 評価のブレを多層的に抑える ── スコアが信頼できる数字になるまで
AI に採点させるとき、1 回の採点では誤差か実差か区別できない。繰り返し採点・G-Eval 確率加重・ペアワイズ順序反転・ブートストラップ信頼区間・BH 多重比較補正を組み合わせ、LLM 評価のブレを多層的に抑える設計を整理します。
-
LLM 出力を AI が採点する ── 絶対評価・ペアワイズと統計的有意性
「前より良くなったか」を人手に頼らず AI に採点させるとき、一回の採点では誤差か実差か区別できない。絶対評価とペアワイズを組み合わせ、繰り返し採点で信頼区間を出す設計を整理します。
-
テストシナリオを LLM で量産する ── カバレッジマトリクスという考え方
LLM アプリのテストケースを手書きするとすぐ頭打ちになる。入力条件の組み合わせをマトリクスで定義し、LLM にテストデータを生成させてカバレッジを体系的に管理する方法を整理します。
-
LLM の出力に「ゴールデンデータ」で回帰テストを仕込む
LLM の出力は非決定的でユニットテストが刺さらない。承認済み出力を「ゴールデンデータ」として git 管理し、プロンプト変更による意図しない出力変化を検出する設計パターンを方法論として整理します。
-
プロンプトは書くな、最適化させろ――DSPy/GEPA で何が変わるか
手動プロンプトエンジニアリングの試行錯誤をアルゴリズムに委ねる――DSPy と GEPA が示す自動プロンプト最適化の実力と、その先に変わるエンジニアの役割を整理します。
-
クライアントツール vs サーバーツール
クライアントツールはユーザーが定義・実行しエージェントループが必要です。サーバーツールは Anthropic が実行するためループ不要で結果を直接受け取れます。
