Tag
LLM
30 件の記事 · 2 / 3 ページ
-
長いエージェントループのためのコンテキスト管理術
コンテキストウィンドウは有限リソースです。Compaction・Context Editing・思考ブロック管理の3つのアプローチを整理します。
-
effort と budget_tokens の違い
budget_tokens は思考トークンの上限を数値で指定します。effort は思考・テキスト出力・ツール呼び出し回数すべてに影響するレベル指定です。2つは別の概念です。
-
バッチ・ストリーミング・高速モードの選び方
同期・ストリーミング・バッチ・高速モードのどれを使うかは、レイテンシ要件とコスト優先度で決まります。それぞれの特性と使い分けを整理します。
-
extended thinking と adaptive thinking の違い
「拡張思考を有効にする」と「適応型思考を有効にする」は別の概念です。モデルごとの対応状況と使い分けを整理します。
-
LLM でデータセットを作る際の落とし穴とマトリクス設計
LLM による合成データ生成には世代崩壊やバイアス増幅といった構造的な落とし穴がある——その根本には Chat 形式の連続生成という設計ミスがあり、マトリクス×ステートレス単一 API 呼び出しに切り替えることで解決できます。
-
OOD（分布外データ）とは何か ── LLM で合成 OOD プロキシを生成して未知データに備える
訓練データの分布外にあるデータ——OOD——にモデルは高い確信度で誤る。ラベル付き OOD が手に入らないという根本問題に対し、LLM で合成プロキシを生成する最新アプローチと、その落とし穴を整理します。
-
プロンプトキャッシングの落とし穴
プロンプトキャッシングは強力なコスト削減手段ですが、thinking パラメータの変更でメッセージキャッシュが無効になる点など、知らないと損をする挙動があります。
-
Claude API の思考設計の変遷
budget_tokens で「何トークン使うか自分で決める」時代から、effort で「方向性を示してあとは Claude に任せる」時代へ。設計思想の変化を読み解きます。
-
tool_choice の4種類と Claude のツール判断ロジック
tool_choice には auto / any / tool / none の4種類があります。それぞれの意味と、サーバーツール・クライアントツールの違い、effort との関係を整理します。
-
ローカル LLM ベンチマーク：M3 / 24GB で 5 モデルを計測した
lm-evaluation-harness を使い、MacBook Air M3 / 24GB 上の 5 モデルを GSM8K と ARC Challenge で計測しました。phi4 が両タスクで最高スコアを記録し、速さでは mistral-nemo が突出しました。
-
ローカル LLM のモデル選定：M3 / 24GB で動かせる範囲を調査した
各 LLM ファミリーのバリアントを調べ、MacBook Air M3 / 24GB で快適に動かせる範囲を整理して、実際に導入する 5 モデルを選定しました。
-
graphify の仕組み
コードは tree-sitter でローカル解析、ドキュメントだけ LLM へ——graphify がプロジェクトをナレッジグラフ化する2段階パイプラインの設計を整理します。
