研究解説 · 小互解説
LangChain：モデルを変えずharnessだけ調整し、Nemotron 3 UltraのスコアをOpus 4.8に迫らせる。コストは約1/10、企業がクローズドソースAPIに大金を払う必要がないことを証明
システムプロンプト、ツール説明、ミドルウェアの三箇所に手を入れる。Deep Agentsスイートは典型的に約0.80→0.84、最高0.86対Opus0.87。
五行でわかる
- LangChainはNemotron 3 Ultraの重みを固定したまま、harness（システムプロンプト、ツール説明、ミドルウェア）だけを変更。モデルも温度などの生成パラメータも変えない。
- 手法は評価駆動のクローズドループ：評価 → 失敗トレースを読む → 行動をクラスタリング → 外殻を一箇所変更 → 再評価。まず小サンプルで絞り込み、通ったらフルセットへ。
- プロンプトは短い単一目標の指示ブロックを使う。ミドルウェアは強制実行と、つまずくポイントでのシグナル注入を担う。
- 核心メカニズム：同じルールでもツール説明に書くと効かず、ツールの返り値に埋め込むと効く。会話途中での注入は、システムプロンプトに常駐させるより安定する。
- 典型的には~0.80→0.84、最高0.86対Opus 4.8最高0.87。フルセットで約$4.48対$43.48、中央値のレイテンシはどちらも約10秒/問。
⚑ 立場の明示：本稿はLangChain公式ブログの方法論的事例であり、データは同社のDeep Agents内部評価と自社trace分析によるもので、第三者による再現ではない。
1WHAT
彼らが行ったこと
LangChainがNemotron 3 Ultra向けのharnessチューニング手引書を公開した。モデルには手を触れず、その外側の足場だけを変えて、オープンソースモデルがagentタスクでどこまで引き上げられるかを見た。
一言で言えば：同じオープンソースモデルでも、体に合った外殻に取り替えれば、最高スコアはClaude Opus 4.8に迫り、フルセット評価のコストはおよそ一桁低くなる。
◆
なぜ見る価値があるか：同じ重みでも足場が違えばスコアは大きく変わり得る。彼らは以前、gpt-5.2-codexのTerminal-Bench 2.0のスコアをモデルを変えずに52.8から66.5まで引き上げた。今回は同じ発想をオープンソースモデルに適用し、Opusに近いコスト対比を示した。
アーキテクチャ：agentは裸のモデルではない。外殻（harness）が内核（モデル）を包んでいる。LangChainが今回手を加えたのは外殻の三箇所だけ——システムプロンプト、ツール説明、ミドルウェア。内核の重みはそのまま。
生成パラメータはベンダー推奨のデフォルトのまま。本稿での向上は、temperatureを弄って「運任せ」で得たものではない。
公式図：モデルが内側、harnessが外側。噛み合えば能力はタスクに注がれ、噛み合わなければ能力は足場との格闘に費やされる。画像出典：LangChain Blog
サイト内関連解説
AIの自己進化の鍵は、モデルの外側にあるharnessという外殻に隠れている
Lilian Wengによるharnessエンジニアリングの長文記事。本稿はLangChainがオープンソースモデルで実践した手引書。
2MISMATCH
外殻が合わないとき、馬力はどこへ消えるのか
オープンソースモデルはすでに実務のagentタスクをこなせる域にあり、価格は最先端APIのほんの一部だ。だがどれほど有能なモデルでも、自分向けに作られていないharnessに放り込まれれば、実力を出せなくなる。
たとえるなら
モデルはエンジンで、harnessはシャシーとギアのようなもの。どれほど良いエンジンでも、ギアと伝動が噛み合わなければ、馬力は空転とスリップに無駄遣いされる。harnessを調整するのは、ギアと伝動を変えることであり、エンジンを載せ替えることではない。