研究解説 · 小互解説

OpenAI が API設定を2つオンにしただけ、GPT-5.6 Sol の ARC-AGI-3 スコアが 13.3% から 38.3% へ

モデルは変えず、動かしているプログラム側を変えた：プライベート推論を残し、削除の代わりに圧縮。1試合あたりの出力トークンは約6分の1に減った。
⚑ 出典は OpenAI 公式ブログ。自社モデルと自社 API の話で、38.3% は OpenAI が自社計測した成績。ARC Prize が独立検証したのは公式プログラム下の 13.33% と 7.78% だけ。数字を読むときはこの境界に注意。文末に本サイトが別途確認した出典も載せた。
はじめに

同じモデル、同じ問題でスコアが約3倍

OpenAI が、かなり具体的な失敗の振り返りを公開した。同じ GPT-5.6 Sol、同じ評価問題で、API設定を2つオンにしただけ。スコアは 13.3% から 38.3% へ、1試合の出力トークンは約6分の1まで落ちた。API で多ステップの仕事を走らせているなら、この2つのオン／オフが成績と請求を直接決める。

原資料と参考