研究解説 · 小互解読
Gemma 4 テクニカルレポート：オープンモデルが「小パラメータ＋思考できる＋省メモリ」で大型モデルに真っ向勝負
Google DeepMind の Gemma 4 レポートは機能一覧ではない。本当に証明したいのはこうだ——数兆規模の MoE でなくても、人間の好みと STEM でフロンティアに迫れて、しかもオンデバイスに収まる。
⬡ レポートの核心（まずここを読む）
Gemma 4 の本筋は一言だけ——三つのエンジニアリングで「能力」と「コスト」を同時に有利な方向へねじり込む。
一つ目は知能を上げる：思考モード（先に推論してから答える）。二つ目はコストを下げる：ローカル／グローバルアテンションの配分、p-RoPE、KV 共有、K=V、QAT 量子化、MTP 投機的デコード。三つ目はモダリティを広げる：ネイティブに画像・文・音声を扱い、12B には「独立エンコーダを持たない」統合アーキテクチャを与えた。以下のモデル、表、Arena の順位はすべて、この一言に証拠を与えている。
01 知能を上げる
思考モード
数学・コード・STEM が大きく伸びる主エンジン。標準評価はほぼ常にこれをオンにしている。
02 コストを下げる
長コンテキスト＋量子化＋投機的デコード
コンテキストを伸ばしても KV を破綻させない。31B を約 64GB から約 19GB へ。デコードも加速。
03 モダリティを広げる
ネイティブマルチモーダル＋12B 統合体
多くのサイズは凍結エンコーダを使う。12B は画像パッチと音声スライスを直接飲み込み、大きな重みを二塊減らす。
⚑
arXiv:2607.02770『Gemma 4 Technical Report』を基に整理。数値はすべて公式の自己申告。本ページのインタラクションは仕組みの説明用で、PDF 原文の表を代替しない。
01
それはオープン界のどの問いに答えているか
2026 年のオープンランキングは超大型 MoE に占められがち。Gemma 4 が選んだのは別の道——デンスな中小サイズ＋思考できる＋デプロイしやすい。