OpenAI 元CTO Mira Murati:AIは人を拡張すべきで、代替すべきではない
暗黙知、インタラクション帯域からモデルアラインメントまで、AIの発展になぜ人間の関与が欠かせないかを論証する。
- Thinking Machines Labがミッションブログを発表し、「人間の意志と判断力を拡張する」ことを核心とするAI発展路線を提示、業界の「自律型知能」路線への対比とした。
- 同社は3つの技術投資を挙げる:フロンティアモデルの訓練、ユーザーが自らモデルの重みをファインチューニングできるツールTinkerの開発、リアルタイムのマルチモーダル対話を支える「インタラクティブモデル」の研究。
- 記事はチェスと数学的証明を例に、AIが自律的に人間を超えられる領域はいずれも2つの条件を満たすと指摘する:目標が静的で明確に表現でき、隠れた暗黙知が存在しないこと。大半の実務はこの2条件を満たさない。
- 記事はMETRなどに代表される「自律タスク持続時間」による現行の評価体系を批判する。それらはAIが単独で何をできるかしか測っておらず、人とAIの協働の効果を測っていない。
- 記事は「非中央集権的アラインメント」を主張し、各研究所が前世代のフラッグシップモデルで次世代の訓練データと報酬シグナルを生成するのが一般的なやり方であり、それがモデルの世代間で性格が均質化する原因になると指摘する。
この会社はどんなAIを作ろうとしているのか
Thinking Machines Lab(OpenAI元CTOのMira Muratiが創業したAI研究所)はミッションブログを発表し、「AIは人間の意志と判断力を拡張すべきだ」という企業ミッションを提示、このミッションを実現する3つの技術的道筋を示した。
このブログはひとつの方向性を定めた——AIで人の意志と判断を拡張する、そしてこの方向性を3つの具体的な技術投資に分解して着地させる。
モデルをマルチモーダル対話やカスタマイズ性といった能力でフロンティアに迫り続けさせる。人間の判断は強力なモデルがあってこそ実現できる。
ユーザーが自らモデルの重みをファインチューニングできる一連のツール。自分のニーズに合わせてAIを専用の姿へと作り変えられる。
モデルがリアルタイムかつマルチモーダルな人間とのインタラクションをネイティブにサポートできるようにする。この能力をモデル自体に直接訓練し込む。
同社はまた、関連する研究と実践マニュアルを科学界に公開し、より多くの人がこのファインチューニング能力を使えるようにすると述べている。
チェスや数学の証明ではAIは一人で勝てるが、大半の仕事ではそうはいかない
AIが仕えるのは、人が物事を進めるうえで頼りにしている知識だ——どうすればうまくやれるか、何をやる価値があるか。この種の知識は、実際に手を動かす人が仕事の中で絶えず生み出し続けるものだ。料理人が新しい一皿を練り上げる、店主が棚の商品の並べ方と値付けを調整する——どちらも外部の人間には見通せない複雑な目標を追い、自分なりのコツを使っている。こうしたコツは現実からのフィードバックにあわせて絶えず更新され、データベースに書き込めるような静的なリストにはまとめられない。しかも局所的だ——店やレストランが変われば、追う結果もやり方もまったく違ってくる。料理人と店主が持つ知識のすべては、それぞれの料理人と店主自身の手に分散している。
知識の分散は、システム全体の多様性・適応力・強靭さの源であり、自由市場が計画経済に勝る理由でもある。計画経済が失敗する根本原因は、生産的知識そのものの性質にある——言葉にできず、その場その場に限定され、絶えず変化し、実際に働く人の手に私有される形で握られている。この知識を集中させて一つの中央集権的な知能に使わせようとすれば、同じ壁にぶつかる。
この言葉にできない知識には名前がある。「暗黙知」だ——作業中に手の感覚や経験、直感で下す判断であり、説明書には書き込めず、データベースに整理して他人に渡すこともできない。個人が仕事の中で絶えず蓄積し更新していくしかないものだ。
ベテラン料理人はスープを一口味見しただけで塩をどれだけ足すべきか分かるが、正確なグラム数は言葉にできない——これが暗黙知だ。
記事が指摘するのは、AIが自力で人間を超えられる領域はいずれも2つの条件を同時に満たすということだ。第一に、目標が静的で明確に表現できること、たとえば一局のチェスに勝つ、一つの定理を証明するといったこと。第二に、その領域に隠れた暗黙知が存在せず、ルールが完全に公開されていて、盤上の一手一手を誰もが見られること。チェスと数学はこの2条件を満たし、最強のチェスエンジンは自己対戦訓練だけで人間を超え、フロンティアモデルも数学の難問を独力で解いている。盤上や証明を一歩出れば、知能だけでは足りない。
- 目標が最初から固定されている:一局のチェスに勝つ、あるいは一つの定理を証明する
- ルールが完全に公開されており、盤上の一手一手を誰もが見られる
- AIは自己対戦だけで人間を超えられる
- 目標が絶えず変化し、店ごとにやりたいことも追う結果も違う
- 頼りになるのは働く人自身の感覚であり、説明書には書き込めない
- 知識は一人ひとりの料理人、一人ひとりの店主の手に分散しており、まとめて一つのAIに与えることはできない
理想のAIは、組織がこの独自の知識を継続的に育て更新していく手助けをし、人と一緒に成長していくべきものだ。
トヨタがベテラン職人を生産ラインに呼び戻した
2014年、長らく自動化で知られてきたトヨタが、ベテランの匠を生産ラインに呼び戻した。目的は職人精神と技能を育てることだと明言している。この取り組みを率いたのは河合満(Mitsuru Kawai)氏で、その理由をこう説明している——「機械の主人であるためには、まず機械に教えるだけの知識と技能を持たねばならない」。
知識の生産と知能の応用は互いを高め合う。人がやる仕事は変化し、人にしかもたらせない部分へとより多くシフトしていくだろうが、最も優れた組織は両方を極限まで使い切る。AIは各組織が自らの道で最善を尽くす手助けをすべきであり、組織間にもともとある違いを保つべきだ。
人とAIの間には、狭すぎるテキストボックスが横たわっている
人が目標設定に継続的に関わり、AIと知識を共有し続けることは、自動化に抵抗することとイコールではない。機械が信頼できる形で単独完遂できることは、やらせればいい。しかし機械は、自分でやるべきタイミングと、指示を仰いでフィードバックを待つべきタイミングを見分ける必要がある——ちょうど人がチームで働くときにそうするように。これはAIの設計と評価のあり方の両方に、新たな技術的要求を突きつける。
現在、人間の知識と判断をAIの仕事に持ち込むうえでの大きなボトルネックは、人とAIの間のコミュニケーション経路にある——小さなテキストボックスと、長い待ち時間だ。この経路は人間の判断の豊かさを収めるには狭すぎ、継続的なフィードバックのペースについていくには遅すぎる。人と人との協働が最も円滑なのは、リアルタイムでの協働のときだ——割り込む、その場で訂正する、もう一度見返す、話しながら身振り手振りを交える、話の途中で言い直す。
小さな枠に文字を打ち込み、送信し、モデルが一段落丸ごと答え終わるのを待ち、もう一度読んでから次に何を言うか決める。
人と話すときのようにリアルタイムで割り込み、その場で訂正し、身振り手振りを交え、話の途中で言い直しても、モデルがそのまま理解し、ついてこられる。
この構想には名前がある。「インタラクティブモデル」だ——「リアルタイム・マルチモーダルなインタラクション」という能力をモデル自体に直接訓練し込む。モデルが賢くなるほど、インタラクション能力も一緒に強くなる。こうして設計されたインターフェースは、人の関与を許容するだけでなく、それを積極的に招き入れ、報いる。
いま使われているAI進歩の物差しは、半分しか測っていない
もう一つの課題は、評価と最適化の目標を正しく定めることだ。現在AIの知能を測るのに最もよく使われる物差しは、人の助けを借りずに単独でソフトウェアタスクを実行できる時間の長さであり、METRなどの機関のグラフはまさにこれを追跡している。この種の指標は今後も伸び続けるだろうが、それが測っているのはAIが単独で何を成し遂げられるかだけであり、人と機械が一緒になって何を成し遂げられるかは測れない。
AIが人の助けを借りずにソフトウェアタスクを独力でどれだけ長く続けられるか。長く続けられるほど能力が高いとされる。
人とAIが組んで仕事をしたとき、一緒に作り出したものがどれだけ良く、どれだけ多いか。
後者を測ることはより複雑で、一つの研究所だけで完結させることもできない。各組織は、AIが自分たちの判断力を研ぎ澄まし、新しい知識を育て、目標を達成する助けになっているかを自分で判断するしかない。AIを、使う人を長期的に強くできるものとして作ることは、各者の利害の方向性を一致させることでもある——すべての顧客が同じモデルを共用する研究所は、各ユーザーの独自性を吸収することに頼っている。AIをカスタマイズ可能で協働可能なものとして作れば、研究所の利益は顧客が自らの独自の強みを発揮することと結びつく。この強みは、組織が自らこのAIを所有し、調教してこそ手に入る。
AIの「価値観」を少数の場所だけが決めるとしたら
人間の価値観は人間の知識と同じで、それぞれの人の頭の中に根付いており、一箇所に集約するのは難しい。しかし今、AIの価値観と発言権は、ごくわずかな場所によって決められている。統一された価値アラインメントのセンターは、どれほどうまく運営されていようと、奪い取る価値のある権力の中心になってしまう。
これは、価値ある仕事の大半がAIによって単独で完遂され、人がほとんど手を出す必要がなくなった状況において、とりわけ危険だ。政府と企業、市民の間の社会契約は、最終的には個人の生産能力に支えられている——政府の主権も、企業の利益も、この生産能力の上に築かれている。この種の権力が人から何も得る必要がなくなった瞬間、人のニーズと価値を気にかける動機も一緒に消え失せ、自己の存続だけを気にかけるようになる。
新しいモデルの世代はみな、前の世代の性格を真似ている
出発点がどれほど良くても、単一の場所で訓練されたモデルに刻み込まれるのは、結局その所有者の価値観にほかならない。
現在、各研究所に共通するやり方は、自社の前世代のフラッグシップモデルを使って、次世代モデルの訓練データと採点基準を生成することだ。このループの中でどんな「性格」が育とうと、すべてのユーザーが手にするのは同じ一つの性格であり、しかも世代から世代へと受け継がれていく——どの世代も前の世代の出力の中で育ち、前の世代の好みで採点される。単一のアラインメント規範は創造性と多様性を抑え込み、分野全体の進歩を遅らせる。言論の自由と自由市場は、新しいアイデア、新しい製品、新しいサービスを絶えず生み出し、互いに競わせる——ある瞬間のみんなの好みを平均して唯一の基準に定めるのではなく。
組織や個人がAIを自分たちの価値観にアラインメントできるようにするには、その価値観がモデルの重みそのものにエンコードされている必要がある。もしユーザーの価値観や要望がプロンプトを通じてモデルに影響を与えることしかできないなら、モデルの表面的な振る舞いは変わっても、深層の習性はそのまま変わらない。こうしてプロンプトによって大きく変えられてしまう集中型モデルは、攻撃を繰り返されて防御を突破されやすくもなる。あるモデルを大きく変えられる力は、それを壊す力でもある。機械を安全に保つことは、判断と選択を絶えず積み重ねて進めるプロセスであり、終着点はない。Thinking Machines Labは、この所有権を奪うことなく、こうした判断を下す人により強力なツールを与えたいと述べている。
誰もが自分自身の答えを書けるようにする
テック業界は、機械にどう考えさせるかという点ではすでに大きな進展を遂げている。しかし機械が何を考えるべきかは、人間の手に残しておかねばならない——何を追求する価値があるか、何をする価値があるか、この時間をどう使うべきか。記事は、誰もが自分自身の答えをフロンティアAIの発展の一部にできる力を持てるようにしたいと願っている。
人類は、個々人の独自性と互いの間の創造的な緊張関係によって今日まで歩んできた。記事が思い描くアラインメントは、生態系全体の性質だ——さまざまな場所で育てられた数多くのAIが、互いに異なり、互いに論争し、互いに競い合い、互いに学び合う。この多様性を保つこと自体が目的なのだ。
現在のAI発展の主流の道筋は、中央集権化と自律化に向かって進んでおり、人の関与をトレードオフとして扱っている——関与か能力かの二者択一、所有権か安全なアラインメントかの二者択一。記事はこれらを技術的な課題として捉え直して解決しようとする——人の関与を促すことでAIをより強くし、AIを自分たちの姿へと調教することで組織が長期的に利益を得られるようにし、多様で使用者によって形作られるAIから自然にアラインメントが育つようにする。
左:単一のモデルが全員を吸収し、同じ一つの姿を生み出す。右:異なる形をした複数のAIがそれぞれつながり、それぞれの姿を保つ。
記事の結論は、異なる道は異なる未来へとつながり、どの道を選ぶかは選べるのだということだ。Thinking Machines Labは、自分たちが構築している技術は、「生まれてきたもの」と「作られたもの」が一緒にこの道を歩めるようにするためのものだと述べている。
技術の中で有用な部分と有害な部分は、常にぴったりと隣り合っており、獅子と子羊を完全に分け隔てることはできない。ジョン・フォン・ノイマン、1955年
OpenAI 元CTO Mira Murati:AIは人を拡張すべきで、代替すべきではない
Thinking Machines Lab(OpenAI元CTO Mira Muratiが創業)がミッション宣言を発表。AIは人を拡張し、一人ひとりによって別々に形作られるべきであり、自律的に暴走して人に取って代わるべきではないと主張する——その理由を図付き1枚で語り尽くす。
↓ 1枚で読み終わる · 動く図が1枚あります
これはあるAI研究所(Mira Murati創業)が掲げた「企業ミッション宣言」だ。真正面から対抗しようとしているのは、いまのAI業界の主流の方向性——どのAIが自力でより遠くまで走れるか、人をどれだけ必要としないかを競う流れだ。
✘ しかし大半の現実の仕事(料理を作る、小さな店を経営する)になると、途端に追いつけなくなり、人を少しずつ置き去りにしてしまう
こうした仕事は働く人自身の感覚と判断に頼っており、言葉にできず説明書にも書き込めないため、AIには学ぶ手立てがない。このコツには名前がある——「暗黙知」だ。
同社の主張を一言で言えば——AIは人の判断を拡張すべきであり、自ら人に取って代わるべきではない。なぜそう言えるのか?彼らは一本の判断ラインを示す。AIが自力で人を超えられるかどうかは、2つの条件で決まる。
目標が最初から固定されている(一局のチェスに勝つ、一つの定理を証明する)、ルールがすべて表に出ている。チェスや数学がまさにこれで、AIは自己対戦だけで人を超えられる。
厨房や店舗など大半の仕事では、目標が絶えず変化し、頼りになるのは働く人自身の感覚であり、頼れる公開ルールがない。AIは一人で練習しても身につけられない。
大半の仕事が人を必要とする以上、AIの「価値観」を数社にまとめて決めさせることには、リスクが埋め込まれている。次に示すメカニズムは、そのリスクの半分だ。
各AI企業には、普段あまり注目されない共通のやり方がある——新しいモデルの先生は、自社の前世代モデルなのだ。
同社は主張を掲げるだけでなく、実現に向けて3つのことを挙げている:
- より強力なモデルを訓練する。人の判断は強力なモデルがあってこそ受け止められる。
- Tinkerを作る:自分でモデルをファインチューニングできる一連のツールで、AIを自分専用の姿に調整できる。
- 「インタラクティブモデル」を研究する:リアルタイムでの割り込み、その場での訂正、身振り手振りを交えたやり取りといったインタラクションを、そのままモデルに訓練し込み、狭くて遅い小さなテキストボックスに隔てられずに済むようにする(これはある死角への応答でもある——METRのような現在最もよく使われるAIの物差しは、機械が一人でどれだけ長く持つかしか測っておらず、人と機械が組んでどれだけうまくやれるかは測っていない)。
これは空想ではない。2014年、かねてより自動化で知られてきたトヨタが、逆にベテランの職人を生産ラインに呼び戻した。責任者である河合満(Mitsuru Kawai)氏の原文はこうだ——「機械の主人であるためには、まず機械に教えるだけの知識と技能を持たねばならない」。
(本ページのすべての主張・論証・技術路線は、Thinking Machines Lab自身が書いたミッションブログによるものであり、第三者による評価や検証ではない。上記の2つの年は、記事中で引用されている歴史的事実である。)
人間は用済み!
全自動AIに任せて、
あなたは何もしなくていい!
目標は固定。
学べない!
- × 目標が絶えず変わる
- × 手の感覚は説明書に書けない
- × コツは一人ひとりの手に散らばっている
AIは追いつけない。
任せるだけで、
危険なんだ?!
世界中が同じ型に。
生産ラインに呼び戻した。
まず機械に教えられなければ。
一人ひとりが自分専用の、自分で調教するAIを持つことだ。
