言語習得の謎に迫る―AIに「好奇心」を与えたら、子どものように学び始めた

遊びのような行動に報酬を与えると、AIは機械的な指示による学習よりも、はるかに効率よく課題をこなせるようになることが明らかになりました。人間の言語習得の仕組みを理解する上でも、重要な手掛かりを示しています。

AIモデルは、自ら生成した言語を理解しているのでしょうか。 

この問いに答え、より広範に言語習得のメカニズムを解明することを目的に、沖縄科学技術大学院大学(OIST)の研究チームは、脳に着想を得たニューラルネットワークを備えた仮想ロボットを開発しました。さらに、このロボットに「好奇心」という人間らしい特性を与え、その性能を検証しました。 

研究チームは、ロボットを物理シミュレーション環境に置き、多様な「動詞―形容詞―目的語」の組み合わせを経験させることで、子どもがなぜ驚くほど短期間で言語理解能力を獲得できるのかを説明する有力な手掛かりを見いだしました。それは、「豊かで多様な言語環境」と、「子ども特有の旺盛な好奇心」の組み合わせです。この研究成果は本日、学術誌『Science Advances』に掲載されました。 

「好奇心を持つロボットは、好奇心を持たないロボットに比べて半分の時間で、言語を理解しているように見える状態に到達します。また、学習中に自然に現れた遊びのような行動や、例外処理の性能にも私たちは驚かされました」と、本研究の筆頭著者であり、OIST認知脳ロボティクス研究ユニットの博士課程学生であるセオドア・ティンカーさんは述べています。

好奇心を持つロボットは、より高いパフォーマンスを発揮

本研究で用いたAIは、PV-RNN(Predictive coding inspired, Variational Recurrent Neural Network:予測符号化に着想を得た、変分再帰型ニューラルネットワーク)と呼ばれるモデルに基づいています。このモデルは、人間の脳が情報をどのように処理しているかを説明する有力な理論を基盤としています。急速に進歩を続ける大規模言語モデル(LLM)は、膨大なデータセットを用いて、与えられた入力に対して統計的に最も確率の高い応答を生成しますが、PV-RNNは、①正確さ(現実をどれだけ正しく理解できているか)を最大化し、②複雑さ(何が起こったかに応じて、内部の信念をどの程度変更する必要があるか)を最小化することで、いわゆる「自由エネルギー」を低減するように学習されます。ロボットは、安定した信念体系を維持しつつ、正確な予測を目指しています。「例えば、小さな黒い四角形の物体を見つけ、それを食べてダークチョコレートの味を知ったとします。その後、別の小さな黒い四角形の物体を見つけたとき、その見た目と内部の信念に基づいて同じ味だと予測します。もし予測が正しければ内部の信念は変わらず、複雑さは小さいままです」とティンカーさんは説明します。「しかし、それが実際には黒いグミだった場合、予測は外れ、新しい経験に基づいて内部の信念を更新する必要があります。これが『高い複雑さ』に相当し好奇心が生まれ、その複雑さを下げようと行為が生成されます。」 

本研究のために開発した仮想ロボットは、現実に近い物理法則に基づく3D環境内でシミュレーションされている。ロボットは前面に備えられたカメラを通じて色や奥行きを認識し、自身の四肢の動きを感知し、触覚情報を得ることができる。動く際は車輪を個別に回転させ、アームを操作することができる。各シミュレーションでは、コマンド音声によって課題の実行が指示され、その動作をフィードバック音声が読み上げる。
© セオドア・ティンカー

本研究では、PV-RNNに強化学習も組み込みました。具体的には、課題の達成に対して外部報酬を与える一方で、複雑さに直接結びつく「好奇心」に対しては内部報酬を与える仕組みとしました。これにより、相反する動機が生まれます。ロボットは正確な予測を行い、現在の世界観を維持しようとする一方で、内部の信念を更新するような行動を取った場合にも報酬を得るのです。ティンカーさんは次のように説明します。

「例えば、ダークチョコレートが大好きだけど、ホワイトチョコレートは一度も食べたことがない場合を考えてみてください。ある日、正確さを保ち、複雑さを低く抑えたいという欲求に反して、あえてホワイトチョコレートを試してみることにします。その結果、ダークチョコレートの方が美味しい(つまり外部報酬としてはそちらの方が依然として高い)と感じたままかもしれませんが、一方で、好奇心を満たしたことで内部的な満足も得られます。さらに、その経験を通じて、チョコレートというものが一般的にどのようなものかという理解も更新されることになります。」

研究チームは、学習中のロボットにも同様の行動が見られることを確認しました。課題の解決能力が一貫して向上しているにもかかわらず、物体を倒すなどの探索的な行動が観察されました。「特に興味深かったのはこの点です。どの課題にも、物体を倒す必要は全くありません。私たちはロボットに子どものように遊ぶよう指示したわけではありません。学習するように指示したのです。それにもかかわらず、ある行動が別の行動につながるように見えます。好奇心によって強化された遊びのような行動が、ロボットの世界の理解をより速くしたのです。」

学習の中盤になると、好奇心を持つロボットは遊びのような行動を見せ始めた。指示された行動や報酬が得られる行動とはまったく異なる動作を繰り返し試していたのである。これは、新しい行動に報酬を与えるロボットの内発的動機によるものと考えられる。そして、このような行動が、さまざまな種類の課題に対応できるよう学習内容を一般化する能力の獲得に役立っている。
© セオドア・ティンカー

豊かな言語環境が「刺激の貧困」問題の解決に役立つ

子どもがどのように言語を身につけるのかは、長年にわたって研究者を悩ませてきた問題です。1980年に言語学者ノーム・チョムスキーが「刺激の貧困」という問題を提起して以来、研究者たちは、子どもが得られる言語情報は量が限られ、不完全で、時には誤りを含む断片的なものにすぎないにもかかわらず、どのようにして短期間で言語のあらゆる特徴を習得できるのかを明らかにしようとしてきました。 

本研究は、幼児がこの問題を解決する鍵が、好奇心と多様な言語環境の組み合わせにあることを示唆しています。研究チームは以前、 ロボットが遭遇する文構造の多様性が、これまでに見たことのない言語課題を完了する成功率に影響を与えることを実証していました。本研究では、可能な組み合わせの範囲を大幅に広げることで、これまでの知見を再現するとともに発展させ、明確な傾向を明らかにしました。すなわち、48の組み合わせを経験した好奇心旺盛なロボットの一般化成功率は25%しかありませんでしたが、180の組み合わせに増やした場合は、85%にまで上昇しました。 

間違いを通じて一般化を学ぶ

遊びに加えて、研究チームは、ロボットが、幼児に見られる特徴的な現象、いわゆる「例外処理におけるU字型の学習曲線」を再現していることを見いだしました。 

英語では、動詞を過去形にする場合、多くの動詞では語幹に「-ed」を付けて作られます(walked、touched、pushedなど)。一方で、「ran」や「went」のように、この規則には例外も存在します。動詞活用の正答率の変化を時間の経過に沿って示すと、特徴的なU字型の曲線が現れます。語彙が限られている初期の段階では、子どもは「the dog ran」や「the boy went」のように、覚えた表現のまとまりを正確に再現します。しかし、その後、動詞活用の基本的な規則を習得するにつれて成績は低下し、「the dog runned」や「the boy goed」のように、以前は正確に再現できていた文でも、間違いを犯すようになります。 

この現象は「過剰な一般化」と呼ばれます。子どもは単に聞いたフレーズを繰り返しているのではなく、内面化した動詞活用のルールを新たな文に適用し始めているのです。やがて例外への対応を学ぶことで、成績は再び向上します。 

研究チームは、二つの課題の意味を入れ替えることで、この現象をロボットで再現しました。例えば、「マゼンタ色の柱を見て」という指示が、実際には「緑色のポールの近くにいて」を意味するように報酬を設定し、その逆の対応も同様に導入しました。ロボットは当初、これらの課題を正しく遂行していましたが、より多くの課題を学習するにつれて成績は低下しました。その後、例外への対処を学ぶと、再び性能が向上しました。「ロボットが、例外への対処において、子どものような変化を示したことは、私たちにとって全くの予想外でした。なぜなら、モデルには過剰な一般化や例外処理を具体的に扱う要素は何もなく、それにもかかわらずロボットがこうした能力を独自に習得したように見えたからです」と、ティンカーさんは述べています。 

言語習得を解き明かす新たな手掛かり

言語習得を研究する上で、ニューラルネットワークは優れたプラットフォームとなります。というのも、さまざまな実験条件下で子どもの言語習得の全過程を調査することは困難であるだけでなく、倫理的な制約も伴うためです。しかし、過去10年間でAI開発は前例のない規模で加速したものの、大規模言語モデル(LLM)やその他の高度なアーキテクチャは、膨大なデータセットを用いて学習された数兆ものパラメータを有しており、これは人間の学習とは大きく異なっています。

対照的に、PV-RNNのようなニューラルネットワークは有力な研究モデルです。これらは、アーキテクチャと、本研究が示したように挙動の両面において人間の認知に関する最先端の理論を反映しているだけでなく、設計上、高い透明性を備えています。過去の経験に基づいて将来を予測する「隠れ状態」と呼ばれるものには研究者が自由にアクセスでき、ロボットが課題を解決する過程で、その心的計画をリアルタイムで追跡できます。また、これにより研究者は、ロボットがどの感覚刺激に関心を向けるか、さらにその程度までをきめ細かく制御することが可能です。

本研究の責任著者であり、OIST認知脳ロボティクス研究ユニットを率いる谷淳教授は、次のように述べています。「ロボットは子どものように考えているわけではありません。子どもたちが置かれている極めて密度の高い言語環境と比べると、その状況はかなり抽象化されたものです。しかし、このような抽象化された環境だからこそ、人間がどのように言語を処理するようになるのかを説得力のあるモデルとして捉え、その枠組みの中で好奇心の影響を研究することが可能になります。このプラットフォームを用いて、今後どのような行動が見られ、どのような研究につながるのか、大変楽しみにしています。」

報道関係のお問い合わせ