内発的な動機に基づく学習とは？ AIは好奇心を持てるか？

　議論は次のテーマ「学習の仕方」に移る。マッサー氏は「人間の学習では、時々方向修正を行います。たとえば、チェスができないならボードゲームの『チェッカー』に戻って学習し直すというような学習プロセスはAIに必要か」とローサ氏に問うた。

　これを受けてローサ氏は「初歩的なタスクから中級的なタスクというように、前進的学習をするエージェントであれば、簡単なタスクに戻ることも必要」と述べた上で、「学習プロセスはオートメーションが課題」だと語った。

「スクリプトを教えるだけでは本当の知性ではありません。自動的にタスクを生成し、エージェントに常に新しいタスクを与え続けることが必要です。何でもいいからタスクを与えて、AIに学習させるのは得策ではありません。いかにして興味深いタスクを自動的に生み出していくかが大事です」（ローサ氏）

　國吉氏は、「この問題は内発的な動機につながるテーマだ」と述べる。國吉氏の言う「内発的な動機に基づく学習」とは以下のようなものだ。

「エージェントがタスクを与えられ、それが能力の範囲内ではあるが、ギリギリ解決できるタスクだった場合、難しすぎるわけでも、簡単すぎるわけでもないタスクの解決によって、次の問題解決のモチベーションにつながっていきます」（國吉氏）

　そして、國吉氏は、動機解明の難しさとして「自己報酬型のシステムでは、学習の発達には、エージェントが自分の能力を超えたタスク、つまり自分にできないことを評価しなければならない」点を挙げた。

　その点では数多くの研究がなされているものの、いまだ解決には至っていない。しかし、他からの情報を使うことで解決の糸口はあると國吉氏は述べる。

「たとえば人間の子どもの場合、お兄ちゃんやお姉ちゃんが何かしているときは、自分にもできるのではないかと考えることがあります。お兄ちゃんの真似をする、共感できる状態というのがヒントになるかもしれません」（國吉氏）

　一方、金井氏は、システムの内発的な動機づけについて「広く言えば好奇心、つまりエージェントが新しい情報を模索することができるようにする方法だ」と説明した。そして、もう一つのポイントとして「エンパワーメント」という概念を示した。

　これは「タスクがなく、学ぶことが少ない状況下で、エージェントが自分を優位な状況に置こうとする、ある種の権限委譲だ」と金井氏は説明。こうした概念に関しても、「ディープラーニングの出現で現実的なモデルにする素地が整いつつある」と金井氏は述べる。

　しかし、今の研究はどちらかというと「1つのシンプルなモデルに注力する定性的な概念レベルの研究が中心で、何百万というモデルが接続、連携しながら能力の高いAIを作るということに十分な努力がなされていない」と、定量的な面に課題があると言及した。

意識がどう生まれ、どう変わるかのメカニズムの解明がAGIにつながる

　マッサー氏は最後に、今後の展望、抱負を示すようパネリストに呼びかけた。

　ローサ氏は「汎用的な解決策にフォーカスしていきたい」と述べた。これは1つの解決策で多くの問題が解決できる点で、「一般化された汎用的な解決策の方が効率的だから」である。

　その上でローサ氏は「汎用性のあるソリューションだからといって、重要性が低いと思わないでほしい」と話し、「ディープラーニングだけでなく、AGIのようなリスクのある領域にもチャレンジしてほしい」と呼びかけた。

「私たちの研究、開発では、タスクをどう実行するかはそれほど重要視していません。すでにできることが上手にできることではなく、環境、状況が変わったときに、その変化に対応できるかどうかが大事だからです。変化のスピードに適用できるテクノロジーでなければならないからです」（ローサ氏）

　過去にタスクをこなせた実績があっても、将来にわたってまったく同じ形で同じタスクが出現するとはかぎらないため、タスク解決のパターンがメタ化され、「同じタスクが、メタパターンでこなせるようになる」ことが大事だということだ。

　國吉氏の関心事は、「報酬を外しても、無限に連続的に発達するシステムをどう作るか」という点にある。そして、そこに「道徳のようなものをどう組み込むか」が大事だということだ。

「最近の研究によると、子どもがまだ言葉を覚えていなくても、何らかの正義、道徳の気持ちを持っていることがわかってきています。意識がどう生まれ、どう変わっていくかという発達のメカニズムを解明し、システムに具現化することに取り組んでいきたいです」（國吉氏）

　そして、金井氏は「内発的な動機づけに関心がある」と、意識のメカニズムを機能的に解明したいとの抱負を述べた。

「理解し、意図を持つことはどういうことか。たとえば、情報の多様性と統合という『統合情報理論（Integrated Information Theory）』の観点からこの研究に取り組むメンバーも私の会社にはいます。意識を解明するには、さまざまなAIの研究からアイデアを借りることができるのです」（金井氏）

　そして、科学的な見地から「脳のどのような物質が意識を持っているのか、脳の中にある、意識的な経験のメカニズムを明らかにしたい」と語った。

「今はそこには到達していませんが、最終的に何が意識かを理解することに取り組んでいきたいと考えています」（金井氏）