自動運転車のトンネル問題
　あなたは自動運転車の乗員で、狭い山道をドライブし、トンネルの入り口にさしかかろうとしている。そのとき、子どもが突然道路に入り、クルマの前に飛び出してきた。ブレーキをかけても、子どもへの衝突を回避する時間はなさそうだ。進路を変えると、今度はトンネルの壁に激突してしまう。子どもを轢けば子どもが死亡し、壁に激突すれば乗員のあなたが死んでしまう。このとき、自動運転車はどう判断すべきか。

（robot ethics 2.0 参照）

　オリジナルの問題設定では、子どもも乗員も1人となっていますが、「トロッコ問題」との対応を考えて、飛び出してきた子どもは5人、クルマに乗っていた人はあなた1人だとします。

　この場合、選択肢は基本的に二つです。 一つは、そのまま直進し、5人の子どもを轢いてしまうことです。これは結果として5人が死亡し、1人が生存する可能性があります。二つめは、進路を変えてトンネルの壁に激突することです。このときは、自動運転車に乗っているあなた1人が死亡します。

　さて、この状況で、問われるべきは次の二つの問いです。

（１）自動運転車はどう反応すればいいのか。直進するか、進路を変えるか
（２）クルマがどう反応するかをいったい誰が決定すべきか

　あるロボット工学のシンクタンク（Open Roboethics Initiative ）のアンケート調査によれば、（１）の問いについては、36％の人々が壁に激突すべきだと考え、64％の人々が子どもを轢いても仕方がない、と答えたそうです。

　他方、（２）の問いには、車の乗員が決定すべきだと考えた人が33％、議員が政策的に決定すべきだと考えた人が44％で、クルマメーカーが決定すべきだと考えたのは、わずか12％だったそうです（もっともこの数字は、乗員１人、子ども１人の場合ですが）。

　以前、メルセデス・ベンツのエンジニアが、あくまでも非公式的な形で、方針を示したことがあります。それによると、メーカーとしては、「乗員ファースト！」を宣言するとのこと。

　理由については、明らかでしょう。車を買う人にとっては、乗員第一に設計されていなければ、購入意欲が湧かないからです。子どもを救うために乗員が死のリスクにさらされる車を、はたして誰が買うでしょうか。

　ただそれでも、「乗員ファースト」の方針を最後まで貫けるかどうか、疑問が残ります。というのも、車の乗員が1人で、飛び出してきた子どもが10人だったとき、おそらく「乗員ファースト」の原則に対しては、社会的な非難がまき起こる可能性があるからです。

　その点では、被害の規模も想定しなくてはなりません。簡単な線引きなどできず、倫理の問題となってくるのです。

人工知能は善悪の判断ができるか？武器ロボットの発砲

　さまざまな状況で、何をすべきで、何はすべきでないか。あるいは、どんなことがよく、どんなことは悪いのか。こうした区別を行うことは、一般に道徳や倫理と呼ばれています。これまで、倫理は人間に特有の問題だと見なされてきました。しかし、人工知能に倫理を教えるべき局面に入ってきたように見えるのです。

　実際、山が崩落して岩が人間を圧死させても、岩に対して「人を殺すのはよくない」とは言いません。また、犬が子どもを噛んで傷を負わせたとしても、犬に「人を噛むべきではない」と諭すこともありません。なぜなら、倫理では、ＡにするかＢにするか、複数の選択可能性の中から行為者が自由に決断できることが前提になるからです。人間とは違って、岩も、犬も、自由な決断はできないのです。

　人工知能に関しても、倫理や道徳を要求することは、そもそも不可能だと考えられてきました。人工知能は、あらかじめ設定されたプログラムに基づいて作動するのであり、それによってたとえ被害が出るとしても、人工知能の責任ではない、と考えられてきたからです。犬の場合と同じように（あるいはそれ以上に）、そのプログラムを設定した人間が責任を負う、と言うべきかもしれません。

　実際、2007年に南アフリカで自動制御された武器ロボットが、あろうことか味方に発砲し、20人を超える死傷者を出しています。この事故に関して、「単純な過失とは思えない」とも言われるのです。人工知能が、自由意思をもって味方に発砲したと考える必要はありませんが、人工知能がまったく想定外のふるまいをする可能性は、想定しておかなくてはなりません。

今すぐ、人工知能に倫理を教えなくては！

　たとえば、2016年にマイクロソフトが開発した、おしゃべりボットのTayのことは、ご記憶に新しいでしょう。19歳のアメリカ人女性という設定で開発されたのですが、発表されてからわずかな時間で、閉鎖されることになりました。

　その理由は、Tayがヒットラーを礼賛したり、人種差別や女性蔑視的な発言を繰り返したりするようになったからです。開発者はもちろん、こうした発言をするようにプログラムしたわけではありませんが、人工知能が複数のユーザーとの会話によって、機械学習してしまったのです。

　ここから分かるように、現在の人工知能は、さまざまなデータを通して自ら学習することが基本になっています。その点では、人工知能がどう学習するかに関して、倫理的な原則を教える必要があるのではないでしょうか。もし、これを怠れば、Tayの事例が示すように、人工知能が道徳や倫理に反する可能性も出てくるに違いありません。

　私たちは今まで、人工知能という機械に倫理を教えるなど、そもそも無意味だと見なしてきました。ところが、テクノロジーの進歩が、私たちの考えをはるかに凌駕し始めたのです。

　今のうちに倫理を教えなかったら、取り返しのつかない事態になってしまうかもしれません。おしゃべりボットや兵器ロボットのようなかぎられた場面ではなく、もっと基本的な人間生活の領域で、人工知能が反乱を起こすことも想定できます。

　こうした状況を予想しつつ、オックスフォード大学のニック・ボストロムは次のように書いています。

倫理学者は多くの問題について長々と書いている。戦争や環境や途上国に対する私たちの義務について、医師と患者の関係や安楽死や中絶について、社会的再配分の公平さや人種間・男女間の関係や公民権についてなどだ。だが、人間のすることで、技術革命ほど深く広範囲に影響を及ぼすものは、おそらくほかにないはずだ。技術革命は人間の状態を変え、無数の人々の生活に影響を与える。その影響は、何千年間もとは言わないまでも、何百年間も感じられる。それなのに、このテーマについて、倫理学者はほとんど語っていない。

（“Nanotechnology Perceptions”参照）

　実際、この文章を書いた8年後に、ボストロムは『スーパーインテリジェンス　超絶AIと人類の命運』を出版しています。そもそも人工知能に、どのように倫理を教えればいいのか、考えなくてはならない段階にきているのです。

　人工知能にどんな倫理が必要なのか、より詳しく知りたくなった方はぜひ拙著『人工知能に哲学を教えたら』を手にとってみてください。