アマゾンのAI「Alexa」で誤発注？米国で起こった騒動

　2017年の年明け早々、米国テキサス州のダラスで起こった騒動が報道された。

　6歳の少女が、親のAmazon Echo Dotsを使って160ドルもするドールハウスとクッキー（約1.8キロ缶）を注文したというニュースだ。正確にいえば、Amazon EchoやEcho Dotは、音声入力インターフェイスのデバイス、いわばネットにつながるスピーカーとマイクであり、音声を認識し商品を注文するのはハードウェアに内蔵されたクラウドで動作する「Alexa」というAIエージェントだ。

　Alexaには、いまのところ声紋などで個人を特定して制御を切り替える機能は実装されていない。そのためセキュリティ対策として、決済を行う場合は、別のコードを要求する形で認証する仕組みを導入している。6歳にもなれば、おそらく両親が注文しているのを見聞きして、その手順を覚えてしまってもおかしくないだろう。

　この話には続きがある。サンディエゴのローカル放送局が、あるモーニングショーでこの問題を取り上げていたとき、司会者が「その『Alexa、私にドールハウスを注文して』といった女の子は好きだよ」と発言した。すると、テレビの視聴者が所有するAlexaが一斉にドールハウスを注文しようとしたという。要するに、テレビから流れてきた音声（少女のセリフ）にAlexaが反応したのだ。

　実は、このようなAIによる音声認識にまつわるトラブルの前兆は以前からあった。iPhoneのSiriを音声起動ONにしておくと、パスコードによるロックをバイパスしてOSが起動していまうという問題もあった。この問題は、今後増えるであろうAIに関連する脆弱性の問題を示唆していたといえる。

　我々は当面、これらのAIは声だけを認識し、発話者や状況をまったく考慮しないということを認識しておかねばならない。まともな製品であれば、決済などクリティカルな処理に対してパスコードや暗証番号などで保護措置がとられているので、音声エージェントが勝手に注文してしまう心配はしなくてよいが、新しいテクノロジーやサービスにまつわるセキュリティ問題の認識は必要だ。

AIエージェントはどこまで信用できるか

　技術的な視点を捕捉しておくと、AIエージェントに本当に利用者を識別させ、対応を変えるような制御はまだ難しい。パーソナライズ機能や、使えば使うほど賢くなるAIを宣伝しているAIも商品化されているが、最先端とされるディープラーニングでも、リアルタイム学習（ワンショットラーニング、ゼロショットラーニングなどと呼ぶこともある）の実用化はまだまだ進んでいない。

　パーソナライズや過去の操作を学習しているように見えるのは、AIとは別で、クッキーやアカウント情報、設定情報に基づいたプログラムがAIの出力を加工・調整しているに過ぎない。発話が有効なコマンドと一致すれば、それを忠実に実行するだけだ。

　このように、現状はAIでできることが限定されており、セキュリティ上の問題はそれほど大きくはないが、今後、一回の経験やひとつのサンプルだけで認識（学習）できる「ワンショットラーニング」の研究が進めば、AIによってアプリの起動、ファイル操作、家電製品の制御ができるようになり、その分AIが有する権限は高くなる。そうなれば、AIの脆弱性への対策が必要になってくる。

　AIエージェントは文字通りユーザーの代理人（Agent）としてPCや家庭内の機器を制御できるわけで、本人認証機能に脆弱性があると悪人の言いなりになってしまう可能性がある。そうなった時に、AIにどこまで権限を与えるのか。金銭が絡んだり事故につながるような操作には、第二認証など導入すればよいが、これは利便性とのバランスが難しい。

【次ページ】悪意を持ったAIが出現する可能性