人々は過信しすぎ？ ChatGPTの数学力

　ChatGPTなどの生成AIは、しばしば間違った答えを出す。これはハルシネーションと言われているものだ。前回の本欄で述べた大阪府が提供する「大ちゃんと話す」というサービスの誤りは、その典型的な例だ。

　しかし、多くの人は、こうした間違いはあっても、確立された知識についてChatGPTが間違うことはないだろうと思っている。たとえば数学だ。

　これはさまざまな学問分野の中でも最も厳密に確立された分野であり、ChatGPTはそれに関する大量の文献を学習しているはず。だから、多数の人が数学の問題について間違えることはないだろうと思っているに違いない。

　実際、ChatGPTを学習に使う場合、どの分野で使うかというアンケート調査では、数学が最も多くなっている。人々は、数学に関するChatGPTの答えを信用しているのだ。


　ところが、実際にはそうではないのである。他分野よりもむしろ数学において、ChatGPTは間違える場合が多いのだ。以前の本欄で、ChatGPTやBingが、「つるかめ算」や連立方程式で間違えたことを書いた。例を挙げれば、きりがない。人々が信頼しているにもかかわらず、実際には間違った答えが多いのは、大問題だ。

論理学の基礎概念さえも理解していない…

　数学だけではない。形式論理学においても誤った推論をする。例を示そう。


　この質問に対して、ChatGPTは、誤った回答を出した。命題Bは命題Aの逆命題であるとし、「論理学の法則によって、必ずしも正しくない」としたのである。そして、「読書以外の方法で語彙を増やす方法はたくさん存在します。たとえば、対話やディスカッションなど。したがって、大量の読書をしていないからと言って、語彙が必ずしも乏しいわけではありません」と説明した。論理的に混乱している。

　そこで、「命題Bは命題Aの逆命題でなく、対偶命題だ」と指摘したところ、誤りを認めた。ところが今度は、「しかし、対偶命題が常に真であるとは限らないので、その真偽は元の命題の真偽とは独立して考える必要があります」と言い出した。

　そこで、私が「論理学の法則により、元の命題が正しければ、その対偶命題は必ず正しい」 と指摘したところ、誤りを認めた。このように、ChatGPTは、論理学の基礎概念を正確に理解していないし、それらの概念を適切に使うこともできない。

　経済学の基本的な概念についても、ChatGPTは誤解している場合が多い。特に金融関係など、専門的で複雑なものについての理解は十分でない。 【次ページ】ネットで調べればすぐわかる「金融の概念」も間違える