ChatGPTは高性能な対話ができるのになぜデタラメな回答をすることがあるのか？

OpenAIの対話型AI「ChatGPT」は、人間からの質問に対して非常に自然に受け答えできるだけではなく、記述試験に合格できたり実際に動作するプログラムを数分で完成させたりと、さまざまな活用が考えられています。一方で、ChatGPTは「それっぽい回答」をしているだけで内容はデタラメのことも多く、ChatGPTを用いて論文を作成することを学術誌Scienceや国際会議のICMLは禁止しています。なぜChatGPTがデタラメな論文を作成するのかという仕組みを、クイーンズランド大学の経済学助教授でチェスのグランドマスターでもあるデビッド・スマードン氏が解説しています。

スマードン氏によると、ChatGPTは「一連の単語に確率分布を割り当てる」という仕組みの言語モデルに基づいています。例えば、「1日1個のリンゴ」という文章を与えると、膨大なライブラリの中から次に来る可能性が最も高い単語もしくは文章を導き出し、ウェールズ由来のことわざである「1日1個のリンゴは医者を遠ざける」という文章について説明します。実際には、より洗練された仕組みにより、ChatGPTには「文の開始を予測して文章全体の一貫性を保持する」という機能がありますが、大まかには「文の始まりから、次に来る可能性が最も高い単語を予測していく」という考え方になるそうです。

スマードン氏は、ChatGPTの実際の動作を確かめるために「これまで最も引用された経済学論文は何ですか」というプロンプトを入力しました。この質問に対する文の書き出しとして最もありがちなのは「史上最も引用された経済学論文とは」になり、ChatGPTはその書きだしに続く文章を考えていきます。

しかし、ChatGPTは実際に引用された回数が多い論文自体を発見することはできず、引用された回数が多い経済学論文のタイトルに「頻出する単語」をライブラリから抽出します。ChatGPTは過去70年間で引用回数の多い経済学論文のタイトルから、「経済」と「理論」という単語の出現回数が多いことを理解し、「経済学的な理論(A Theory of Economic)」という言葉を生み出します。そして、「経済学的な」に続く可能性が最も高い言葉として「歴史」を引用し、「A Theory of Economic History(経済史の理論)」という存在しない論文のタイトルを出力しました。そして、経済史に関連して最も引用されるノーベル経済学賞受賞者のダグラス・ノース氏をその著者としてChatGPTは記載します。

さらに、論文の共著者として過去にノース氏との共著が最も引用されたロバート・トーマス氏を併記し、偽の論文が出版されたジャーナルとしてノース氏の最も引用された論文が掲載された経済史ジャーナルを選択し、ChatGPTの回答は完了します。

このようにして、ChatGPTは「最も可能性としてありえる回答」を常に選択し続けるため、結果として存在しないタイトルや作品と作者の組みあわせなどをでっちあげているとスマードン氏は指摘しています。