ChatGPTがロースクールの試験で合格点を獲得、ただし優秀な生徒にはなれない様子

OpenAIが発表した対話型AI「ChatGPT」は、大学生レベルの自由記述試験や経営学修士課程(MBA)の最終試験で合格点を取ったり、ChatGPTが書いた論文の要旨を研究者は見抜けないと指摘されたりと、文章生成能力の高さが話題になっています。2023年1月に新たに報告された内容では、ChatGPTがロースクール生用の選択肢問題と小論文を合わせた試験に繰り返し挑戦したところ、ChatGPTは全ての試験で合格点を獲得したことが示されています。

ChatGPT Goes to Law School by Jonathan H. Choi, Kristin E. Hickman, Amy Monahan, Daniel Schwarcz :: SSRN
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4335905

ChatGPT bot passes US law school exam
https://techxplore.com/news/2023-01-chatgpt-bot-law-school-exam.html

自然な文章を作成できる対話型AI「ChatGPT」の能力は非常に高く、医師免許試験や、経営学修士課程の試験に合格できるという報告もあったことから、ChatGPTに関してはさまざまな意見が寄せられています。特に教育の現場では、スタンフォード大学の学生のうち、およそ17％が「課題または試験にChatGPTを使用している」と回答したこともあり、議論が盛んになっています。

学生の17％が課題または試験にChatGPTを使っていると回答 – GIGAZINE

2023年1月25日に社会科学研究ネットワーク(SSRN)に掲載されたホワイトペーパー「ChatGPT goes to law school」によると、ミネソタ大学ロースクールのジョナサン・チョイ教授が、95の多肢選択問題と12の小論文問題で構成されたロースクール学生向けの4件の試験をChatGPTに回答させるという調査を行っています。試験は憲法から税制、不法行為まで法律に関する幅広いテーマにまたがるものでしたが、採点の結果、ChatGPTは全ての試験で総合的に合格点となる「C+」を獲得したと報告されています。

報告によると、ChatGPTの回答は合格点としては十分でしたが、ほとんどの科目でクラス最下位に近く、数学問題を含む多肢選択問題では「爆死」していたとのこと。アメリカの医師免許試験であるUnited States Medical Licensing Exam(USMLE)で合格点を獲得した研究でも合格点ギリギリの60％を記録していたり、MBAプログラムの最終試験でもBからBマイナスの評価を得ていたりと、合格レベルにはあるが高得点を取ることはなく、チョイ教授も「合格には十分ですが、優秀な生徒ではありません」と語っています。

チョイ教授はChatGPTに回答について、「小論文を書く際、ChatGPTは基本的な法的ルールをしっかり把握し、構成や作文も一貫してしっかりしていました。しかし、ロースクールの試験で中核となるスキルである、文章の中から問題を見つけ出すことは苦手で、また深い推論や分析を進めることはできませんでした」とツイートしています。

ChatGPTに関してはさまざまな意見があふれており、教育現場での使用を禁止する動きや、ChatGPTで科学論文を書くことが国際会議で禁止になっていますが、チョイ教授は「ChatGPTは貴重な教材になる可能性があります」と示唆しています。ChatGPTのみでは「良い法学部生の回答」は作れませんが、自力で作成してみた回答をChatGPTに読み込ませることで「より良い回答」にブラッシュアップすることもできるため、「試験を受ける法学部生や、弁護士を開業する際に非常に役に立つことが期待できます」とチョイ氏は述べています。

またチョイ教授は、3人のうち2人の採点者が、「ボットが書いた小論文」であることを見破ったと報告しています。チョイ氏によると、「ChatGPTは文法が完璧で、やや反復的だった点に違和感があったため、見破った採点者は、直感的にボットによる文章だと思ったようです」とのことです。