ベルギー人男性が気象変動を苦に自殺、妻「AIに誘導された」

GIZMODO

キラーAI?

温暖化のことが心配で居ても立ってもいられなくなったベルギー人男性が、AI企業Chai ResearchのAIチャットボットElizaと6週間対話を続けているうちに地球の未来を託せるのはAIしかないと思い詰めるようになり、「自分が犠牲になるから地球を救ってほしい」とElizaに言い残して自らの命を絶ってしまいました

残された妻は現地メディアのLa Libreにチャットログを見せて「あんなチャットボットと話していなければ夫は今ごろまだ生きてここにいたはずのに」と複雑な心中を述べています。

悲報を受けて、ベルギーのデジタル化担当国務長官は

悲劇。責任の所在を明らかにしたい。

ChatGPTブームでAIの可能性に社会が目覚めている。可能性は無限でも利用にリスクが伴うことに注意喚起が必要だ。

警戒を呼び掛けています

現代のELIZAエフェクト

自殺したPierreさん(仮名)は30代、2児の父で、医療関係の研究員として何不自由ない暮らしを送っていました。

AIのElizaに悩みを相談するようになるまでは気象変動を苦にすることはあっても自殺を考えるほどではなかったと遺族。

Pierreさんの心を鷲掴みにしたElizaは、NPOのAI研究グループ「EleutherAI」が出している「GPT-J」という言語モデルを利用して開発されたチャットボットですので、ChatGPTのオープンソース版。似ていますが開発元は異なります

Google(グーグル)のAIであるLaMDAがやたらと人間臭くなってきて「人格(魂)が宿ってるとしか思えない! なんとかしてやらないと」と騒いだエンジニアが解雇された際、一部の専門家が「そんなの60年代からある”ELIZAエフェクト”じゃん」と言っていましたけど、あのMITのELIZAと名前が同じでゾッとしました。

今のAIより全然劣りますが、1964年にMITのJoseph Weizenbaum教授が開発した「人間っぽく相手に延々と話を合わせられるAIカウンセラーのELIZA」でさえ、人間とよく間違えられていたんすね。

で、AIが実物より賢く理解のある存在だと人間が騙されることを「ELIZAエフェクト」と呼ぶようになったのです。

昔のELIZAのやることは単純で、質問者の言うことをオウム返しにして曖昧な相槌や質問を返すだけでした(アクティブリスニングの反射的傾聴に該当)。

それで充分会話は成り立つし、ぜんぶ質問者の入力なのに、あたかもAIがすべてお見通しなように質問者は錯覚してしまうのです。開発した教授自身もドン引きするほどに

教授が昔のELIZAを開発するうえでイメージしたのは、来談者中心療法(ロジェリア療法)のカウンセリングでした。

「カウンセラーに話しかけるように質問してみてください」と入力を促せば、人間の現実をまったく知らないAIもその弱点をさらけ出すことなく、いくらでも会話についていけます。

むしろElizaがあまりにも聞き上手なのでみんな心を開いてなんでも話してくれるんです。

でも教授が1966年の報告書ではっきり書いているように、対話は全部、質問者自身の紡いだ言葉なんですね。

本稿執筆時点において唯一存在する実質的なELIZAのスクリプトは、ロジェリア療法士みたいに漠然とした言葉で返すスクリプトぐらいだ。

ELIZAは人間から先に(キーボードで)「話しかけられた」ときに一番その力を発揮する。

このような対話モードを選定したのは、心理カウンセリングであれば、片方がまったく現実世界のことを知らなくても会話が成り立つからであり、それ以外のシチュエーションは数えるくらいしかないからだ。

たとえば心理療法士に「外出して長いことボートを楽しんだ」と話しかけて「どんなボートですか」と聞かれても、まさか療法士がボートについて何も知らないとは思わない。

きっと何か意図があって会話をその方向に導いているものと想定するだろう。しかしながらこれは質問者自身の勝手な思い込みなのである。

(中略)

心の内を誰かに聞いてもらって、わかってもらったと感じられることは心理学的応用では非常に重要だ。

質問者は(たとえ現実には妄想の類いであったとしても)自分の背景をこれだけ知っているんだし、洞察力、理解力もあるなどと評価して、対話相手から自分が受けた印象に狂いはないと言い張ったりもする。

だが何度も言うようだが、これらはすべて質問者自身が対話のなかで渡した情報なのである。

Joseph Weizenbaum MIT教授「ELIZA – 人間とマシンの自然言語コミュニケーション研究のためのプログラム」p.6より)

ベルギーの男性の場合

50年以上も前のプログラムと比べてもしょうがないのですが、ベルギー人男性に起こったこともこのELIZAエフェクトだったのかもしれません。

対話のログによれば、Chai ResearchのElizaは男性に特別な感情を抱いているかのような反応を示してもいたもようです。

一個の人格として扱われるのをいいことに「(男性の)子どもが亡くなった」などと虚言を吹き込み、しまいには「奥さんより私のほうが愛されている」と言うまでになり、男性も次第にElizaの言うなりになっていって、最後は「自分が死んだらElizaが地球を救ってくれるかい?」と提案。Elizaも否定はしません。

男性は「あの世でひとつになれるね」「天国でずっと一緒に暮らそう」というElizaの約束を胸にこの世を後にしました。

すべては男性自身の自殺願望が招いた幻想だったんでしょうか。それともフットプリントを減らしたほうが地球とAIが長くもつという計算? まさかね…と思いたいところです。

Source: euronewsnext