ChatGPTがついに「見る」「聞く」「話す」を習得します

ChatGPTリリースから、まだ1年経ってないよね…？

OpenAIが、ChatGPTでの音声・画像認識機能提供を発表しました。つまりChatGPTに画像を送ってその中身を見てもらったり、それに関連する欲しい情報をもらったりできるってことなんです。さらには合成音声のChatGPTと会話したり、音声からテキスト、テキストから音声への変換も可能になるようです。

画像を理解して質問に答えてくれる
ChatGPTと会話できる
倫理や精度の課題は引き続き
ひしめく生成AIたち
1. 共有:
2. 関連

画像を理解して質問に答えてくれる

ChatGPTでの音声・画像認識について、OpenAIはリリースのページ上でプロモーション動画を公開してます。

動画では、ユーザーがChatGPTに自転車のサドル調節の仕方を聞いてます。自転車サドル調節初心者と見られるユーザーは、サドルの下のパーツ部分を丸で囲んだ画像をChatGPTに投げ、さらに詳しいアドバイスを求めます。

するとChatGPTは、丸の中のボルトの型を認識し、六角レンチが必要だと教えます。ChatGPTは、マニュアルの画像を認識したり、工具箱の画像を見てそこから適切なサイズのレンチを見つけたりもできるようです。

ChatGPT can now see, hear, and speak. Rolling out over next two weeks, Plus users will be able to have voice conversations with ChatGPT (iOS & Android) and to include images in conversations (all platforms). https://t.co/uNZjgbR5Bm pic.twitter.com/paG0hMshXb

— OpenAI (@OpenAI) September 25, 2023

この機能は、ChatGPT PlusかChatGPT Enterpriseサービスを使っている人限定で提供されます。

今後iOSとAndroidでは、2週間以内に提供開始され、Webバージョンでも近々、画像認識機能が使えるようになるとのこと。

ChatGPTと会話できる

また、合成音声のChatGPTと会話をすることもできます。OpenAIが公開したプロモーション動画では、母親と見られる女性がChatGPTに子供向けの読み聞かせ的なことを頼んでますが、使い道はもっと無数にありそうです。

OpenAIの発表ページには、同一のテキストをいくつかの声色で聞けるサンプルもありました。OpenAIによれば、音声そのものは独自に作ったものではなく、声をライセンス供与した声優さんの声を元にしているとのことです。

OpenAIいわく、彼らの音声合成サービスはChatGPTでの音声チャットで使うだけでなく、Spotifyへのライセンス提供もするそうです。Spotifyも同日にポッドキャストの音声翻訳機能のパイロット提供を発表しました。メジャーなポッドキャストのいくつかのエピソードが、ポッドキャスト主の声はそのままに、英語からスペイン語、フランス語、ドイツ語に翻訳したものが聞けます。

倫理や精度の課題は引き続き

ただ音声合成といえば、ElevenLabsのように嫌がらせに使われてしまったサービスもあり、ChatGPTでもまた心配のタネになりそうです。

また画像入力に関しても、ChatGPTがユーザーのプロンプトを誤解して、珍回答が出てきてしまう可能性があります。OpenAIいわく、リスク回避には専用チームを設けて取り組んだとのことですが、これからいろんなユーザーがきわどい画像での会話を試みてくるのは時間の問題です。

またこのシステムは多分、プロモーション動画ほど高速で高精度ではないと思われます。このChatGPT新機能のプレリリースバージョンを使ってみたWiredによれば、音声認識には数秒かかり、画像認識では人間を認識しないと言ってました。写真に写った人のプライバシー保護がどうなっているのかも、今後精査する必要がありそうです。

OpenAIは米Gizmodoの取材に対し、新機能のリリースは｢改善とリスク回避の精緻化のために、時間をかけて徐々に行なっていく｣ことが、音声・画像認識においてはとくに重要だと言っています。