ChatGPTを代表に高性能なチャットAIが続々と発表されていますが、チャットAIの多くはオンラインで使う必要がある他、オフラインで動作するチャットAIも高性能PCを求めるものがほとんどです。そんな中、高性能GPUを搭載していないPCでも動かせる「GPT4ALL」が登場しました。実際に使ってみたところグラフィックボードを搭載していないモバイルノートPCでも動かせたので、使い方をまとめてみました。
GitHub – nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue
https://github.com/nomic-ai/gpt4all
GPT4ALLは、Nomic AIが開発したチャットAIで、高精度な会話能力とノートPCでも動かせるほどの軽量さを特徴としています。GPT4ALLがどんなAIなのかは、以下の記事で詳しく解説しています。今回は、実際にWindowsでGPT4ALLを使う手順を確認してみます。
無料でノートPCでも実行可能な70億パラメータのチャットボット「GPT4ALL」発表 – GIGAZINE
上述の通り、GPT4ALLはノートPCでも動く軽量さを特徴としています。そこで、今回はグラフィックボードを搭載していないモバイルノートPC「VAIO SX12」でGPT4ALLを使ってみます。
まずは、必要なファイルをダウンロードするために以下のリンク先にアクセス。
GitHub – nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue
https://github.com/nomic-ai/gpt4all
続いて、「Code」をクリックしてから「Download ZIP」をクリックしてZIPファイル(ファイルサイズ：3.54MB)をダウンロードします。
ZIPファイルをダウンロードしたら、Windows標準機能やExplzhなどのソフトを使って解凍します。
「gpt4all-main」というファイルが出来上がったら、ダブルクリックして開きます。
以下のようにフォルダやファイルがズラリと並んでいればOKです。
次に、GPT4ALLのモデルデータ(ファイルサイズ：3.92GB)を以下の直接リンクをクリックするかTorrentのマグネットリンクを利用してダウンロードします。サーバーの混雑を避けるために、Torrentを扱える環境ならマグネットリンクを利用するのがベターです。
直接リンク：https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized.bin
マグネットリンク(要Torrent対応ソフトウェア)：magnet:?xt=urn:btih:1F11A9691EE06C18F0040E359361DCA0479BCB5A&dn=gpt4all-lora-quantized.bin&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopentracker.i2p.rocks%3A6969%2Fannounce
モデルデータをダウンロードしたら、「gpt4all-main」フォルダ内の「chat」フォルダの中に移動させます。
こんな感じに、「chat」フォルダの中にモデルデータが配置されればOKです。
続いて、エクスプローラーで「gpt4all-main」フォルダの先頭(「chat」フォルダの1つ上の階層)を表示し、画面上部のアドレスバー内の空白部分をクリックします。
テキストを入力可能になったら「powershell」と入力してEnterキーを押します。
すると、Powershellが「gpt4all-main」フォルダを開いた状態で起動します。
Powershellが起動したら、以下のコマンドを実行します。
cd chat;./gpt4all-lora-quantized-win64.exe
コマンド実行方法を画像で示すとこんな感じ。まず、上記のコマンドを丸ごとコピー＆ペーストして、Enterキーを押すだけです。
コマンドを実行すると、チャットAIが起動します。画面下部に「>」と表示されたら、会話を始められます。
会話方法は以下の通り。まず、文章を入力してEnterキーを押します。
少し待つと、AIが返答してくれます。
カレーの作り方やカレーにあう飲み物などを質問した際の画面が以下。質問に応じて適切な回答を返してくれます。
日本語を入力した結果が以下。日本語を入力しても四角い記号が表示されてしまいました。
Powershellの代わりに「Windows Terminal」を使ってみた結果、日本語の入力は成功したものの、「処理を完了できません」という返答が英語で返ってきました。
macOSでGPT4ALLを使ってみた結果、日本語の入力に対して日本語で返答してくれました。しかし、返答内容は支離滅裂。GPT4ALLは英語でのコミュニケーションは十分に可能ですが、日本語対応にはかなり難があります。
なお、AIが処理を実行している間のCPU使用率はこんな感じ。全スレッドが100％付近に貼り付いており、CPUを最大限に活用していることが分かります。一方で、画面左側のGPU使用率に着目すると、GPUはほとんど使われていないことが分かります。GPT4ALLでは動作にGPUパワーを必要としないので、専用グラフィックボードを搭載していないノートPCなどのマシンでも動作させられるというわけです。
この記事のタイトルとURLをコピーする