自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！【イニシャルB】

　日本語に対応した大規模言語モデル（LLM）の登場が相次いでいる。5月17日に、サイバーエージェントから日本国内では最大となる68億パラメーターのモデルが、同日にrinnaからも36億パラメーターのモデルがリリースされた。

　快適な利用にはVRAM16GB程度のGPUが必要だが、CPUと32GB以上のメモリがあれば、GPUなしでも動かすことが可能だ。今回は、自宅のPCでrinnaの36億パラメーターのモデルを動かしてみた。

Core i3-10100/メモリ32GBの環境でCPUのみで日本語対応の言語モデルを動作させた様子

VRAMが欲しい……
rinnaの36億パラメーター言語モデルをセットアップする
言語モデルの動作にGPUは必須か？
PC環境を用意する
Pythonのコードを実行する
GPUなら数秒、CPUだと数十秒
自然な会話は十分に可能
VRAM16GBで世界が変わる
1. 共有:
2. 関連

VRAMが欲しい……

　最初に、今回の検証をしての感想を述べるが、切実にビデオカード、それもVRAMを大量に積んだビデオカードが欲しくなった。

　ここ数年は、ゲームのプレイ頻度も減ってきたので、メインPCのビデオカードも数年前に買ったRTX3070 8GBで不満を感じていなかったのだが、この1カ月で、認識がすっかり変わってしまった。

　冒頭で述べたように日本語言語モデルが続々公開されるのを見て、ぜひ自宅のPCでも、これらのモデルを動かしてみたいと思った。しかし、いざ試してみると、VRAMのメモリ不足に苦しめられた。せっかく精度が高くなった日本語のモデルが試せるようになってきたにもかかわらず、手持ちのPCの力不足が判明してしまったわけだ。

RTX3070 8GBの環境では、GPUを指定して実行するとメモリが足りずにエラーが発生する

　最終的に、CPUのみでも動くようにできたが、処理速度は「激遅」で、実用性としてはかなり厳しい。質問から回答まで長いと1分ほど待たなければならない。

　今は、発表されたばかりのRTX4060ti 16GBを待つか、中古でRTX3090 24GBを買うか、真剣に悩んでいる。いずれにせよ、こんなに切実にビデオカード、いや、VRAMが欲しいと思ったのは初めてだ。

rinnaの36億パラメーター言語モデルをセットアップする

　話を戻して、検証内容を紹介していこう。今回試したのは、rinnaが公開した36億パラメーターの日本語対応言語モデルだ。

　rinnaは2022年1月に13億パラメーターの日本語対応言語モデルをリリースしていて、日本語対応の言語モデルは以前からあった。しかし、今回はパラメーター数が大幅に増え、精度が大きく向上していることが特徴だ。

rinnaが公開した36億パラメーターの日本語言語モデル

　詳細は同社のプレスリリースを参照して欲しいが、今回提供されたのは汎用言語モデルと、対話形式の会話に最適化された対話言語モデルの2種類となる。

　言語モデルは、基本的に「次の単語を予測する」という動作となっており、予測できる単語をどこまで絞り込めるかが「perplexity（パープレキシティ）」というひとつの指標として使われることがあるが、今回のモデルは、この値が8.68となっている。

　つまり、文章を生成する際に、次の単語の候補を8.68にまで絞り込めるということになる。

　この値は、少ないほど精度が高くなるが、昨年リリースされた13億パラメーターのモデルではperplexityが14だったので、かなり精度が上がったと言える。

　なお、OpenAIのGPT-3は1750億パラメーター、GoogleのPaLM 2は5400億パラメーターなので、これらと規模を比べるのは酷だが、それでも日本語に特化した学習によって、自然な日本語を生成できるモデルが、一般的なPCでも動作可能になったことは画期的と言えるだろう。

言語モデルの動作にGPUは必須か？

　さて、「一般的なPCでも動作可能」とは言ったが、要求されるスペックはそれなりに高く、どんなPCでも動作可能なわけではない。

　大規模言語モデルでは計算にGPUを利用するのが一般的だが、今回の36億パラメーターのモデルの場合、通常で14GB前後のVRAMが必要となる。

　つまり、現行のRTX4000シリーズだと、16GBのRTX4080、24GBのRTX4090、旧世代の3000シリーズだと24GBのRTX3090あたりが候補となる。

　ただし、実行時に、float16（半精度の浮動小数点）のパラメーターを設定すれば、使用メモリを約半分にできるため、実質的には12GBクラスのGPUでも利用可能となる。RTX 3060（12GB版）、RTX3080あたりでも動作可能だ。

　なお、半分と言っても、重要な小数部分はあまり減らさずに、あまり関係のない整数部分を減らすので、大きく精度が落ちることはない。

Float16指定で、RTX3070 8GBでも一応動作するが、質問を3回くらい繰り返すとメモリ不足で停止してしまう

　残念ながら、GeForceシリーズがない、もしくはあってもVRAMが8GBなどで不足している場合は、CPUのみで動かすこともできる。

　この場合、RAMでも同様に14GB前後が必要になるので、システムが使用する分も含めて32GB程度のメモリが搭載されたPCなら、「一応」動作させることができる。もちろん、CPUの性能も関係するが、速度を追求しないならローエンドモデルでも利用可能だ（4コア8スレッドのCore i3-10100で検証済み）。

Core i3-10100環境の動作結果。速ければ30秒くらいで回答する場合もあるが、場合によっては1分以上かかる

PC環境を用意する

　続けて、今回の検証環境をPCに構築していく。

　まずはPythonをインストールする。Microsoft Store経由でPython 3.11をダウンロードできるので、これをインストールしよう。Microsoft Store経由の場合、更新が簡単なうえ、パスの設定も自動的に行われるので手間が少ない。

Pythonをインストール

　また、必須ではないが、あると便利なので「Visual Studio Code」もインストールしておく。同様にMicrosoft Store経由でインストールするのが簡単だ。

Visual Studio Codeをインストール

　Pythonの実行環境が用意できたら、バージョンを確認したり、パッケージインストール用のpipをアップデートしたりしておく。PowrShellで以下のコマンドを入力しよう。

python –version
pip --version
pip install –-upgrade pip

Pythonの動作とバージョンを確認しておく

　続いて、必要なパッケージをインストールしていく。まずは、Python用機械学習ライブラリのPyTorchをインストールする。PyTorchのウェブサイトで環境を選択すると、インストール用のコマンドが表示されるので、そのまま入力すればインストール可能だ。今回は、CPUで動かすが、GPUでも動かせるようにするためにCUDAも選択している。

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

PyTorchをインストール

　さらに、テキストをトークン化するためのトークナイザーの「sentencepiece」、およびモデルがHugging Faceで公開されているのでHugging Faceのモデルを利用するための「transformers」をインストールしておく。入力するコマンドは以下だ。

Pip install transformers sentencepiece

Transformersとsentencepieceをインストール

Pythonのコードを実行する

　以上で環境が整った。後はコードを実行するだけだ。今回は、rinnaのサイトで公開されているサンプルコードを若干、カスタマイズして、以下のようなコードを利用した。

公式サイトのサンプルコードを少し改変して利用

　頭の部分でCPUやGPUなど、モデルを選択できるようにしている。標準はCPU処理になっているので、GPUで処理したい場合は「#」のコメントを付けて、利用したいモデルの「#」を外せばいい。

　なお、今回は対話モデルを利用し、会話をするときに自動的に前の質問と回答も含めるようにしている。思ったように前の会話を受けて答えてくれない場合もあるが、何とか会話が成立する印象だ。

import time
import torch
from transformers import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft", use_fast=False）
# 標準
#model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft"）
# 自動
#model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft", device_map='auto'）
# 自動（VRAM16GB以下でも8GBはNG）
# model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft", torch_dtype=torch.float16, device_map='auto'）
# CPU指定
model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft"）.to（"cpu"）
# GPU指定
#model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft"）.to（"cuda"）
# GPU指定（VRAM16GB以下でも8GBはNG）
#model = AutoModelForCausalLM.from_pretrained（"rinna/japanese-gpt-neox-3.6b-instruction-sft", torch_dtype=torch.float16）.to（"cuda"）
#繰り返し（抜けるのはCtl+c）
prompt = ""
while True:
    # 質問を入力
    question = input（"質問をどうぞ： "）
    if question.lower（） == 'clear':
        question = ""
        prompt = ""
    prompt = prompt+f"ユーザー: {question}<NL>システム: "
    # 時間計測開始
    start = time.time（）
    token_ids = tokenizer.encode（prompt, add_special_tokens=False, return_tensors="pt"）
    with torch.no_grad（）:
        output_ids = model.generate（
            token_ids.to（model.device）,
            do_sample=True,
            max_new_tokens=128,
            temperature=0.7,
            pad_token_id=tokenizer.pad_token_id,
            bos_token_id=tokenizer.bos_token_id,
            eos_token_id=tokenizer.eos_token_id
        ）
    output = tokenizer.decode（output_ids.tolist（）［0］［token_ids.size（1）:］）
    output = output.replace（"<NL>", "\n"）
    # 時間表示
    end = time.time（）
    print（end-start）
#    print（prompt）
    print（output）
    prompt = prompt+output+"<NL>"