サイバーエージェント、「最大68億パラメーターの日本語大規模言語モデル」を一般公開 

INTERNET Watch

 株式会社サイバーエージェントは5月17日、同社が独自に開発した日本語大規模言語モデル(LLM)を、AI・機械学習に関する学習済みモデルなどの共有サービス「Hugging Face Hub」で一般公開した。

 同社では5月11日に、独自の日本語LLMを開発し、130億パラメーターまでの開発を完了、「極予測AI」「極予測TD」「極予測LP」などの同社の広告関係のサービスで活用中であると発表していた。

 今回公開された日本語LLMは同社が開発中の一部モデル。WikipediaおよびCommon Crawlのオープンな日本語データで学習した最大で68億パラメーターのものが、CC BY-SA 4.0ライセンスで公開されており、商用利用も可能。同社によると、日本国内における現行の公開モデルにおいて最大級の規模だという。

 なお、公開されたモデルは、ChatGPTなどのように、エンドユーザーがプロンプトを入力して直接利用できるサービスになったものではない。同社では、「本モデルをベースとしてチューニングを行うことにより、対話型AIなどの開発も可能となります。これにより、より多くの方々が日本語の自然言語処理に関する最先端の研究開発に取り組んでいただけます」とコメントしている。

Source