ChatGPT対抗のオープンソース言語モデル「StableLM」。日本語版も？

　Stability AIは、オープンソースの言語モデル「StableLM」を発表した。現在はアルファ版で、30億と70億パラメータの2種類を用意しているが、今後は150億または650億パラメータのモデルも用意するという。CC BY-SA-4.0のライセンス条件に従って、商用/研究目的で自由に利用できる。

　StableLMは、テキストやコードを生成でき、さまざまなアプリケーションで活用できる。また、小型で効率的なモデル(つまり30億～70億パラメータ)でも、適切なトレーニングによって会話やコーディングのタスクで高い性能を発揮できることを示すものでもあるという。ちなみにGTP-3のパラメータ数は1,750億に達する。

　リリースにあたって、以前の言語モデルのオープンソース化の経験にもとづき、EleutherAIを設立して非営利の研究ハブとして活動。The Pileをベースに構築されているが、規模はThe Pileの3倍で1.5兆トークンのコンテンツを含む実験用データセットで学習している。また、微調整された研究用モデルのセットも公開する。

　StableLMは、オープンソースモデルの採用による透明性、幅広く入手できるハードウェアと独立したアプリケーションを構築できるアクセシブル性、ユーザーの置き換えではなくユーザーのサポートを構築する協力性を掲げる。