「ロシアのGoogle」とも呼ばれるYandexが1000億ものパラメーターを持つ言語モデル「YaLM 100B」をオープンソースで公開

検索エンジンや配車サービスなど幅広い事業を手がけて「ロシアのGoogle」とも呼ばれるロシア最大のインターネット企業・Yandexが、1000億ものパラメーターを持つ大規模言語モデル「YaLM 100B」をオープンソースで公開しました。Yandexは「YaLM 100B」について、商用利用可能なオープンソースの言語モデルとして史上最大のものだと主張しています。

Yandex Publishes YaLM 100B. It’s the Largest GPT-Like Neural Network in Open Source | by Mikhail Khrushchev | Yandex | Jun, 2022 | Medium
https://medium.com/yandex/yandex-publishes-yalm-100b-its-the-largest-gpt-like-neural-network-in-open-source-d1df53d0e9a6

GitHub – yandex/YaLM-100B: Pretrained language model with 100B parameters
https://github.com/yandex/YaLM-100B

Russia’s Yandex opens public access to AI large language model | Reuters
https://www.reuters.com/technology/russias-yandex-opens-public-access-ai-large-language-model-2022-06-23/

AI分野において、精度の高い文章を生成できる大規模言語モデルは重要なトレンドとなっており、非営利団体のOpenAIが開発した「GPT-3」などが有名です。GPT-3は海外掲示板のRedditで誰にも気付かれずに1週間会話したり、GPT-3が書いた記事がソーシャルニュースサイトの1位に浮上したりと、すでに大きな話題を呼んでいます。

Yandexは6月23日、「YaLM 100B」という大規模言語モデルをオープンソースで公開しました。YaLM 100Bは800枚ものNVIDIA A100を利用して、65日間かけて1.7TBものテキスト・書籍・その他の無料ソースで学習を行ったとされており、機械学習モデルが定義する変数であるパラメーターの数は1000億に達するとのこと。

YaLM 100Bの主任開発者であるミハイル・フルシチョフ氏は、大規模言語モデルの開発には数億円もの資金や最高の専門家、そして数年もの開発機関が必要であり、最先端のIT企業のみがこの技術にアクセスできると指摘。しかし、世界中の研究者および開発者が大規模言語モデルにアクセスできなければ、成長が衰えてしまう可能性があると主張して、「これを回避する唯一の方法は、ベストプラクティスを開発者コミュニティと共有することです」と、今回YaLM 100Bをオープンソース化した理由について説明しています。

YaLM 100Bは研究および商用利用が許可されたApache 2.0ライセンスの下で無料公開されており、GitHubのページからモデル本体と必要な資料にアクセスできます。フルシチョフ氏は、「YaLM 100Bは英語で自由に利用できるGPTライクなニューラルネットワークの中で世界最大です」と述べました。

なお、Yandexはその他のロシア企業と同様、ロシアのウクライナ侵攻に伴う制裁によって大きな痛手を受けています。

オランダに本拠を構えているYandexはロシア政府の影響を受けないことをアピールしており、2021年11月時点の時価総額は300億ドル(当時のレートで約3兆4500億円)を超えていました。ところが、2022年2月24日にロシア軍がウクライナへ侵攻を始めると、他のロシア企業と同様に株価が急落し、2022年第1四半期決算も赤字に転落。6月にはEUの制裁対象となった共同創業者のアルカディ・ヴォロズ氏がCEOを辞任する事態になっています。

「ロシアのGoogle」とも言われるITの巨人「Yandex」が危機 – GIGAZINE