富士通株式会社、理化学研究所、東京工業大学および東北大学らは共同で、スーパーコンピュータ「富岳」の政策対応枠において、大規模言語モデル(LLM)の分散並列学習手法の研究開発を5月24日より開始すると発表した。期間は2024年3月31日まで。今回の研究開発の成果物をGitHubやHugging Faceを通して公開する予定で、アカデミアや企業が幅広く使えるLLM構築環境を整え、国内におけるAIの研究力向上を目指す。
LLMはChatGPTのような言語系生成AIの中核に使われ、インターネットやスマートフォンのように社会全体のあり方を変える革新的な技術として期待される一方で、基盤モデルの高性能化には大量のデータを効率的に処理する高性能計算資源が不可欠。そこで4者は、富岳の政策対応枠にて大規模言語モデル分散並列学習手法の研究開発を行なう。
プロジェクトの中で、東京工業大学は全体統括および大規模言語モデルの並列化と高速化を担当。東北大学は学習用データの収集とモデルの選択、富士通は大規模言語モデルの高速化、理化学研究所は大規模言語モデルの分散並列化/通信高速化、および大規模言語モデルの高速化を担当する。
さらに、産業分野への応用を想定したマルチモーダル化のためのデータ生成手法および学習手法の開発を行なう名古屋大学や、大規模言語モデル構築のためのデータ及び技術提供を行なうサイバーエージェントとの連携も検討する。また、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画し、効率的な方法の創出、次世代の革新的な研究やビジネスの成果に繋げることが期待される。
コメント