20年以上の経験を活かした生成AI
アマゾンウェブサービスジャパン(AWSジャパン)は、同社の生成系AIに関する取り組みについて説明した。
AWSでは、2023年4月に、Amazon Bedrockを発表。基盤モデルを使用した生成系AIアプリケーションの構築、スケーリングを実現するサービスと位置づけ、Limited Preview版として提供している。また、基盤モデルを自社でスクラッチ開発する場合には、すでに提供しているAmazon SageMakerおよびAmazon SageMaker JumpStartを利用できると述べた。
アマゾンウェブサービスジャパン 技術統括本部技術推進グループの小林正人本部長は、「Amazon.comおよびAWSは、20年以上に渡ってマシンラーニングに取り組んでおり、技術の開発だけでなく、お客様に快適に使ってもらうために、マシンラーニング技術を進化させてきた。商品を届けるための工夫に活用したり、毎週10億件のインタラクションを行なうAmazon Alexaにもマシンラーニングの技術を活用したりといった例がある。
AWSでは、すべてのお客様にマシンラーニングを届けることをミッションに掲げており、すぐに利用したいお客様にはAIサービスを提供し、自ら開発を行ない高度な活用や分析をしたいといった場合にはマシンラーニングサービスを提供する。やりたいことを簡単にすることがAWSの役割であり、現在、10万社を超える企業がAWSでマシンラーニングに取り組んでいる」とした。
AIサービスでは、需要予測を行なうAmazon Forecast、外観検査を行なうAmazon Lookout for Equipment、テキスト翻訳を行なうAmazon Translate、画像認識を行なうAmazon Rekognitionなどを用意している。
生成AIにおけるAmazonのイノベーション
AWSのミッション
また、生成系AIに関しては、すでにAmazonのサイトで検索する際に、コーヒーと入力すると、付随する言葉が出てきて検索性を高めることに活用したり、Amazon Alexaでは最小限の入力情報から多言語による応答を実現するための教師モデルに生成系AIを採用したりといった例のほか、AWSのプログラマを支援するサービスとして、Amazon CodeWhispererを提供。コメントとコードから推奨コードを自動生成できるようにしている例を挙げた。
「生成系AIは、広告やヘルスケア、メディア/エンターテイメント、モビリティ、金融サービス、小売、エネルギーなど、さまざまな分野への適用が考えられる。AWSが持つ長年の知見を活かしたサポートや、基盤モデルとお客様の実務をつなぐ、安全で使いやすい環境を提供していること、高いコストパフォーマンスを実現するインフラを持っていること、生成系AIのアプリケーションが揃っていることなどが評価されており、AWSで生成系AIを選択するお客様が増えている」とした。
生成系AIのAWSサービス
複数の基盤モデルから選択できるAmazon Bedrock
AWSが発表したAmazon Bedrockは、複数の基盤モデルから用途に最適なものを選択できる点が特徴であり、Amazonが提供するTitan TextやTitan Embeddingsのほか、スタートアップ企業が提供するJurassic-2、Claude、Stable Diffusionも利用できるようになっている。
「Amazon Bedrockは、生成系AIを組み込んだアプリケーションを素早く作れるサービスである。基盤モデルを稼働させるためのインフラを管理することがなく、複数の基盤モデルから選択し、非公開の形で自社データを使用して、基盤モデルをカスタマイズできる。AWSの運用に沿った包括的なセキュリティ管理も可能になっている」とした。
Amazon Bedrock
また、生成系AIのアプリ開発者向けに、基盤モデルの実行とファインチューニング環境をサーバーレスで提供することができるという。
ここでは、Amazonの基盤モデルであるAmazon Titanについても説明。テキスト要約やテキスト生成などの言語に関わるタスクを自動化するTitan Textと、検索精度の向上や顧客ごとのパーソナライズレコメンデーション結果を改善できるTitan Embeddingsで構成。「Amazonの20年以上に渡るマシンラーニングの活用経験と、自社事業における稼働実績をもとに構築しており、組み込み済みの機能によって不適切なコンテンツや有害なコンテンツを制限でき、生成系AIの責任ある利用をサポートする」という。
Amazon Titan
スクラッチ開発も可能なSageMaker
一方、すでに提供を開始している「SageMaker」 および「SageMaker JumpStart」は、スクラッチでの基盤モデルの開発のほか、既存の基盤モデルにアクセスした開発や運用も可能になっており、オープンソースやプロプライエタリを問わずに、さまざまな基盤モデルを、数クリックで立ち上げることができる。
開発者向けのSageMaker Studioを利用し、SageMaker JumpStartで使いたい基盤モデルを選択。スペックを設定し、名称を決定し、デプロイすると、基盤モデルが3～5分で使えるようになる。
SageMaker JumpStart
SageMaker JumpStartで使いたい基盤モデルを選択できる
SageMaker Studioを利用し、基盤モデルを実装できる
SageMaker JumpStartの利用方法
「公開済みのオープンソースや人気があるプロプライエタリから基盤モデルを選ぶことができ、業務に必要な基盤モデルのサイズを選び、正確性や性能、コストを最適化できる。また、数クリックで、基盤モデルを試したり、カスタマイズして稼働させたりできる点も特徴である」とした。
開発者を支援するCodeWhisperer
開発者向けの「CodeWhisperer」は、AIコーディング支援サービスと位置づけており、個人開発者は無料で使用が可能だ。
「コードの候補を予測して、リアルタイムでコードを生成。開発者は生成されたコードを参考にした開発ができるほか、書いたコードをスキャンして、脆弱性を発見することもできる。また、ソースコードの類似性チェックにより、オープンソースのトレーニングデータに似たコードにはフラグを立てて注意を促すこともできる」という。
アクセンチュアでは、CodeWhispererを使用して開発者の生産性を向上。開発労力を30%削減できたという。
CodeWhisperer
専用アクセラレータにより学習や推論を促進
また、AWSでは、専用設計のマシンラーニングアクセラレータを搭載した「EC2 Trn1nインスタンス」と、「EC2 Inf2 インスタンス」を新たに提供しており、「複雑な基盤モデルの処理や、基盤モデルを学習させる処理を、安く、速く、実現できるようになる」とした。
学習に効果を発揮するAmazon EC2 Trn1nインスタンスは、専用アクラレータとしてAWS Trainiumを利用。大規模言語モデルや拡散モデルのトレーニングを、高いコスト効率と高性能で実行し、トレーニングコストを最大50%削減できるという。また、推論に最適なAmazon EC2 Inf2 インスタンスでは、AWS Inferentia2により、大規模言語モデルや拡散モデルの推論を、高性能、低コストで実行し、最大40%高いコストパフォーマンスを実現するという。
そのほか、AWSジャパンでは、生成AIの導入や実装を支援するプログラムやワークショップも用意。新たな取り組みとしてスタートしたGenerative AI Innovation Centerは、AWS Professional Serviceの1つとして提供し、生成系AIに関して豊富な経験を持つAWSのストラテジストやサイエンティストが、ニーズを満たす生成系AIアプリを一緒に検討したり、生成系AIによるユースケースを創出したり、生成系AIソリューションの実装支援なども行なう。
AWSのマシンラーニング特化型アクセラレータ
AWSのさまざまな支援
基盤モデルは大きければ良いというものではない
説明の中では、生成系AIの全体概要についても触れた。
「生成系AIは、会話やストーリー、 画像、動画などの新しいコンテンツやアイデアを創造したり、人のイマジネーションを広げたりといった、いままでにないテクノロジーを手軽に実現できる点がポイントである」とし、「追加の学習処理がなく、一定の品質を得られること、簡単な指示でさまざまなことを実現できる点が特徴である」と述べた。
生成系AIは、基盤モデル(Foundation Model) によって実現しており、複雑な入力を与えると、複雑な出力を行なう点が、マシンラーニングやディープラーニングとは異なるという。
また、基盤モデルは、膨大なデータを使って、事前に学習させておくと、一定の汎用性があり、その範囲内であれば、ゼロから学習させる必要がなく、テキスト生成や要約、情報抽出、チャットボットなどに応用できるようになる。従来のマシンラーニングモデルは用途にあわせて個別に開発していくのとは大きく異なる特性を持つ。
生成系AIとはなにか
生成系AIの概要
だが、基盤モデルは、学習パラメータ数などのサイズに比例して、性能や必要なGPUメモリ量が変化。70億パラメータでは14GBのGPUメモリが必要だが、400億パラメータになると80GBのGPUメモリが必要になる。しかし、「基盤モデルは、大きければ大きいほど良いというものではない。巨大なGPUメモリ搭載のサーバーは高コストであり、サイズに比例してコストも上昇する。ワークロードに対し必要十分な性能を持つモデルの利用が重要である」とした。
モデルのサイズと消費リソース
基盤モデルは、簡単な自然言語による質問や指示をもとに、それに応じたテキストを生成する「Text to text」、検索や文書間の類似点検索などの用途向けに、テキストの数値表現を生成する「Text to embeddings」、自然言語プロンプトから、画像、動画、音楽などを生成する「Multi modal」に分類できる。
生成系AIの中で、最も注目を集めているのが、大規模言語モデルである。これは、「Text to text」のための基盤モデルであり、Amazon Titan TextやOpenAIのGPT-4、GoogleのPaLM 2、TII Falconなどがある。中には、ワークロード特化型の大規模言語モデルが登場しており、Bloombergでは金融ワークロードに特化したBloombergGPTモデルをリリースしている。
また、基盤モデルには、プロプライエタリとオープンソースがあり、前者では先に触れたOpenAIのGPT-3.5やGPT-4、GoogleのPaLM 2、Amazon Titanのほか、AI21 Jurassic-2、Anthropic Claudeなど、後者ではGoogle FLAN-T5、DataBricks Dolly2.0、RedPajama INCITE、CyberAgentのOpenCALMがある。
基盤モデルの機能分類
基盤モデルのライセンス
最近、オープンソースで話題を集めているのが、アラブ首長国連邦技術革新研究所 (TII)によるFalcon-40Bモデルであり、OSS(Apache 2.0ライセンス) として登場。400億パラメータを持ち、ベンチマークではトップの性能を記録している。
大規模言語モデルの課題として、ハルシネーション(幻覚)をあげ、「データが偏っていたり、不足していたり、確率がブレることで、事実と異なる内容や、文脈と無関係な出力を生成してしまうことがある。ビジネスユースにおいては、幻覚を含んだ出力を許容できない場合が多い。この場合、分からない、知らないと回答させることが大切である。聞き方を工夫するプロンプトエンジニアリングや、事後学習によるファインチューニングによって対応する方法もある」と指摘した。
コメント