そりゃ電力食うよね…。
AIチャットボット時代の到来によって、世界が予期せぬ方向へ転換する予感が大きくなってきましたが、それにともなう環境コストもかなり大きくなるかもしれません。
スタンフォード大学人間中心人工知能研究所が発表した報告書によると、OpenAIのChatGPTみたいなAIモデルの学習には、平均的なアメリカ家庭の数百年分もの電力が必要なのだそうです。
なかでも、OpenAIのシステムによる電力消費量とそれに伴う炭素排出量は圧倒的だったとのこと。
排出量も電力消費量も圧倒的なGPT-3
報告書（Artificial Intelligence Index 2023）では、4つのAIモデル（DeepMindのGopher、BigScience initiativesのBLOOM、MetaのOPT、OpenAIのGPT-3）のトレーニング時における炭素排出量を分析しました。
その結果、GPT-3の排出量が最も多く502トンと、Gopherの1.4倍、OPTの7.2倍、BLOOMの20.1倍でした。
電力消費量も1287MwhのGPT-3が最も多く、最少だったOPTの4倍とGPT-3の独り勝ち。
各モデルの電力消費量は、パラメータ数やモデルが設置されているデータセンターのエネルギー効率など、多くの要因に左右されます。
パラメータ数は、Gopherが2800億、BLOOMは1760億、GPT-3とOPTは1750億とされています。パラメータ数あたりの電力消費量で比較すると、Gopherは効率がよく、GPT-3は効率が悪いということに。
OpenAIはGPT-4のパラメータ数を公表していませんが、GPT-2からGPT-3への移行でパラメータ数が100倍以上になったことを考えると、GPT-4で兆単位まで増えていても不思議じゃありませんね。
OpenAIのCEOであるSam Altman氏は、1兆とも100兆ともうわさされるGPT-4のパラメータ数について、｢まったくのデタラメ｣と否定しています。
ChatGPTのGPT-4モデルに質問したところ、
1兆から100兆の範囲であるという推測も存在していますが、これはあくまで推測であり、正確な数値は不明です。将来的に正確な情報が公開されることが期待されます。
とのことでした。
気になる環境負荷ですが、スタンフォード大学の研究者であるPeter Henderson氏は昨年、
環境への影響を無視して規模を大きくすると、機械学習は善よりも悪をもたらすようになる可能性があります。我々は、環境負荷を可能な限り軽減させて、負ではなく正の社会的利益をもたらしたいと考えています。
と述べています。
AIモデルが膨大なデータを処理するのは間違いないところですが、AIモデルが進化すれば、データセンターなどの設置環境における電力消費量を最適化させることも可能になるはずなので、必ずしも環境破壊につながるとは限らないと報告書は指摘しています。
たとえば、Google（グーグル）のデータセンターでDeepMindのBCOOLERを用いて行なった3カ月間の実験では、人々が快適に作業できる室温をキープしつつ、約12.7%の省エネを達成したとのことです。プラマイゼロ以上ならありかもですね。
AIの環境負荷は暗号通貨の二の舞？
AIモデルの環境問題には既視感がありません？ そう、暗号通貨やWeb3と同じことが繰り返されているんです。
非効率的と批判されたプルーフ・オブ・ワークモデルによるビットコインのマイニングに必要な年間電力消費量は、ノルウェーのそれを上回るという試算もあるくらいです。
その後、暗号通貨業界は環境活動家からの批判を受けて変化を遂げてきました。
ブロックチェーンで2番目に取引量の多いイーサリアムは昨年、電力消費量を99%削減できるとされるプルーフ・オブ・ステーク・モデルに正式に移行しました。
他の暗号通貨も、エネルギー効率に配慮した設計を行なっているようです。
報告書の指摘によって、発展途上の大規模言語モデルの環境への取り組みがどう変わっていくのかについてはまだ予想できませんが、過去から学んでくれるといいですね。
大規模言語モデルはコストも投資も急上昇中
大規模言語モデルで｢急上昇｣というワードがピッタリなのは、エネルギー消費だけではありません。コストも右肩劇上がりを続けています。
2019年にOpenAIがパラメータ数15億のGPT-2をリリースした際、モデルの学習に必要なコストは5万ドル（当時の為替レートで550万円）だったと報告書は分析しています。
その3年後にGoogleが公開したパラメータ数5400億のPaLMの学習コストは、800万ドル（10億5200万円）でした。
でも、GPT-2よりも360倍大規模なPaLMのコストは160倍と、効率は悪くないみたいですね。
とはいっても、今後AIモデルの規模は大きくなる一方だと思われ、報告書も｢大規模言語モデルやマルチモーダルモデルは、足並みをそろえて巨大化、高コスト化しています｣と言及しています。
AIモデルに注がれる資金は、長い目で見ると経済効果をもたらすことが期待されます。
報告書は、2022年に世界の民間によるAIへの投資額は、2013年の18倍になると推算しています。
アメリカにおけるAI関連の求人も、2021年の1.7%増から2022年には1.9%増と、あらゆる分野で上向きなのだそうです。
アメリカは、全体としてAIに474億ドル（6兆2300億円）もの投資を行なっていますが、これは2位で追う中国の3.5倍にあたり、世界で断トツ。浪費でアメリカの右に出る国はありませんね。
AIの進化に法は追いつくのか？
AIを取り巻く倫理的・法的問題は、開発者のみならず、議員にも及んでいます。AIの進化に追いつこうと、議員たちはAI関連の立法を急いでいます。
2021年にはAIに関連するアメリカ連邦法案の成立は全体のわずか2%でしたが、2022年には10%まで上昇しました。
法案の多くは、一部の研究者や著名人がGPT-4を｢汎用人工知能（artificial general intelligence）｣と早とちりするなど、GPT-4に対して過熱気味になる前に成立したものです。
また、報告書はアメリカの連邦裁判所と州裁判所における訴訟件数を用いて、議員がAIに関心を寄せるようになってきたことを示唆しています。
2022年に連邦裁判所と州裁判所に持ち込まれたAI関連訴訟は、2016年の6.5倍にあたる110件だったそうです。
その大半はカリフォルニア、イリノイ、ニューヨークの各州で提訴され、約29%が民法、19%が知的財産権に関わる訴訟だったとのこと。
近頃、AIに作風を模倣された作家やアーティストが著作権法に反するとして訴訟を起こしたことを踏まえると、今後さらに著作権や財産権に関する訴訟が増えそうな気がしますね。
気候変動対策の目標を公表していないOpenAIはともかくとして、2030年までのカーボン・ネガティブを目指すMicrosoft（マイクロソフト）や2030年までのネットゼロを掲げるGoogleは、巨大化するAIモデルへの対策をちゃんとできているのでしょうか。
Reference: Business Insider, Microsoft, Google
