ブラックボックスという言葉で真っ先に浮かぶのは飛行機についている機材です。
が、今回はそっちではなく、｢AIのブラックボックス｣なんて言われるブラックボックスのほう。つまり、箱の中身に何があって何が起きているのか見えない状況についての話です。
AIの箱の中身が見えないことは何が危険なのか…。以下、パデュー大学電気＆コンピュータ工学のSaurabh Bagchi教授によるThe Conevrsationへの寄稿文（CCライセンス）を翻訳しました。
AIのブラックボックスとは、AIを提供する側の外にいる人間＝ユーザーに、その仕組みが見えないことを言います。
AIにリクエストを出し答えを得る、その間にある部分。システムのコードやアウトプットが生成されるロジックなどが見えないということです。
マシンラーニングは、AIにおいて主要な要素であり、ChatGPTやDALL-E2など生成AIの根底にあるものです。
マシンラーニングにある3つの要素は、アルゴリズム（またはアルゴリズムセット）、トレーニングデータ、そしてモデルです。
アルゴリズムとは手順。マシンラーニングおいて、アルゴリズムは膨大な例でトーレニングしたあとにそのパターンの識別を学習します。
この膨大な例がトレーニングデータ。トレーニング後のマシンラーニングアルゴリズムの結果がマシンラーニングモデルです。
このモデルが、我々ユーザーが実際に利用しているものとなります。
たとえば、犬の画像集をトレーニングデータとし、画像のパターンを識別するマシンラーニングアルゴリズムをデザインするとします。
この場合、このマシンラーニングモデルは犬の識別ができるようになるでしょう。
モデルは、インプットとして投げられた画像のピクセルを識別し犬の画像と認識、犬の部分を指し示すことができるでしょう。
このマシンラーニングに必要な3要素は、ユーザーの目には見えないことがあります。つまり、ブラックボックスの中にあるということです。
アルゴリズムは公に知られてしまうのが常なので、箱に入れていても、企業の知的財産を保護するという意味では効果的ではありません。
なので、企業はモデルを開発し、それをブラックボックスの中にいれます。他にも、マシンラーニングに使ったトレーニングデータを秘密にする、つまりブラックボックスにいれるという手もあります。
ブラックボックスの対極にあるのが、ガラスボックス、中が見える透明な箱です。
AIのガラスボックスでは、アルゴリズム、トレーニングデータ、モデルの3つの要素を誰でも見ることができます。
が、時に、一部研究者からガラスボックスAIですらブラックボックスと言われてしまうことがあります。
その理由は、マシンラーニング、特にディープラーニングのアルゴリズムを研究者が深く理解していないからです。
説明可能なAIという分野では、ガラスボックスよりも、人が理解しやすいアルゴリズムの開発を行なっています。
AIブラックボックスは何が問題か
多くの場合、マシンラーニングのアルゴリズムとモデルのブラックボックス化に慎重になってしまうのには、それなりの理由があります。
たとえば、あるマシンラーニングモデルがあなたの健康状態を診断するとします。このとき、あなたなら、このマシンラーニングにはブラックボックスとガラスボックスどちらであってほしいと思いますか？
なにか薬を処方されたとして、あなたに手渡しする薬剤師さんだって、なぜモデルがこの薬の判断にいきついたのか知りたいと思うはずです。
たとえば、あなたが銀行に融資の申し込みをするとして、マシンラーニングがその申請をチェックし、不適切だと判断したらどう思いますか？
判断理由を知りたいとは思いませんか？ 判断理由がわかれば、そこに不服申し立てするのも、次に融資を申し入れる時のために状況を改善するにも、より効果的なアクションがとれるのではないでしょうか。
ブラックボックスは、ソフトウェアシステムのセキュリティにとっても重要な意味をもちます。
長年、コンピューティング分野の多くの人間が、ソフトウェアをブラックボックス化することでハッカー対策になると考えてきました。
が、この考えは間違いであることがわかりました。ハッカーはリバースエンジニアリングによって、そのソフトウェアのコピー品を作り観察し、結果、攻撃のスキ、脆弱性を発見することができてしまうからです。
ソフトウェアがガラスボックスの中にあれば、ソフトウェアをテストする人やホワイトハッカーがそれを調べ、弱点を報告することができます。
結果、サイバー攻撃のリスクは最小限に抑えられるでしょう。
