FacebookやInstagramの特定アカウントをモデレーション対象から除外する「XCheck」の実態を元Meta社員が語る

FacebookやInstagramには、コンテンツの内容をチェックして、問題がある場合は削除する自動モデレーションシステムが存在します。その自動モデレーションシステムは強力で、悪意のある通報が繰り返されると正当なユーザーでも投稿が削除されてしまうケースもあるため、特定ユーザーをモデレーションシステムの対象から除外する「XCheck(クロスチェック)」と呼ばれるプログラムが存在しています。2021年までMetaのデータインテグリティで働いていたシステムエンジニアのクリシュナ氏が、XCheckはなんのために存在して、どのように機能しているのか、その実態を自身のブログで解説しています。

XCheck at Meta: Why it exists and how it works
https://blog.nindalf.com/posts/xcheck/

FacebookやInstagramには、ユーザーがコンテンツを通報できる機能があり、これにより不快な投稿や個人の権利を侵害する投稿などを「悪いコンテンツ」として報告できます。この通報の数は1日あたり数百万件に上ることもあり、人間のモデレーターがすべてをチェックして「報告にしたがって投稿を削除すべきかどうか」を判断するのは難しいため、報告された内容および投稿の内容を自動でチェックするシステムが導入されています。この自動モデレーションシステムは、一定数の「悪いコンテンツである」という報告が繰り返された場合に、対象の投稿を自動的に非表示にします。

自動チェックシステムには大きく分けて二つの問題点があるとクリシュナ氏は述べています。まず、「友だちではない人にメッセージを送信するが、その返信率が著しく低い」というような行動を「詐欺アカウントの挙動」としてシステムは判断しますが、ごく一部の正当なユーザーが同様の動きをすることもあります。このような「外れ値のように見える動作」により、正当なユーザーにもかかわらず、自動モデレーションシステムによりペナルティの対象となる場合があるそうです。二点目に、複数のアカウントを用いて悪意のある通報を行うことで、「通報が多いと自動的に投稿を非表示にする」というシステムを悪用するケースが考えられます。特に、政治家やスポーツ選手などの有名人のアカウントが、この攻撃を受けることが多くなっています。

また、Metaで投稿のモデレーションシステムの管理などを行うインテグリティチームは、数百人のチームが複数のタイムゾーンにまたがる形で存在しており、全体で何千人もの担当者がいるそうです。これにより、それぞれのチームが自動モデレーションシステムに良好な変更を加えたとしても、チームごとの連携がうまく取れておらず、常に何らかの「抜け穴」が生まれてしまっていたとクリシュナ氏は語っています。

システムが悪用されたり、外れ値を検出してしまったりするケースがあるため、「このユーザーは検証済みの良いユーザーです。このユーザーにペナルティを科す必要はありません」という「フェイルセーフ」を構築することは理にかなっている、とクリシュナ氏は説明しています。このフェイルセーフが「XCheck」であり、「モデレーションシステムによる整合性の強制が、適切であることがわかっているアカウントに影響を与えるのを防ぐ」ことを目的としたシステムになっています。

XCheckに保護されたアカウントは、そのアカウントを嫌うユーザーが何人もいて多くの通報を行ったとしても、コンテンツが削除されることはありません。また、2019年にサッカー選手のネイマール氏がヌード写真をInstagramに投稿した際に、通常は一定数の報告があった後に自動的に削除されるものの、ネイマール選手のアカウントはXCheckに保護されていたため、XCheckのスタッフが手動で削除するまで投稿が残ってしまったという実例もあります。

FacebookにはVIPユーザーが580万人存在、モデレーション監視外で独自の「XCheck」プログラム適用 – GIGAZINE

XCheckは、一部ユーザーをVIP扱いするシステムとしてユーザーから疑問視されることがありましたが、クリシュナ氏によると、内部的にも悪い評判を呼んでいたとのこと。XCheckには何百万ものプログラム上のインスタンスが含まれていますが、それらがうまく機能して「適切なアカウントへの誤ったペナルティを防いだ」という話を聞いたことがない、とクリシュナ氏は語っています。

プラットフォームは悪意のあるユーザーによって悪用されることがあり、それを修正しようとする整合性システムも、悪意のあるユーザーによって悪用されることがあります。XCheckはそれを修正するために存在しますが、そのXCheckも悪用される可能性があるとクリシュナ氏は結論付けています。なお、クリシュナ氏によるXCheckの解説は、クリシュナ氏がMeta(当時はFacebook)に務めていた2021年初頭の時点で正確とのことです。