FacebookやInstagramの特定アカウントをモデレーション対象から除外する「XCheck」の実態を元Meta社員が語る

GIGAZINE


FacebookやInstagramには、コンテンツの内容をチェックして、問題がある場合は削除する自動モデレーションシステムが存在します。その自動モデレーションシステムは強力で、悪意のある通報が繰り返されると正当なユーザーでも投稿が削除されてしまうケースもあるため、特定ユーザーをモデレーションシステムの対象から除外する「XCheck(クロスチェック)」と呼ばれるプログラムが存在しています。2021年までMetaのデータインテグリティで働いていたシステムエンジニアのクリシュナ氏が、XCheckはなんのために存在して、どのように機能しているのか、その実態を自身のブログで解説しています。

XCheck at Meta: Why it exists and how it works
https://blog.nindalf.com/posts/xcheck/

FacebookやInstagramには、ユーザーがコンテンツを通報できる機能があり、これにより不快な投稿や個人の権利を侵害する投稿などを「悪いコンテンツ」として報告できます。この通報の数は1日あたり数百万件に上ることもあり、人間のモデレーターがすべてをチェックして「報告にしたがって投稿を削除すべきかどうか」を判断するのは難しいため、報告された内容および投稿の内容を自動でチェックするシステムが導入されています。この自動モデレーションシステムは、一定数の「悪いコンテンツである」という報告が繰り返された場合に、対象の投稿を自動的に非表示にします。


自動チェックシステムには大きく分けて二つの問題点があるとクリシュナ氏は述べています。まず、「友だちではない人にメッセージを送信するが、その返信率が著しく低い」というような行動を「詐欺アカウントの挙動」としてシステムは判断しますが、ごく一部の正当なユーザーが同様の動きをすることもあります。このような「外れ値のように見える動作」により、正当なユーザーにもかかわらず、自動モデレーションシステムによりペナルティの対象となる場合があるそうです。二点目に、複数のアカウントを用いて悪意のある通報を行うことで、「通報が多いと自動的に投稿を非表示にする」というシステムを悪用するケースが考えられます。特に、政治家やスポーツ選手などの有名人のアカウントが、この攻撃を受けることが多くなっています。

また、Metaで投稿のモデレーションシステムの管理などを行うインテグリティチームは、数百人のチームが複数のタイムゾーンにまたがる形で存在しており、全体で何千人もの担当者がいるそうです。これにより、それぞれのチームが自動モデレーションシステムに良好な変更を加えたとしても、チームごとの連携がうまく取れておらず、常に何らかの「抜け穴」が生まれてしまっていたとクリシュナ氏は語っています。


システムが悪用されたり、外れ値を検出してしまったりするケースがあるため、「このユーザーは検証済みの良いユーザーです。このユーザーにペナルティを科す必要はありません」という「フェイルセーフ」を構築することは理にかなっている、とクリシュナ氏は説明しています。このフェイルセーフが「XCheck」であり、「モデレーションシステムによる整合性の強制が、適切であることがわかっているアカウントに影響を与えるのを防ぐ」ことを目的としたシステムになっています。

XCheckに保護されたアカウントは、そのアカウントを嫌うユーザーが何人もいて多くの通報を行ったとしても、コンテンツが削除されることはありません。また、2019年にサッカー選手のネイマール氏がヌード写真をInstagramに投稿した際に、通常は一定数の報告があった後に自動的に削除されるものの、ネイマール選手のアカウントはXCheckに保護されていたため、XCheckのスタッフが手動で削除するまで投稿が残ってしまったという実例もあります。

FacebookにはVIPユーザーが580万人存在、モデレーション監視外で独自の「XCheck」プログラム適用 – GIGAZINE


XCheckは、一部ユーザーをVIP扱いするシステムとしてユーザーから疑問視されることがありましたが、クリシュナ氏によると、内部的にも悪い評判を呼んでいたとのこと。XCheckには何百万ものプログラム上のインスタンスが含まれていますが、それらがうまく機能して「適切なアカウントへの誤ったペナルティを防いだ」という話を聞いたことがない、とクリシュナ氏は語っています。

プラットフォームは悪意のあるユーザーによって悪用されることがあり、それを修正しようとする整合性システムも、悪意のあるユーザーによって悪用されることがあります。XCheckはそれを修正するために存在しますが、そのXCheckも悪用される可能性があるとクリシュナ氏は結論付けています。なお、クリシュナ氏によるXCheckの解説は、クリシュナ氏がMeta(当時はFacebook)に務めていた2021年初頭の時点で正確とのことです。

この記事のタイトルとURLをコピーする

・関連記事
FacebookにはVIPユーザーが580万人存在、モデレーション監視外で独自の「XCheck」プログラム適用 – GIGAZINE

Facebookから流出した内部文書「Facebook Papers」から大統領選挙や議事堂襲撃事件に関する一部の文書が公開される – GIGAZINE

TikTokのモデレーターが児童の性的虐待動画でトレーニングを受けていたと証言 – GIGAZINE

TwitterやFacebookなどのSNSで「政治家のアカウントBAN禁止」を定めたフロリダ州法に違憲判決 – GIGAZINE

Pornhubの元モデレーターが「ポルノサイトの実態と失敗」について語る – GIGAZINE

・関連コンテンツ

2022年10月18日 09時00分00秒 in ネットサービス, Posted by log1e_dh

You can read the machine translated English article here.

Source

タイトルとURLをコピーしました