コンテンツモデレーション
プラットフォーム上に何を残してよいかを決める仕事。ルール、自動分類、人間の審査員の順に重なっているが、段を下りるごとに余裕は減っていく。
明白なものは自動化が処理する。児童性的虐待コンテンツは既知のデータベースとのハッシュ照合、スパムやヌード、暴力は分類器で見つける。問題は境界線上の投稿である。風刺、暴力を扱う報道、地域の文脈でしか読めない脅迫、皮肉などは結局人間に回り、しかも多くは下請け企業の作業者が担当する。心的外傷が記録されており、Facebookは2020年に米国の審査員と5,200万ドルで和解した。規模の問題で完璧は望めない。1日に数百万件の判断があれば、精度99%でも毎日数万件の誤りが出て、どちらの種類の誤りも見出しになる。EUのDSAは2024年から、異議申し立て、透明性レポート、リスク評価を義務づけている。