Imagine that two people post the same cruel comment about a singer. One post is seen by only a few followers. The other appears in the feeds of thousands of strangers. The words are exactly the same, but the possible harm is very different. What changed was not the speaker or the message. It was the system that distributed it.
二人が歌手について同じ残酷なコメントを投稿したと想像してください。一方の投稿は少数のフォロワーにしか見られません。もう一方は何千人もの見知らぬ人のフィードに現れます。言葉はまったく同じですが、起こりうる害は大きく異なります。変わったのは話し手でもメッセージでもありません。それを流通させたシステムです。
Social media platforms do not simply show every post in the order it was published. Recommender systems rank content and predict what each user is likely to watch, share, or comment on. These systems can help people discover useful or entertaining material. However, they also influence which voices become highly visible and which remain almost unseen.
ソーシャルメディアのプラットフォームは、単にすべての投稿を公開された順に表示するわけではありません。レコメンダーシステムはコンテンツを順位付けし、各利用者が視聴し、共有し、またはコメントしそうなものを予測します。これらのシステムは、有用または娯楽的な素材を発見する助けとなりえます。しかし同時に、どの声が高く可視化され、どれがほとんど見られないままかを左右もします。
This means that a platform is not merely an empty notice board. It usually does not write the posts, but it organizes people’s attention. A harmful message can be copied, recommended, and shown repeatedly to users who never searched for it. In this way, a platform can amplify speech without creating the original message.
これは、プラットフォームが単なる空の掲示板ではないことを意味します。通常は投稿を書きませんが、人々の注意を組織します。有害なメッセージは、コピーされ、推薦され、それを検索したことのない利用者に繰り返し示されえます。このように、プラットフォームは元のメッセージを作らずに言論を増幅しうるのです。
Why might an angry or shocking post travel so far? Such content can generate strong engagement, including clicks, comments, shares, and longer viewing time. Of course, not every popular post is harmful, and company employees do not personally select every item. Nevertheless, a system designed to reward reactions may give extreme or emotional content an advantage.
なぜ怒りや衝撃を伴う投稿は、それほど遠くまで広がりうるのでしょうか。そのようなコンテンツは、クリック、コメント、共有、より長い視聴時間を含む強いエンゲージメントを生みえます。もちろん、人気のある投稿のすべてが有害なわけではなく、会社の従業員が一つ一つを個人的に選んでいるわけでもありません。それでも、反応に報いるよう設計されたシステムは、極端または感情的なコンテンツに優位を与えるかもしれません。
The business model is also important. Many large social media services depend heavily on advertising. More attention creates more opportunities to show advertisements and learn about users’ interests. This does not prove that a company wants harmful content to spread. However, it can create an incentive to keep people engaged, even when some highly engaging material is abusive, misleading, or unhealthy.
ビジネスモデルも重要です。多くの大規模ソーシャルメディアサービスは、広告に大きく依存しています。より多くの注目は、広告を表示し、利用者の関心を知る機会を増やします。これは、会社が有害なコンテンツの拡散を望んでいることの証明にはなりません。しかし、高度にエンゲージメントを生む素材の一部が虐待的、誤解を招く、または不健全であっても、人々を引きつけ続けるインセンティブを生みえます。
Responsibility must therefore be divided carefully. The person who writes a false or abusive post is responsible for the message. Some messages may violate the law, while others may be cruel but legal. A platform has a different kind of responsibility when its design repeatedly increases a message’s reach. Creating harmful speech and amplifying it are not the same act, but both can influence the scale of the damage.
したがって責任は慎重に分けられなければなりません。虚偽または虐待的な投稿を書く人は、そのメッセージに責任があります。一部のメッセージは法律に違反するかもしれず、他のものは残酷だが合法かもしれません。設計がメッセージの到達範囲を繰り返し広げるとき、プラットフォームは別種の責任を負います。有害な言論を作ることとそれを増幅することは同じ行為ではありませんが、どちらも被害の規模に影響しえます。
The next problem is that outsiders cannot easily examine these systems. Regulators in some regions now require very large platforms to explain more about their recommender systems, assess major risks, and give qualified researchers access to certain data. Supporters believe such measures can reveal patterns of harmful amplification. Critics warn that too much disclosure could expose trade secrets, weaken privacy, or help people manipulate the system.
次の問題は、外部の人がこれらのシステムを簡単には調べられないことです。一部の地域の規制当局は今、非常に大規模なプラットフォームに、レコメンダーシステムについてより多く説明し、主要なリスクを評価し、適格な研究者に一定のデータへのアクセスを与えることを求めています。支持者は、そのような措置が有害な増幅のパターンを明らかにできると考えます。批判者は、開示が多すぎると企業秘密が露出し、プライバシーが弱まり、またはシステムの操作を助ける可能性があると警告します。
No single actor controls the entire chain. Users decide what to post and share. Companies design ranking systems and business incentives. Governments establish legal rules, while researchers and the public examine whether those rules work. The central question is therefore no longer only, “Should this post remain online?” It is also, “Who helped this post travel, and what responsibility comes with that power?”
単一の行為者が鎖全体を支配しているわけではありません。利用者は何を投稿し共有するかを決めます。企業は順位付けシステムとビジネス上のインセンティブを設計します。政府は法的規則を定め、研究者と公衆はその規則が機能するかどうかを検討します。したがって中心的な問いは、もはや「この投稿はオンラインに残すべきか？」だけではありません。「誰がこの投稿の拡散を助け、その力にはどんな責任が伴うのか？」でもあるのです。
