← News Topics

Fame, Speech, and Responsibility Online

Day 3: Who Decides What Stays Online?

名声、言論、そしてオンライン上の責任 ― 第3日:オンラインに何を残すか、誰が決めるのか

Content moderator reviewing social media reports on a computer screen

A user sees a cruel post about a singer, athlete, or ordinary person and presses the “report” button. The person targeted by the post wants it removed immediately. The writer says it is only criticism. A platform employee—or sometimes an automated system—must then decide what happens. This act of content moderation can affect both the target’s safety and the writer’s freedom of expression.

利用者が、歌手、アスリート、または普通の人についての残酷な投稿を見て「報告」ボタンを押します。投稿の対象となった人は、それをすぐに削除してほしいと望みます。書き手は、それは批判にすぎないと言います。プラットフォームの従業員、あるいは時には自動化されたシステムが、次に何が起きるかを決めなければなりません。このコンテンツ・モデレーションの行為は、対象者の安全と書き手の表現の自由の両方に影響しうるのです。

Social media companies are not courts, but they make millions of moderation decisions. Their terms of service may prohibit threats, harassment, or repeated personal attacks even when a court has not declared a post illegal. At the same time, a post can be offensive without breaking either the law or a platform rule. “Illegal,” “harmful,” and “against the rules” therefore describe different things.

ソーシャルメディア企業は裁判所ではありませんが、何百万ものモデレーション判断を下しています。利用規約は、裁判所が投稿を違法と宣言していなくても、脅迫、嫌がらせ、繰り返される個人攻撃を禁止しているかもしれません。同時に、投稿は法律もプラットフォームの規則も破っていなくても、不快なものになりえます。したがって「違法」「有害」「規則違反」は、異なるものを指しているのです。

Japan responded to concerns about slow and unclear complaint procedures with the Information Distribution Platform Act, which took effect on April 1, 2025. Large designated services must make their reporting systems easy to find, appoint specialists, examine requests promptly, and inform users of the results—generally within seven days. They must also publish their moderation standards and information about how they operate. The law improves the procedure; it does not order platforms to remove every reported post. (Japan’s e-Gov legal database; official government summary)

日本は、遅く不透明な苦情手続きへの懸念に応え、2025年4月1日に施行された情報流通プラットフォーム対処法を制定しました。指定された大手サービスは、報告システムを見つけやすくし、専門担当者を置き、申請を迅速に審査し、結果を利用者に通知しなければなりません。一般的には7日以内です。モデレーション基準と運用方法に関する情報も公表しなければなりません。この法律は手続きを改善しますが、報告されたすべての投稿を削除するよう命じるものではありません。(e-Gov法令データベース政府の公式概要

Why not require immediate removal? The main reason is that context matters. “This actor gave a terrible performance” is harsh criticism. A false factual claim that seriously damages someone’s reputation is different. A repeated campaign against the same person may also become harassment. Satire, quotations, and reporting on matters of public interest make these decisions even harder. A moderator who sees only one sentence may misunderstand the larger situation.

なぜ即時削除を義務付けないのでしょうか。主な理由は、文脈が重要だからです。「この俳優はひどい演技だった」は厳しい批判です。誰かの評判を深刻に傷つける虚偽の事実の主張は、それとは異なります。同じ人に対する繰り返しの攻撃は、嫌がらせにもなりえます。風刺、引用、公益に関する事柄の報道は、これらの判断をさらに難しくします。一文だけを見るモデレーターは、より大きな状況を誤解するかもしれません。

Removing too little can allow abuse to spread. However, removing too much creates another danger: over-removal. If platforms delete every disputed post to avoid risk, people may become afraid to discuss powerful companies, politicians, or public controversies. This chilling effect can weaken open debate. Automated moderation may increase the risk because software can fail to understand irony, local culture, or the difference between reporting offensive language and using it to attack someone.

削除が少なすぎると、虐待が広がる余地が生まれます。しかし削除が多すぎると、別の危険、すなわち過剰削除が生じます。プラットフォームがリスクを避けるために争点のあるすべての投稿を削除すれば、人々は強大な企業、政治家、公の論争について議論することを恐れるかもしれません。この抑制効果は、公開討論を弱めることがあります。自動モデレーションは、ソフトウェアが皮肉、地域文化、不快な言葉を報道することとそれを使って誰かを攻撃することとの違いを理解できない場合があるため、リスクを高めるかもしれません。

There is another important question: do platforms merely host harmful content, or do they amplify it? A recommender system chooses which posts appear first and which videos receive wider attention. Content that creates anger or shock can attract clicks and comments. As a result, a platform’s design may help a cruel post reach thousands of people. Platform responsibility may therefore include not only removing content but also examining how the system spreads it.

もう一つの重要な問いがあります。プラットフォームは有害なコンテンツを単にホストしているだけなのか、それともそれを増幅しているのか、ということです。レコメンダーシステムは、どの投稿を最初に表示し、どの動画により広い注目を集めるかを選びます。怒りや衝撃を生むコンテンツは、クリックやコメントを引きつけうるのです。その結果、プラットフォームの設計が、残酷な投稿が何千人にも届くのを助けるかもしれません。したがってプラットフォームの責任には、コンテンツを削除することだけでなく、システムがそれをどう広げるかを検討することも含まれるかもしれません。

The European Union’s Digital Services Act offers one possible model. It requires platforms to explain many moderation decisions and gives users ways to challenge them. Very large platforms must also examine systemic risks and undergo independent audits. These rules cannot guarantee perfect decisions, but they treat transparency and the right to appeal as important parts of platform responsibility. Users should know not only what decision was made, but also why it was made and how it can be challenged. (European Commission)

欧州連合のデジタルサービス法は、一つの可能なモデルを示しています。それはプラットフォームに多くのモデレーション判断を説明することを求め、利用者にそれらに異議を唱える方法を与えます。非常に大規模なプラットフォームは、体系的リスクを検討し、独立した監査を受けなければなりません。これらの規則は完璧な判断を保証することはできませんが、透明性と不服申立ての権利をプラットフォーム責任の重要な部分として扱っています。利用者は、どんな決定が下されたかだけでなく、なぜ下されたのか、どう異議を唱えられるかも知るべきです。(欧州委員会

A platform that removes too little may leave people exposed to serious harm. A platform that removes too much may narrow public debate. The real challenge is to create procedures that protect both people and expression: accessible reporting, timely review, clear reasons, a fair appeal, and public information about the system. The question is not simply, “Should this post disappear?” It is also, “Who decides, under what rules, and with what checks?”

削除が少なすぎるプラットフォームは、人々を深刻な害にさらすかもしれません。削除が多すぎるプラットフォームは、公開討論を狭めるかもしれません。本当の課題は、人々と表現の両方を保護する手続きを作ることです。利用しやすい報告、タイムリーな審査、明確な理由、公正な不服申立て、システムに関する公開情報です。問いは単に「この投稿は消えるべきか?」ではありません。「誰が、どんな規則の下で、どんなチェックを伴って決めるのか?」でもあるのです。

Vocabulary

  1. moderation — the process of reviewing online content and deciding whether it follows the rules. Example: The platform uses both human reviewers and software for content moderation.
  2. terms of service — the rules that users agree to follow when using an online service. Example: The company’s terms of service prohibit threats and targeted harassment.
  3. harassment — repeated or unwanted behavior that causes fear, distress, or serious discomfort. Example: She reported the messages because they had developed into online harassment.
  4. designate — to officially choose or identify someone or something for a particular purpose. Example: The government designated several large platforms as subject to the new rules.
  5. over-removal — the deletion or restriction of more content than is necessary. Example: Critics warned that unclear rules could lead to over-removal of lawful posts.
  6. chilling effect — a situation in which people avoid lawful expression because they fear punishment or other consequences. Example: The threat of losing an account may have a chilling effect on political discussion.
  7. amplify — to make a message stronger or help it reach a larger audience. Example: Social media can amplify an angry comment far beyond its original audience.
  8. recommender system — an automated system that selects, ranks, or suggests content for users. Example: The recommender system showed the controversial video to millions of viewers.
  9. appeal — a formal request for a decision to be reviewed or changed. Example: The user filed an appeal after her post was removed.

Comprehension Questions

  1. Why does the article distinguish between “illegal,” “harmful,” and “against the rules”?
    1. Because harmful posts are always illegal
    2. Because platform rules and the law do not cover exactly the same content
    3. Because courts write the terms of service for platforms
    4. Because platforms cannot remove legal content

    記事はなぜ「違法」「有害」「規則違反」を区別しているのですか?

  2. What does Japan’s Information Distribution Platform Act require from designated large services?
    1. The removal of every reported post
    2. The automatic identification of every anonymous user
    3. Clearer reporting procedures, prompt examination, and greater transparency
    4. Government approval before a platform can remove content

    日本の情報流通プラットフォーム対処法は、指定された大手サービスに何を求めていますか?

  3. What is the main danger of over-removal?
    1. Platforms may become more popular
    2. People may avoid lawful discussion because they fear consequences
    3. Courts may have to decide fewer cases
    4. Harmful posts may receive more advertising

    過剰削除の主な危険は何ですか?

  4. Why are recommender systems relevant to platform responsibility?
    1. They can increase the number of people who see harmful content
    2. They decide whether a post is legally defamatory
    3. They prevent people from reporting posts
    4. They reveal the identity of anonymous users

    レコメンダーシステムはなぜプラットフォーム責任に関係があるのですか?

  5. What is the central argument of the article?
    1. Automated moderation should replace human moderators
    2. All offensive content should remain online
    3. Platforms need fair procedures that address harm without unnecessarily restricting expression
    4. Governments should make all moderation decisions

    記事の中心的な主張は何ですか?

Discussion Questions

  1. Should a platform remove a post that is legal but clearly intended to humiliate someone? Why or why not?

    プラットフォームは、合法的だが明らかに誰かを屈辱させる意図のある投稿を削除すべきですか?それはなぜ/なぜそうでないのですか?

  2. Which is more dangerous: removing too little content or removing too much? Does your answer depend on the type of platform?

    より危険なのは、コンテンツを削除しすぎないことですか、削除しすぎることですか?あなたの答えはプラットフォームの種類によって変わりますか?

  3. Should an automated system ever make the final decision to remove a post?

    自動化されたシステムが、投稿を削除する最終決定を下すべき場面はあるべきですか?

  4. Should platforms be responsible when their recommender systems amplify harmful content posted by users?

    利用者が投稿した有害なコンテンツをレコメンダーシステムが増幅した場合、プラットフォームは責任を負うべきですか?

  5. What should a fair appeal system include?

    公正な不服申立て制度には何を含めるべきですか?

Speaking Practice

Design a Fair Moderation System

Speak for about one minute. Explain how your platform would handle disputed content.

公正なモデレーション制度を設計する ― 約1分間話してください。あなたのプラットフォームが争点のあるコンテンツをどう扱うか説明してください。

Include:

  • how users can report harmful content

    利用者が有害なコンテンツを報告する方法

  • who reviews the report

    報告を審査するのは誰か

  • how context is considered

    文脈をどう考慮するか

  • how the decision is explained

    決定をどう説明するか

  • how users can appeal

    利用者がどう不服申立てできるか