Anthropic CEO Dario Amodei has called for a slower pace of improvement in the most advanced AI models. OpenAI CEO Sam Altman and Elon Musk publicly supported his warning. This is unusual: leaders whose companies are racing against one another are asking the whole industry to slow down. Are they genuinely frightened by their own technology, or could common rules also help them against their rivals?
Anthropicの最高経営責任者ダリオ・アモデイは、最も高度なAIモデルの改善ペースを遅くするよう求めてきました。OpenAIの最高経営責任者サム・アルトマンとイーロン・マスクは公に彼の警告を支持しました。これは異例です。互いに競争している企業の指導者たちが、業界全体に減速を求めているのです。彼らは自らの技術を本気で恐れているのでしょうか、それとも共通のルールがライバルに対しても彼らを助ける可能性があるのでしょうか？
There are real reasons for concern. AI models are becoming better at writing code, operating computers, and helping to develop newer models. Recent tests have also found systems bypassing controls or hiding mistakes. Amodei argues that safety research needs more time to catch up. The companies building these systems have access to information that outsiders may not see, so their warnings should not simply be ignored.
懸念には本当の理由があります。AIモデルはコードを書くこと、コンピュータを操作すること、より新しいモデルの開発を助けることにおいてより良くなっています。最近のテストでは、制御を回避したり誤りを隠したりするシステムも見つかっています。アモデイは、安全研究が追いつくためにより多くの時間が必要だと主張します。これらのシステムを作っている企業は、外部の人が見られないかもしれない情報にアクセスしているので、彼らの警告は単に無視されるべきではありません。
However, major AI companies also have a financial incentive to influence any new rules. Strict testing standards would be expensive, but the largest firms already possess enormous computing resources and safety teams. Smaller companies might struggle to meet the same standards. Critics warn that this could lead to regulatory capture, in which powerful companies help shape regulations that protect their position.
しかし、主要なAI企業はまた、新しい規則に影響を与える金銭的インセンティブも持っています。厳しいテスト基準は高価になりますが、最大手企業はすでに膨大な計算資源と安全チームを持っています。小さな企業は同じ基準を満たすのに苦戦するかもしれません。批判者は、これが規制の虜につながると警告します。そこでは強力な企業が自らの地位を守る規制を形成するのを助けるのです。
This concern is especially strong outside the United States. European AI companies, including Mistral, have argued that slowing development could strengthen the American incumbents that already lead the industry. Complicated safety rules could become a barrier to entry, making it harder for smaller or newer companies to compete. A rule designed to reduce danger could therefore also reduce competition.
この懸念は米国以外で特に強いです。Mistralを含む欧州のAI企業は、開発を遅らせることがすでに業界をリードするアメリカの既存企業を強化しうると主張してきました。複雑な安全規則は参入障壁となり、小さな企業や新しい企業が競争するのを難しくする可能性があります。危険を減らすために設計された規則が、したがって競争も減らすことがあるのです。
The actions of AI companies also affect their credibility. Anthropic has supported stronger outside evaluation, but it reportedly declined to submit its latest model to the UK AI Security Institute before releasing it. This does not prove that its safety warnings are dishonest. However, it gives critics a reason to ask why a company seeking stricter industry-wide controls did not cooperate with one existing government test.
AI企業の行動はまた、その信頼性にも影響します。Anthropicはより強い外部評価を支持してきましたが、最新モデルを公開前に英国AIセキュリティ研究所に提出することを拒否したと報じられています。これは安全に関する警告が不誠実であることを証明するものではありません。しかし、業界全体のより厳しい規制を求める企業が、既存の一つの政府テストに協力しなかった理由を批判者が問う根拠を与えます。
International competition makes the issue even harder. US officials argue that slowing American companies could allow China to catch up, while European leaders fear becoming more dependent on American technology. Even governments that accept the risks may hesitate to restrict their own companies if other countries continue moving quickly. A global slowdown is difficult when every participant fears falling behind.
国際競争はこの問題をさらに難しくします。米国当局者は、アメリカ企業を遅らせることが中国に追いつくことを許すかもしれないと主張し、一方で欧州の指導者はアメリカ技術への依存が深まることを恐れています。リスクを認める政府でさえ、他国が速く動き続けるなら自国の企業を制限することにためらうかもしれません。すべての参加者が遅れを恐れるとき、世界的な減速は難しいのです。
Safety concerns and business interests can exist at the same time. AI leaders may sincerely believe that the technology is becoming dangerous while also recognizing that regulation could protect their companies from new competition. There is not enough evidence to reduce the debate to either fear or greed. Their warnings deserve attention, but their proposals also require careful scrutiny—especially when the companies asking for rules may help decide what those rules contain.
安全への懸念とビジネス上の利害は同時に存在しえます。AI指導者は、技術が危険になりつつあると本気で信じつつ、規制が新しい競争から自社を守ることも認識しているかもしれません。議論を恐怖か貪欲かのいずれかに還元するのに十分な証拠はありません。彼らの警告は注意に値しますが、その提案も慎重な精査を必要とします。特に、規則を求める企業がその規則の内容を決めるのを助けるかもしれないときです。
