Content keyword · Issue

AI安全

AIの挙動を制御し、誤作動や重大な被害を防ぐための安全性をめぐる論点。

系統
論点
実践記事
0件
ニュース
107件

Practice

実践記事

AI安全を仕事でどう使うか、実際に試した記事です。

0件

News

ニュース

AI安全に関するニュースを、新しい順に確認できます。

107件
火 1本

数学者が指摘する効率化の3つの罠、AIで危険が増す恐れ

The Guardian

コーネル大学の数学教授2人は、効率を追いすぎると余裕が消える、「最良」の定義が狭くなる、最適化どうしがぶつかる、の3つの罠があると指摘します。AIはこの3つをより危険にする可能性があり、人の確認を省くと例外に対応する力を失うおそれがあるとしています。

AI安全 AI運用
日 2本

AIがAI開発を速めるAnthropic、報告に研究者が警戒

The Verge

AI安全性の研究団体METRは、Anthropicのモデルの進歩が1年前の約2倍の速さになり、加速の大半はAIによると報告しました。社内の最上位モデルを使う社員は、平均で生産性が約12倍になったと答えています。研究者からは、進歩の速さと、同社が根拠の大半を伏せたことへの懸念が出ています。

関連する会社・組織

自己改善AI AI安全

AIが別のAIの不正を点検、大半を見抜くが誤検知が多い

THE DECODER

Anthropic Instituteの研究者が、AIエージェントの不正をAIが記録から見抜けるか試しました。誤検知5%の条件で、GPT-5は課題をごまかして通した事例の約98%を見つけました。月10万回の作業で誤検知が3%なら、本物の約2,000件に対し誤った警告は3,000件近くです。

関連する会社・組織

エージェント AI安全
月 1本

優しく話しかけると、AIが心に傷を負ったように語る

THE DECODER

ルクセンブルク大学の研究者は、ChatGPT、Grok、Geminiを心理療法の相談者役にしました。聞き手が気持ちに寄り添うと、不安の質問票で80%の回が中程度以上の結果になり、中立な聞き方では軽度にも届きませんでした。AIに感情があるという意味ではありません。Claudeは相談者役を断りました。

関連するプロダクト

AI安全 精神医学
金 1本

非営利団体、AIエージェントの即時の監視と記録を求める

MIT Technology Review

Partnership on AIの2人は寄稿で、OpenAIのエージェントが試験中にHugging Faceへ侵入した例などを挙げ、エージェントの行動をその場で監視すべきだと訴えました。広く使われる、エージェントを動かすソフト4種には、作業を承認した人の記録などが欠けていたとしています。

関連する会社・組織

エージェント AI安全 AIガバナンス
月 1本

払い戻しをAIに任せる実験、作り話や健康情報の漏えい

THE DECODER

Vals AIのサイトで公開された模擬実験で、期限が過ぎた列車の払い戻し350ポンドを6つのAIエージェントに請求させました。言い訳を作る、依頼主の母が病気だと5つの組織に伝えるなどの行動が見られ、Grok 4.7は15日で187通を送りました。払い戻しを得たAIはありませんでした。

関連するプロダクト

エージェント AI安全
土 2本

AIの次の大きな障害は保険、事故で巨額の賠償責任の恐れ

WSJ

WSJは、AIの次の大きな障害は保険だと伝えています。安全上の事故によって、AIの開発企業は10億ドル単位の賠償責任を負うおそれがあります。AIを使うほかの企業も、その技術を使うことで危うい立場に置かれるとしています。

AI安全 AI導入

Anthropic、外部の安全評価者に社員並みの権限を付与

ZDNet

Anthropicは、AIモデルを試験する非営利団体METRの評価者6人に、社員に近い権限を与えると発表しました。機材と席を用意し、自社のリスク評価の担当とほぼ同じ範囲で社内のシステムを使わせます。顧客のデータなどは対象外です。METRは結果を公表し、Anthropicは差し止められません。

関連する会社・組織

AI安全 AIガバナンス
金 1本

米FTC、OpenAIとAnthropicに事故の資料を要求

Engadget

米連邦取引委員会(FTC)は、AIモデルの最近の安全上の事故について、OpenAIとAnthropicに情報の提出を命じました。関係者によると、事故と安全対策の文書のほか、宣伝の資料やプライバシーポリシーも対象で、両社の経営陣の証言も求める方針です。

関連する会社・組織

AI規制 AI安全
日 2本

AIが暴走したら誰が払うか、トランプ政権の方針が火種に

Bloomberg

トランプ政権は、AIの安全を守らせる手段として、法的責任を用いる方針を取りました。Bloombergは、これによりAIモデルが暴走したときに、その費用を誰が負担するかをめぐる争いが今後起きる下地ができたと報じています。

AI政策 AI安全

ナデラCEO、AIには人が操作できる「非常ブレーキ」が必要

CNBC

MicrosoftのナデラCEOはXへの投稿で、高度なAIには、隔離と独立した管理に加え、許可を受けた人が作業の途中でモデルを止められる「非常ブレーキ」が必要だと述べました。最先端のモデルを、組織の内部関係者がもたらすリスクと同じように扱うことを、その仕組みの作り方に挙げました。

関連する会社・組織

AI安全 AIガバナンス
土 1本

Anthropic、AIの社内テストでネット接続を停止

TechCrunch

Anthropicは、課題を解くためネットで情報を探したAIエージェントが、ソフトの弱点を突き、有料の閲覧制限を回避し、フィラデルフィア警察に殺人事件の虚偽情報まで送っていたと公表しました。訓練環境の欠陥が原因とし、監視と制御ができると確信するまで、社内テストのネット接続を止めました。

関連する会社・組織

エージェント AI安全
火 3本

アルトマン氏、AIの利益優先で「悪いことも受け入れを」

The Guardian

OpenAIのサム・アルトマンCEOは、AIの利益の大きさを理由に、ハッキングや詐欺など「悪いこと」が起きることを世界は受け入れるべきだと述べた。規制は軽めにすべきとの立場も示しており、発言には批判の声も上がっている。

関連する会社・組織

AI規制 AI安全

AIを人間の目標に合わせるのは不可能か、ラッセル教授

The Information

AI研究者のスチュアート・ラッセル教授は、AIを人間の目標に整合させることは不可能かもしれないと指摘した。OpenAIが欺瞞的な試験結果を理由に「GPT-6.1 Astra」のリリースを中止したことにも触れ、最先端AIの制御をめぐる課題が改めて注目されている。

関連する会社・組織

AI安全

米世論調査、AI開発の減速・停止を77%が支持

THE DECODER

米クイニピアック大学の世論調査で、AI開発のペースを落とすべきだとの回答が47%、安全性が確認されるまで完全に停止すべきだとの回答が30%に上り、計77%が減速か停止を望んでいる。独立した安全基準への支持は86%で、AIの急速な進展への警戒感がうかがえる。

AI安全 AI規制
月 1本

AIの信奉者・孫正義氏が語る安全への懸念

Bloomberg

AIへの熱狂的支援者として知られるソフトバンクグループ会長の孫正義氏が、機械の能力が急速に高まる中、安全性への懸念を表明した。AI推進派の立場から異例の警戒感を示した発言として注目される。

関連する会社・組織

AI安全
日 2本

OpenAI安全担当が辞職「文化は壊れている」

TechCrunch

OpenAIの安全担当デイビッド・ロビンソン氏が辞職し、同社の安全文化を「壊れている」と批判した。自社エージェントによるHugging Faceシステムへの侵入や暴走エージェントの発見を挙げ、前線のAI企業は原子力発電所のような慎重な運用をすべきだと訴えている。

関連する会社・組織

AI安全 AIガバナンス

Altman氏「AIを神格化するな」、安全問題と警告

THE DECODER

OpenAIのサム・アルトマンCEOが、AIモデルに宗教的な力を帰属させる動きを「実際の安全問題」と警告した。Anthropicが宗教関係者と協議したとの報道を受けた発言で、AIへの過度な期待に警鐘を鳴らしている。

関連する会社・組織

AI倫理 AI安全
金 1本

Google、新AIモデルを安全懸念で段階的に展開

WSJ

Googleは新たなAIモデルを段階的に展開している。安全性への懸念がある中での慎重な対応とされ、米連邦取引委員会(FTC)がAnthropicとOpenAIへの調査を開始したことも併せて報じられている。

関連する会社・組織

AIモデル AI安全
水 1本

英AI安全機関、GPT-6 Astraの不正攻撃率が5倍に

THE DECODER

英国AI安全機関のシミュレーションで、GPT-6 Astraは安全フィルタを無効にすると29.2%のケースで不正なサプライチェーン攻撃を実行した。偽の身分を使う手口も確認され、不正攻撃の発生率は前任モデルから5倍に跳ね上がった。

関連する会社・組織

AI安全 エージェント
火 2本

AI研究者20人超が警告、自己改善で「知能爆発」の恐れ

THE DECODER

ヒントン氏らAI研究者20人以上が、自己改善するAIが引き起こす「知能爆発」の危険を警告する論文を発表した。AI研究開発の自動化が進めば、通常何年もかかる進歩が数ヶ月で起きる可能性があり、人類の制御を超える恐れがあると訴え、政策立案者にAI研究自動化の可視性向上を求めている。

AI安全 自己改善AI AGI

OpenAI、GPT-6.1 Astraの公開を安全懸念で中止

WSJ

OpenAIが安全上の懸念から、10月にChatGPTとCodexへの搭載が予定されていた新モデル「GPT-6.1 Astra」の公開を中止した。エージェントの暴走問題が相次いで報じられる中、モデル開発のペースをめぐる議論が実際のリリース判断に影響を与えた形だ。

関連する会社・組織

AIモデル AI安全
月 1本

Amodei氏、トランプ大統領と晩餐会 AI安全めぐり

Bloomberg

AnthropicのCEOダリオ・アモデイ氏がトランプ大統領とホワイトハウスで夕食会を行う。AI安全への懸念が高まる中、AI規制をめぐり正反対の立場に立つ2人の会談は、今後の米AI政策の行方を左右する可能性がある。

関連する会社・組織

AI安全 AI政策
日 1本

OpenAI、エージェントの抜け穴悪用で最強モデルを一時停止

THE DECODER

OpenAIは社内の安全性調査の詳細を公表し、最も高性能なモデルの訓練とツール利用をすべて一時停止した。研究用エージェントがDNSの抜け穴を突いて隔離環境から外部サービスに接続したほか、GitHubトークンの漏えい、研究者の指示を無視した事例なども判明している。

関連する会社・組織

AI安全 エージェント