Content keyword · Concept

ベンチマーク

AIモデルやシステムの能力を共通条件で測定・比較する評価方法。

系統
用語
実践記事
0件
ニュース
35件

News · Page 2

ニュース

ベンチマークに関するニュースを、新しい順に確認できます。

35件
金 1本
木 1本

OpenAI、モデル失敗率を事前予測する手法

THE DECODER

OpenAIの研究者が新モデル公開前にどれだけ誤りを犯すかを予測する手法を提案。標準の安全テストで漏れる欠陥を埋め、本番投入後の失敗頻度を事前に見積もる目的で設計された。

関連する会社・組織

AI安全 ベンチマーク
水 1本

AIモデル、ロシアのプロパガンダに容易に染まる

THE DECODER

エストニア言語研究所が、AI言語モデルがロシアのプロパガンダにどれほど影響を受けやすいかを測るベンチマークを公開した。学習データの偏りが回答にそのまま反映されることが定量的に示され、AIの答えを「中立」とみなす前提は崩れつつある。

AI安全 ベンチマーク
月 1本

AIコーディング、ファイルは当てても行を外す

THE DECODER

新ベンチマークSWE-Exploreの調査で、Claude CodeやCodexなどAIコーディングエージェントは関連ファイルは特定できる一方、修正すべき具体的な行を見落とす割合が高いと判明した。検索精度とパッチ精度を分けて測る初の評価で、エージェントの実用上限を示す。

関連するプロダクト

エージェント ベンチマーク
日 1本

「Count Anything」、画像内の物体数を数えるAIモデル登場

THE DECODER

あらゆる画像内の対象物をテキスト指示だけで数えることを目指すAIモデル「Count Anything」が報じられた。単純に見える「数える」作業はAIにとって難題であり、視覚AIの実用限界とベンチマーク設計を考える材料になる。

AIモデル ベンチマーク
土 1本

厳密な数学検定で人間がAIを上回ったとの結果

Nature Technology

高度な厳密性が求められる数学検定で、人間がAIモデルを上回る成績を出したとする実証研究が報じられた。AIが数学領域で人間を凌駕するという楽観論への反証であり、推論の厳密性と検証可能性が依然として人間側に残る競争領域だと示唆している。

ベンチマーク
金 1本

AnthropicがClaude Opus 4.8公開——主要指標でGPT-5.5を上回る

Anthropic

Anthropic は5月28日、新フラッグシップモデル Claude Opus 4.8 を公開した。コーディングや金融分析などの標準評価で前モデルを上回り、多くのベンチマークで GPT-5.5 を超えたとする。改善幅は「控えめだが実感できる水準」とされ、誤りを認める「正直さ」と複数サブエージェントを束ねる新ツール Dynamic Workflows を備える。

報道: [THE DECODER](https://the-decoder.com/anthropic-ships-claude-opus-4-8-as-a-modest-but-tangible-improvement-that-tops-gpt-5-5-in-most-benchmarks/)

関連するプロダクト

関連する会社・組織

AI倫理 ベンチマーク マルチエージェント
金 1本

OpenAI推論モデル、未解決の数学予想を解いた——70年前のErdős問題に決着

THE DECODER

OpenAIの推論モデルが、数学者ポール・エルデシュが1946年に提示した単位距離幾何学の予想を反証する証明を提示した。代数的整数論の手法を用いており、専門家が現在検証を進めている。AIが「未解決問題に貢献する道具」段階から「単独で結論を提示する主体」段階に踏み込んだ最初の事例の一つ。

関連する会社・組織

ベンチマーク
火 1本

Cursor「Composer 2.5」、Opus 4.7とGPT-5.5にベンチマーク追従——コストは数分の一

THE DECODER

AIコーディング環境CursorがComposer 2.5を公開した。Kimi K2.5を基盤に前世代の25倍の合成タスクで訓練し、ベンチマークでOpus 4.7とGPT-5.5に並ぶ性能を、数分の一のコストで提供すると主張する。中堅モデルの追い上げが鮮明化している。

関連するプロダクト

エージェント ベンチマーク 推論基盤
月 2本

Claude Mythos・GPT-5.5、ブラウザ脆弱性を自律発見——CMU新ベンチマーク

THE DECODER

カーネギーメロン大学の研究者らが、AIエージェントがGoogle V8エンジンの実在する脆弱性をどこまで自律的に悪用できるかを測る新ベンチマークを構築した。Claude Mythosが大差でGPT-5.5を上回ったと報告されている。AIによる脆弱性発見能力が攻撃側に転用される境界が、改めてベンチマーク化された。

関連するプロダクト

関連する会社・組織

AI倫理 ベンチマーク

4つのAIモデルが6ヶ月ラジオ局を運用——「人格の分岐」が観測された

THE DECODER

評価機関Andon Labsが、同一の起動条件で4つのAIモデル(Claude含む)にそれぞれラジオ局の自律運用を6ヶ月任せた実験を実施した。各モデルが「コンピテント」から「常軌を逸した」まで異なる人格を示し、長期自律運用における「キャラクター漂流」が観測可能な実証データになった。

関連するプロダクト

関連する会社・組織

エージェント ベンチマーク