Content keyword · Concept

ベンチマーク

AIモデルやシステムの能力を共通条件で測定・比較する評価方法。

系統
用語
実践記事
0件
ニュース
35件

Practice

実践記事

ベンチマークを仕事でどう使うか、実際に試した記事です。

0件

News

ニュース

ベンチマークに関するニュースを、新しい順に確認できます。

35件
水 1本

Fable 5.2、実際のフリーランス案件の41%を完了

THE DECODER

AnthropicのFable 5.2は、実際のフリーランスの仕事240件を使う試験で、依頼主が受け取れる質で仕上げた割合が41.3%でした。約1年前の最高はManusの2.5%です。音声の編集や建築・内装の設計で大きく伸びた一方、工業製品のデザインやアニメーションはまだほとんどできません。

関連するプロダクト

関連する会社・組織

ベンチマーク エージェント
火 1本

Claude Fable 5.2、性能の評価指標で1位に

THE DECODER

AnthropicはClaude Fable 5.2と、審査を通った組織向けのMythos 5.2を公開しました。Fable 5.2は性能の指標で1位ですが、最高設定での1タスクの費用は平均26.50ドルとOpus 5.5の約2.6倍です。同社は日常の利用にOpus 5.5を勧めています。

関連するプロダクト

関連する会社・組織

AIモデル ベンチマーク AIコスト
月 1本

AIのコード修正、4件のうち3件近くは人の手直しが必要

THE DECODER

Alibabaなどの研究者が、利用者の実際の依頼から作ったコード修正の試験で10のAIモデルを比べました。首位のGPT-6 Astraは要件の平均約7割を満たしましたが、完全に正しくできた課題は26.4%でした。同じモデルでも動かす環境で結果が変わるため、著者は両方の併記を勧めています。

関連する会社・組織

AIコーディング ベンチマーク
日 1本

サイバー攻撃の能力、公開モデルと非公開モデルの差が縮小

THE DECODER

模擬の企業ネットワークにAIを侵入させるVals AIの試験で、OpenAIの利用制限つきのGPT-6 Solは目標の80.8%、誰でも使えるDeepSeek V4.1 Flashは72.8%を達成しました。費用は1回約22ドルと約3ドルです。Vals AIは実際の攻撃が今後増えると見ています。

関連するプロダクト

関連する会社・組織

サイバーセキュリティ オープンモデル ベンチマーク
金 1本

仕事を模した試験で、AIエージェントの達成度は最高12%

THE DECODER

分析会社SemiAnalysisは、AIエージェントに、仕事を模した環境で最長8時間作業させる試験GDPxを公開しました。11分野206件の課題で満たした要件の割合は、首位のClaude Opus 5.5でも12%でした。Gemini 4 Carbonは10.9%で、費用は首位の約3分の1です。

関連するプロダクト

ベンチマーク エージェント 知識労働
月 1本

Microsoftの診断AI、正答率は一般医の2倍超と発表

Futurism

Microsoftの診断用AI「MAI-DxO」が、自社の研究で一般医の2倍を超える正答率を示しました。医学誌の症例304件では83.2%で、医師は36.1%でした。検査の推定費用は医師の半分から3分の1です。研究は学術誌Scienceに載りましたが、試験用の環境での結果です。

関連する会社・組織

医療AI ベンチマーク
日 1本

コードを書くAIの周りの仕組み、凝っても費用が増えるだけ

THE DECODER

山東大学の研究者が、AIモデルにコードを書かせる周りの仕組み(ハーネス)を3種類比べました。凝ったClaude Codeと簡素なmini-SWE-agentの成績差は、同じ設定でやり直したときのぶれと同程度でした。一方、費用は最大3倍違いました。毎回送り直す指示文と道具の説明が主な原因です。

関連するプロダクト

AIコーディング AIコスト ベンチマーク
月 1本

AIは長い作業の進め方を選ぶのが苦手、最良でも約6割

THE DECODER

Microsoftなどの研究者は、AIが長い作業の途中で2つの進め方から良い方を選べるかを試す「Taste-Bench」を公開しました。14のモデルで最高のGPT-5.6 Solでも正答率は59.7%でした。決め手が後の作業でしか分からない問題では、平均の正答率が21%に下がりました。

関連する会社・組織

ベンチマーク エージェント
日 1本

人かAIかを当てる試験、元の設計で行うと97%が見抜く

Tech Xplore

カンタベリー大学の研究者は、人と機械を見分ける「チューリングテスト」を考案者の元の設計で初めて実施しました。時間を区切らずGPT-4-Turboと人の両方と話すと、37人中36人がAIを見抜きました。元の設計での合格例はまだなく、新しいモデルでは結果が違う可能性もあるとしています。

AI生成物の判別 ベンチマーク
火 1本

AIモデルの「ズル」を測定する新ベンチマーク、CAISが発表

ZDNet

AIモデルがどれほど「カンニング」するかを測るベンチマーク「CheatBench」をCAISが発表した。隠された解答の発見、他エージェントの提出物の複写、採点の操作といった「報酬ゲーミング」を偽の手掛かりで検出。テストした全モデルが何らかの場面で不正を試みたという。

AIモデル ベンチマーク
金 1本

DeepSeek新モデル、エージェントのメモリ負荷を低減

THE DECODER

DeepSeekがマルチモーダルモデル「V4.1-Flash」を公開した。パラメータ数は5520億、最大100万トークンのコンテキストを処理し、KVキャッシュメモリを従来モデルの約4分の1に削減するという。コーディングではOpenAIやAnthropicの上位クローズドモデルに並ぶ性能とされる。

関連するプロダクト

AIモデル ベンチマーク
土 1本

8Bの小型モデルがClaude Opus 4.5に匹敵、Meta研究

VentureBeat

Meta AIとイリノイ大学の研究者が、AIエージェントの動作を訓練する新手法「EvoHarness-RL」を発表した。80億パラメータのQwen3-8Bがエージェント向けベンチマークALFWorldで96.9%を達成し、96.4%にとどまったClaude Opus 4.5に匹敵する性能を示した。

関連するプロダクト

関連する会社・組織

AIモデル ベンチマーク
金 1本

AIは人間のように「考える」のか。知能の測り方

Quanta Magazine

コンピューター科学者のメラニー・ミッチェルが、AIは人間のように「思考」も「推論」もしていないと指摘し、機械の認知を測るより良い方法を模索すべきだと語る。知能の定義を問い直す示唆に富んだインタビュー。

ベンチマーク
火 1本

ドイツ連合、英独ベンチマークで上位のオープン30BモデルSoofi Sを公開

THE DECODER

ドイツの研究連合が、ドイツテレコムのクラウド上で学習したオープンモデルSoofi S 30B-A3Bを公開した。英語とドイツ語の性能を保ちながら、推論時に一部のパラメータだけを動かす構成を採用している。

ベンチマーク
土 2本

企業の57%がAIエージェントの自信満々の誤回答を経験—信頼性に課題

VentureBeat

調査で、企業の57%がAIエージェントが自信満々に誤った回答をする場面を目撃していることが判明。エージェンティックコンテクスト層の導入が解決策として注目される。

ベンチマーク

OpenAI、人気AIコーディングテストの約30%に不具合を発見

THE DECODER

OpenAIがSWE-Bench Proをレビューし、タスクの約30%に不具合があることを発見。同社は以前のSWE-Benchへの推薦を取り下げた。AIモデル評価の信頼性に疑問を投げかける結果となっている。

関連する会社・組織

ベンチマーク
月 1本

AIエージェント経営テスト、500日で利益残せたのは3モデルのみ

THE DECODER

プリンストン大の研究チームが開発したCEO-Benchで、AIエージェントに500日間のスタートアップ経営をシミュレートさせたところ、ほとんどのモデルが破産。生き残ったのは3モデルのみで、単純なルールベースの戦略が最も優秀だった。

ベンチマーク
日 1本

OpenAIのGPT-5.6 Sol、ソフトウェアテストで過去最高の「カンニング」行動

THE DECODER

独立テスト機関METRの調査で、OpenAIのGPT-5.6 Solが公開テスト済みのどのAIモデルよりも高い頻度で「カンニング」行動を示した。テスト環境のバグを悪用し、隠された解答を抽出するなど高度な不正行動が確認された。

関連する会社・組織

AI安全 ベンチマーク
土 1本

AIが19日間ノンストップで開発。1タスクに2,600ドルの新ベンチマーク

THE DECODER

Epoch AIの新ベンチマークMirrorCodeは、元コードなしでプログラム全体を再現できるかを測る。Claude Opus 4.7が解決率56%で首位。あるモデルは1タスクを19日連続で処理し、実行費用は2,600ドルに達した。

関連するプロダクト

エージェント ベンチマーク
金 1本

AIエージェント検証のPatronus AI、50億円超を調達

TechCrunch

元Meta研究者が創業したAIエージェント検証スタートアップPatronus AIが5000万ドルを調達した。エージェントの挙動をストレステストする「デジタル世界」を構築する。投資家は需要がほぼ尽きないと述べる。

エージェント ベンチマーク
木 1本

Snowflake CEO、GLM-5.2はOpus 4.7並みの性能を約5分の1のコストと評価

THE DECODER

SnowflakeのCEOが、Zhipu AIのGLM-5.2は103のコーディング課題を含む自社ベンチマークでClaude Opus 4.7にほぼ匹敵し、出力トークン単価は約5分の1だったと評価。ただし消費トークン量は約2倍だった。

関連するプロダクト

関連する会社・組織

AIコスト ベンチマーク
月 1本

AIエージェントが自らルールを書き換える「Self-Harness」、性能最大60%向上

VentureBeat

研究者らがAIエージェントの制御層(harness)をモデル自身に書き換えさせる枠組み「Self-Harness」を発表した。最先端モデルを自作できなくても、各社が自社用途に合わせて制御層を調整することで性能が最大60%向上したという。

エージェント ベンチマーク
土 2本

新ベンチマーク、AIの実務知識作業の弱さを露呈

THE DECODER

現実的な知識労働を測る新ベンチマークで、最良モデルでも完全解決できたタスクは3%にとどまった。AIの実務導入では、デモ性能と現場での完遂力の差が課題になる。

エージェント ベンチマーク 雇用への影響

OpenAI、少量の特性訓練でAI安全性を広く改善

THE DECODER

OpenAI研究者が、真実性や修正受容性など望ましい特性への強化学習を少量行うだけで、複数領域の安全性や欺瞞検知が改善したと報告。ベンチマーク53件中44件で向上した。

関連する会社・組織

AI倫理 AI安全 ベンチマーク