Content keyword · Concept
ベンチマーク
AIモデルやシステムの能力を共通条件で測定・比較する評価方法。
- 系統
- 用語
- 実践記事
- 0件
- ニュース
- 35件
Practice
実践記事
ベンチマークを仕事でどう使うか、実際に試した記事です。
News
ニュース
ベンチマークに関するニュースを、新しい順に確認できます。
AIは人間のように「考える」のか。知能の測り方
Quanta Magazine
コンピューター科学者のメラニー・ミッチェルが、AIは人間のように「思考」も「推論」もしていないと指摘し、機械の認知を測るより良い方法を模索すべきだと語る。知能の定義を問い直す示唆に富んだインタビュー。
ドイツ連合、英独ベンチマークで上位のオープン30BモデルSoofi Sを公開
THE DECODER
ドイツの研究連合が、ドイツテレコムのクラウド上で学習したオープンモデルSoofi S 30B-A3Bを公開した。英語とドイツ語の性能を保ちながら、推論時に一部のパラメータだけを動かす構成を採用している。
企業の57%がAIエージェントの自信満々の誤回答を経験—信頼性に課題
VentureBeat
調査で、企業の57%がAIエージェントが自信満々に誤った回答をする場面を目撃していることが判明。エージェンティックコンテクスト層の導入が解決策として注目される。
AIエージェント経営テスト、500日で利益残せたのは3モデルのみ
THE DECODER
プリンストン大の研究チームが開発したCEO-Benchで、AIエージェントに500日間のスタートアップ経営をシミュレートさせたところ、ほとんどのモデルが破産。生き残ったのは3モデルのみで、単純なルールベースの戦略が最も優秀だった。