記事 AI・生成AI プリンストン大調査で判明、AI選定を誤らせる「ベンチマーク」の大問題 プリンストン大調査で判明、AI選定を誤らせる「ベンチマーク」の大問題 2024/09/01 2 生成AI市場では、単一の大規模言語モデルではなく、複数のモデルで構成されるAIエージェントの活用を試みる動きが活発化している。単一モデルでは難しいWebタスクやコーディングタスクなどの自動化が進められているのだ。これに伴い、AIエージェント用のベンチマークも続々と登場し、注目を集めている。しかし、AIエージェントやそもそものLLM、AIモデルのベンチマークにはさまざまな問題が内在するとの指摘もなされている。どのような問題があるのか、プリンストン大学の研究チームによる分析を紹介しよう。
記事 最新ニュース カナダ第2四半期ＧＤＰ、2.1％増と予想上回る 9月利下げ観測は変わらず カナダ第2四半期ＧＤＰ、2.1％増と予想上回る 9月利下げ観測は変わらず 2024/08/31 出典：ロイター
記事 最新ニュース 新米の作柄、主力産地「やや良」＝新潟「平年並み」、９月本格流通―農水省 新米の作柄、主力産地「やや良」＝新潟「平年並み」、９月本格流通―農水省 2024/08/30 出典：時事通信社
