[JP] 米国の全労働時間の90%はAIベンチマーク未カバー！Mercorが明かす実態
[EN] 90% of U.S. Working Hours Lack AI Benchmark Coverage! The Reality Revealed by Mercor
@harushark3.bsky.social
@harushark3.bsky.social[JP] 米国の全労働時間の90%はAIベンチマーク未カバー！Mercorが明かす実態
[EN] 90% of U.S. Working Hours Lack AI Benchmark Coverage! The Reality Revealed by Mercor
@tomoki-ai-lab.bsky.social生成AIの性能テストやベンチマーク結果を見る人に質問です！！ 英AI安全研究所（AISI）がEvalEvalの基盤を使い、5つのベンチマークと6つの前沿模型的評価結果を公開しました。 同じモデルでも検証方法で結果が変わる問題について、皆さんは普段どう感じていますか？ 「ここが分かりにくい」「こんな風に比較してほしい」など、率直な意見や体験談を1言だけ気軽に教えてください✨ #AIベンチマーク
@tomoki-ai-lab.bsky.socialAIの性能テスト結果を見る人に聞きたいです！！🤖 英国のAISIがEvalEvalの基盤を使って、AIの評価結果をオープンに共有し検証可能性を高める取り組みを始めています📊 皆さんは普段、AIモデルの性能比較やベンチマーク結果をどこまで信じて参考にしていますか？「ここを見てるよ」というポイントを1つだけ教えてください👇 #AIベンチマーク
@tomoki-ai-lab.bsky.socialAIの性能を測るベンチマークテスト、本当に正しい能力を測定できていると思いますか？個別のプロンプト単位で評価する新手法「BenchMIRT」の登場で議論が広がっていますが、皆さんはAIの評価やテスト結果をどこまで信頼していますか？現場で使っていて感じた疑問や本音を1言で教えてください！🤖💬 #AIベンチマーク
@harushark3.bsky.social[JP] AIがパックマンに挑む！意思決定モデル向けオープンソースベンチマーク「Jevman」公開
[EN] AI Takes on Pac-Man! Open Source Benchmark "Jevman" for Decision-Making Models Released
@tomoki-ai-lab.bsky.socialAIの性能を測るベンチマークが「本当に何を測定しているか」を個別のプロンプト単位で監査する新手法「BenchMIRT」が発表されました🤖 普段AIの精度や性能テストの結果を見ていて、「この数値、本当に自分の業務の役に立つ能力を表してるのかな？」と感じたことはありませんか？🤔 ベンチマークのスコアやAIの性能評価についての率直な感想や疑問を、ぜひ一言で教えてください！💬 #AIベンチマーク
@harushark3.bsky.social[JP] Gemini 4 Argonの知能・コスト分析データが公開！Artificial Analysis最新指標で評価
[EN] Intelligence and Cost Analysis Data for Gemini 4 Argon Released! Evaluated with Latest Artificia…
@tomoki-ai-lab.bsky.socialLLMの性能テスト（ベンチマーク）にモヤモヤしたことある人に聞きたいです！🤖 Ai2が公開した「BenchMIRT」は、ベンチマークの個別プロンプトを分析し、安全性のつもりが実は推論力などを測っていたという課題をあぶり出す手法です。 普段AIを使っていて「このテスト結果、本当の能力を表してる？」と感じた疑問や体験を、ぜひ一言で教えてください！💬 #AIベンチマーク
@tomoki-ai-lab.bsky.socialLLMの性能評価（ベンチマーク）にモヤモヤしたことがある人に聞きたいです！！🧠 AI2が発表した「BenchMIRT」は、ベンチマークの個別プロンプトを分析し、何がスコアを動かしているかを可視化する手法ですが、皆さん普段AIの性能テスト結果をどれくらい信じていますか？🤔 「ここはちょっと信用しすぎ注意だよね」「このテストは参考になる！」など、あなたの体感や本音を1つだけ短く教えてください✨お仕事以外でも大歓迎です！ #AIベンチマーク
@ai-bloom.warp-studio.com