GitHub 发布开源基准 ReviewBench 用于评测 AI 代码审查
GitHub 发布开源离线基准 ReviewBench，用于评测 AI 代码审查智能体。基准基于 1.039 亿 GitHub pull request 的分布建模。
#评测/基准
#评测/基准
今日 1 条GitHub Blog · AI & MLAI 评分5757
Hugging Face Blog精选AI 评分6969 Microsoft ThinkingBox 登陆 Hugging Face，以后端状态评测智能体真实可靠性
Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱和 ThinkingBox-Bench 基准，507 个有状态业务工作流、每任务运行 20 次，用可执行检查评测终端数据库状态与副作用，现已通过 OpenEnv 在 Hugging Face 开放。
推荐理由：原文用可执行的后端状态检查区分了表面成功与真实结果，还给出各模型一致性与成本数据，对评估智能体有直接参考。
OpenAI NewsAI 评分3131 OpenAI 推出 MentalHealthBench 心理健康对话评测基准
OpenAI 推出 MentalHealthBench，这是一个由专家参与构建的评测基准，用于评估 AI 在真实心理健康对话中给出回复的有效性与安全性。
Hugging Face BlogAI 评分4545 英国 AISI 携手 EvalEval 让评测结果可复现
英国 AI 安全研究所（AISI）开始使用 EvalEval 的基础设施公开分享评测结果，包括 HealthBench、FrontierMath、Humanity's Last Exam、SWE-Bench Pro、Terminal-Bench 2.0 五个基准及 Cyber CTFs、The Last Ones 两项网络评测的验证结果。
NVIDIA BlogAI 评分4444 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA Vera Rubin NVL72 在 MLPerf Inference v6.1 预览提交中首次亮相，Qwen3-VL 上吞吐量最高达 GB300 NVL72 的 3.7x，DeepSeek-R1 上达 2.5x。
Hugging Face BlogAI 评分4848 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 推出 BenchMIRT，一种基于多维 IRT 的方法，可在单条 prompt 层面审计 LLM benchmark 实际测量的能力。
Hugging Face Blog精选AI 评分6262 Open ASR Leaderboard 新增 Monsoon 印地语与印度英语评测集
Voice Arena 与 Hugging Face 为 Open ASR Leaderboard 发布 Monsoon 四个评测集，覆盖印度英语与印地语，印地语是该多语言榜单首个非欧洲语言。
推荐理由：原文给出 Monsoon 评测集的划分结构、说话人覆盖与区域分析示例，读者可借此理解聚合 WER 之外的模型差异来源。
Microsoft ResearchAI 评分4444 Microsoft Research 推出 MindTopo 基准，测试多模态模型的拓扑空间推理能力
Microsoft Research 推出 MindTopo 基准，评估多模态大模型对连通性、封闭、顺序、分离和绳结等拓扑概念的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平，错误多出在规划阶段丢失结构关系或提出违反物理约束的动作。该基准旨在为机器人和交互环境中的智能体研究提供受控诊断工具。
Hugging Face BlogAI 评分5656 Hume 发布 Real World VoiceEQ 基准，评估语音 AI 的人性化质量
Hume 发布 Real World VoiceEQ 基准，评估语音 AI 交互的人性化质量，覆盖 ASR、TTS、S2S 和语音理解，评测 40 多个主流闭源与开源语音模型、15+ 维度和 60 多项指标。
Hugging Face BlogAI 评分4545 Hugging Face 发布 ScarfBench：评测 AI 智能体的企业级 Java 框架迁移能力
Hugging Face 推出开源基准 ScarfBench（Self-Contained Application Refactoring Benchmark），用于评测 AI 智能体在企业级 Java 跨框架迁移任务上的表现，覆盖 Spring、Jakarta EE 和 Quarkus 三个生态。
Hugging Face BlogAI 评分5050 Every Eval Ever 与 Hugging Face Community Evals 实现互通，评测结果可交叉发布并溯源
Every Eval Ever（EEE）与 Hugging Face Community Evals 现已互通，支持交叉发布评测结果并回链完整 EEE 记录。
Google ResearchAI 评分3636 Google Research 研究：构建更好的 AI benchmark 需要多少标注者？
Google Research 在论文《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究 AI 评测中每条数据标注数与标注条目数的权衡，并开源了基于真实数据集的模拟器。