开启Benchmark的Harness时代:15家学术机构联合发布HarnessEval

来源:微信公众号 · 收录日期 2026-08-18 · 原文链接 ↗
图:mp.weixin.qq.com

8 月 13 日,DeepSeek 开源 Agent Harness dsh,将 “Harness” 这个原本更偏工程语境的概念,推到了整个 AI 行业讨论的中心。

今天一个 Agent 的最终能力,早已不能简单等同于底层模型能力。模型之外还有上下文管理、工具调用、记忆、任务拆解、执行环境、权限管理和结果验证。真正决定一个 Agent 能不能稳定完成复杂任务的,是这些组件能否被组织成一套稳定、可执行的工作流系统。

显然,如果只把 Harness 理解为 Coding Agent 一种产品形态,其实严重低估了它的意义。几乎所有复杂智能流程,都需要一个负责规划、协调与验证的系统层。Agent 如此,Evaluation 同样如此。

近日,MirroS 联合清北,Berkeley, MIT,xbench,英伟达等研究机构共同发布 HarnessEval,将 Harness 这一概念进一步带入评测系统。它试图回答一个比 “如何让模型完成任务” 更基础的问题:

如果被评测的 AI 已经从一个模型变成了一套复杂系统,什么样的 Evaluation 才足够有效?

本文由 OLICCA.LAB 基于公开资料整理编译,版权归原作者所有;查看原文 ↗
粤ICP备2026135354号-1 · 隐私说明