跳到正文
Hacker News· shubhamjoshipro·· 2 小时前精选AI 评分72

Show HN:一个在 AI Agent 完成任务后对比整个数据库的基准

Show HN: A benchmark that diffs the whole database after an AI agent's task

AI 导读

作者发布 software-world-model 基准,让计算机使用型 Agent 在浏览器里操作 Invoice Ninja、Dolibarr、Odoo 17 和 Odoo 18 等自托管业务应用,每个任务从同一数据库快照开始,结束后对整个数据库做 diff,给出成功、附带损伤、不可逆改动、虚假完成四种判定。

推荐理由

同一批任务跨 Odoo 17 与 18 对比,把副作用和不可逆改动从成功率里拆出来单独统计。

来源:Hacker News · github.com