Hacker News· shubhamjoshipro·· 2 小时前精选AI 评分72
Show HN:一个在 AI Agent 完成任务后对比整个数据库的基准
Show HN: A benchmark that diffs the whole database after an AI agent's task
AI 导读
作者发布 software-world-model 基准,让计算机使用型 Agent 在浏览器里操作 Invoice Ninja、Dolibarr、Odoo 17 和 Odoo 18 等自托管业务应用,每个任务从同一数据库快照开始,结束后对整个数据库做 diff,给出成功、附带损伤、不可逆改动、虚假完成四种判定。
推荐理由
同一批任务跨 Odoo 17 与 18 对比,把副作用和不可逆改动从成功率里拆出来单独统计。
来源:Hacker News · github.com