Android Bench
2026-10-06 · 移动端
2.0 长程
- 测什么
- 跨模块、耗时很长的 Android 改造：完整功能，而不是单点修改。
- 怎么测
- developer.android.com/bench 的 Long-horizon task results。每一行是模型加 agent harness。列是通过率、CI、完成度、平均耗时和平均成本。
- 分数含义
- 百分比是 30 个任务的平均通过率。完成度是失败时离做完还有多近。耗时单位是小时，成本是一整次跑分。
- 注意
- 整体通过率不高，置信区间很宽，第一名 18.7–47.3 和第二名 13.3–42.0 重叠。1.0 仍完整保留在本页，作为历史版本，不再作为场景的当前列。
- 更新
- 页面最新的 agent 结果写着 2026-10-06。本页于 2026-10-10 与 #long-horizon-task-results 逐行核对，10 行全部收录。
完整榜单
10
全部
| # | 模型 | Agent | 通过率 % | CI | 完成度 % | 平均耗时 h | 平均成本 $ |
|---|
| 1 | Claude Opus 5.5 | claude-code | 32.7 | 18.7–47.3 | 84.7 | 15.2 | $215.4 |
| 2 | GPT 6 Astra | codex | 28.0 | 13.3–42.0 | 82.2 | 7.9 | $375.7 |
| 3 | Claude Fable 5.1 | claude-code | 22.7 | 10.7–36.0 | 82.4 | 22.2 | $492.6 |
| 4 | GPT 6 Sol | codex | 18.0 | 7.3–29.3 | 70.2 | 6.0 | $93.4 |
| 5 | Qwen3.8 Max | qwen-coder | 14.0 | 4.7–24.0 | 74.3 | 47.2 | $260.2 |
| 6 | Kimi K3 | kimi-code | 12.0 | 3.3–22.0 | 72.8 | 66.2 | $418.3 |
| 7 | GPT 6 Luna | codex | 10.7 | 4.0–17.3 | 53.2 | 6.2 | $5.3 |
| 8 | Gemini 3.8 Flash | antigravity-sdk | 8.0 | 3.3–13.3 | 47.4 | 12.1 | $34.5 |
| 9 | Gemini 3.7 Flash | antigravity-sdk | 7.3 | 1.3–14.7 | 50.1 | 9.9 | $26.0 |
| 10 | Claude Sonnet 5 | claude-code | 6.7 | 1.3–13.3 | 59.8 | 14.7 | $283.7 |