Supabase Evals
2026-10-10 · 框架官方评测 · 23 tasks × 3 runs
- 测什么
- 模型在 Supabase 上做认证、数据库、RLS、存储和排障。23 道题，每题跑 3 次，共 69 次检查。
- 怎么测
- Supabase 官方 evals。基线是 no-skills：不加载 supabase 与 supabase-postgres-best-practices。对照臂加载这些 Skills。两列分开，不合成一个通过率。
- 分数含义
- 百分比是 69 次检查里的通过次数。名次按无 Skills 的基线排列。变化量是有 Skills 减去基线，单位是百分点，可以为 0 或负数。
- 注意
- Supabase 自己出题、自己评分。测的是模型加上 Supabase，不是框架之间的高低。只有 6 个模型、23 题。厂商既是题目作者也是评分方。
- 更新
- 2026-10-10 从 supabase/evals 的结果汇总。结果文件没有单独的提交版本号，版本记为 23 题 × 3 次。
基线榜
| # | 模型 | 基线 |
|---|---|---|
| 1 | Claude Opus 5.5 high · Claude Code | 91.3 |
| 2 | Kimi K3 OpenCode | 84.1 |
| 3 | Grok 4.7 high · Grok | 78.3 |
| 4 | GPT 6 Sol medium · Codex | 78.3 |
| 5 | Claude Sonnet 5 high · Claude Code | 75.4 |
| 6 | GPT 6 Luna medium · Codex | 63.8 |