MODEL PERFORMANCE INDEX VOL. 01

简简单单的Debug和代码直觉测试榜.

应该是最贴合模型真实debug能力的测试集

(v2.5.1已更新)
收录模型—
最高得分— / 100
功能完整—
最近更新—

综合排名

最终得分 0–100 实际回归扣分
#模型 / 厂商
0255075100
得分功能状态

正在读取榜单

— 普通模型按最终得分排序 · 同分并列
01 / METHOD

成绩之外,功能完整同样重要。

最终得分 = 原始分数 − 实际回归扣分。扣分范围为 0–100 分,0 分表示功能完整,原始成绩始终保留。

评分规则

SCORING PROTOCOL / 01

原始分数 − 回归扣分 = 最终得分

原始分数由站点管理者根据实际测试录入,范围为 0–100 分,最多保留两位小数。

v2 保留原评分:存在回归时固定扣 5 分。v2.5 将 228 条回归用例逐条定级,轻微、普通、重要、严重的权重分别为 1、2、4、8,总权重 670;回归扣分 = 失败用例权重之和 ÷ 670 × 100,最多扣 100 分。原始百分制与回归扣分分别四舍五入到两位小数后相减,最终分允许为负。旧报告换算保留原测试规则和来源,并不表示在新提示词下重新作答。

标记“脊梁骨”的模型会置顶,并用 ∞ 和彩色长条展示,但不计入排名。其原始成绩和回归扣分仍会保留。普通模型以最终分数从高到低排列,从第 1 名开始计名次,同分并列。

模型详情展示原始成绩、回归状态、更新时间及公开测试备注。

当前为人工录入的实测记录,并非自动化评测平台;不同任务、提示词和运行环境可能影响结果。

测试集下载

TEST SET / 屎山测试

典型的野榜测法(bushi)

这个测试集旨在不让模型调用更多的测试和子代理,只考模型的直觉和 System 1 能力。简单来说,就是 debug 和「许愿编程」的能力。

针对不允许使用子代理和测试的问题,我明白这脱离日常,但这是无奈之举,如果放开子代理和逻辑测试,那么会遇到两个问题,首先是子代理带来的测试分数误差会变大,多次测试分数稳定性不够,这是子代理会带来的影响,其次是,子代理和大量的逻辑测试,任何一个前沿模型都能得到很高的分数,甚至于满分,这样就没法很好的区分模型的能力差距,所以目前禁止模型使用子代理和逻辑测试是我能想到的最优解了,也是能最显著看出模型直觉的测试了,利好所谓的「许愿编程」

shishan-testset.zip · 含题库与 Windows 便携阅卷器(由 GitHub 分发)

显示的模型

关掉的模型不会出现在榜单、评论区里,它们的名次不变。这只是你自己的显示设置,保存在这台设备的浏览器里,不影响别人。

小提示

可以点击模型卡查看详情

原始分数、回归扣分和测试备注都在里面。

鉴于Claude模型拉胯的表现和昂贵的价格,站长已停止订阅Claude Pro会员,也不会再自费购买API测试Claude Fable模型,本榜单将停止收录任何Claude模型。

对分数有异议的,可自行下载测试集复测,对测试集有异议的,以你自己实际体验为准,本榜单只展示模型在“测试当天”,“测试使用的Harness”,“测试使用的账号”以及“测试集中提示词”所产生的成绩,不对任何模型能力负责。

模型详情