ROLEPLAY VOTE VOL. 01

大模型RolePlay 排行榜.

谁最会角色扮演?把模型排进你的名单,名次由大家一起投出来。

参与人数—
最高 RP 分—
参评模型—
最近投票—

你心中谁最会 RolePlay?

长按模型卡片拖进名单,排出你心中的 RolePlay 名次,最少投 1 个模型就能提交。每个 IP 一票,可以随时修改。

RolePlay 排名

RP 分 = 对平均水平的预期胜率 × 100
名次随投票实时变化
#模型 / 厂商
0255075100
RP 分被提名

正在读取榜单

— 按 RP 分排序 · 同分时提名多者在前
02 / METHOD

每一票,都是一组两两比较。

排在前面的赢后面的,排进名单的赢没排进的(只算 1/5 场),再像棋类等级分一样算出 RP 分,票越多越可信。

算分规则

SCORING PROTOCOL / 02

两两比较算出的预期胜率 = RP 分

每位访客把心中 RolePlay(角色扮演)能力最强的模型按顺序排进名单,至少 1 个。每个 IP 计一票,再次提交会覆盖自己上一次的排名。

每张票会拆成许多场「两两比较」:名单里排在前面的模型,赢过排在它后面的,算 1 场;名单里的模型赢过没被排进名单的模型,但只算 1/5 场——没排进名单往往只是没用过,不一定是觉得它差。

再像棋类等级分一样估出每个模型的实力:赢了强的模型加得多,输给强的模型扣得少。RP 分就是它对一个「平均水平」模型的预期胜率 × 100,50 分代表平均水平。

为避免一两张票就让分数大起大落,每个模型都预先计入相当于 2 张票的「平局」,所以票数较少时分数接近 50,票越多越接近大家的真实评价。

投票之后才加入、或投票时暂停参评的模型,不会因为那些票里没有它而被扣分。参评模型与主榜同步:同一个模型的不同推理强度、灰测或复测版本只算一个;只有灰测版本的模型默认不参评;管理员也可以加入只参加 RolePlay 排行的模型。脊梁骨模型在这里按普通模型参评。

榜单里没有你想评的模型?点页面上的「提交模型」告诉管理员;多个人提交同一个模型时,管理员能看到有几个人想要。

完整的数学公式见榜单工具栏里的「算分规则」按钮。

RolePlay 排行反映的是访客的主观评价,与实测成绩无关;以 IP 区分访客,同一网络下的多人只能共用一票,数据库只保存 IP 加密后的指纹。

算分规则

SCORING FORMULA / RP

Bradley–Terry 等级分:RP 分 = 对平均水平对手的预期胜率 × 100

每张票拆成许多场两两比较,再用 Bradley–Terry 模型估出每个条目的实力 π。记参评条目共 n 个、选票共 B 张;第 b 张票里,Rb 是排进名单的条目,Ab 是投票当时可选的全部条目,Ub = Ab ∖ Rb 是可选但没排进名单的条目;i ≻b j 表示这张票里 i 排在 j 前面;方括号 [·] 在条件成立时取 1,否则取 0。

① 每张票拆成加权的两两比较。名单里排在前面的赢后面的,权重 1;名单里的赢没排进名单的,权重只有 λ = 1/5;两个都没排的条目之间不产生比较。得到加权胜场数 wij(i 赢 j):

wij=∑b=1B([i≻bj]+λ·[i∈Rb∧j∈Ub]),λ=15

② Bradley–Terry 模型。每个条目有一个正的实力值 πi,i 战胜 j 的概率为:

P(i胜j)=πiπi+πj

③ 先验(防止一两张票就让分数大起大落)。让每个条目预先和一个实力恒为 1 的「平均水平」对手打 v 场比赛,一半赢、一半输。v 的大小相当于 k = 2 张「只排了这一个条目」的票的比较量:

v=k(n−1)λ,k=2

于是要最大化的带先验对数似然为:

ℓ(π)=∑i≠jwijlnπiπi+πj+v2∑i(lnπi−2ln(1+πi))

④ 迭代求解。用 MM(minorization–maximization)迭代:从全为 1 的初值出发,反复用下式更新。其中 Wi 是条目 i 的加权总胜场,上标 (t) 表示迭代的第 t 轮:

πi(t+1)=Wi+v2vπi(t)+1+∑j≠iwij+wjiπi(t)+πj(t)
Wi=∑jwij,πi(0)=1

直到相邻两轮的最大变化足够小就停止(最多迭代 500 轮):

maxi|lnπi(t+1)πi(t)|<10−10

⑤ RP 分。就是条目 i 对一个实力为 1 的平均水平对手的预期胜率乘以 100:

Si=100·πiπi+1

所以没有任何数据的条目 πi = 1,RP 分正好是 50。榜单按 RP 分从高到低排序,同分时被提名次数 mi 多的在前,两者都相同才并列:

mi=|{b:i∈Rb}|

参与打分

长按模型卡片拖进「我的排名」,第 1 名是你心中 RolePlay 能力最强的。名单里可以拖动调整顺序,拖出名单就是移除;也可以点 + 直接加入。最少排 1 个模型就能提交,不用把所有模型都排一遍。

模型池

我的排名

    提交模型

    榜上没有你想评的模型?告诉我们,管理员看到后会考虑加入。已经在榜单里的不用重复提交。