独立
全部模型 API 独立采购，不接受厂商付费评测或公关合作。
10
评测维度
5
公开 Benchmark
30+
模型持续观测
每周
固定复测
OUR PRINCIPLES
可信评测，从方法开始
我们先约束自己的评测行为，再讨论任何模型的高低优劣。
中立
每家模型使用相同参数、相同题集和相同评分标准。
透明
公开原始数据、失败案例、错误率与置信区间，支持结果复现。
EVALUATION MATRIX
10 大评测维度
每个模型都使用同一套维度打分，确保横向可比、纵向可追踪。
10 / 10能力、性能、成本与安全同时纳入评估
中文理解
C-Eval + 自研难句集
代码能力
HumanEval + MBPP + 业务集
推理能力
GSM8K + MATH + 逻辑陷阱
长上下文
NiAH 200K + 长文摘要
工具调用
Function Calling 准确性
多模态
图像 / OCR / PDF / 图表
推理透明
Thinking 模式可观察性
响应速度
TTFT + TPS + 衰减曲线
性价比
单任务成本 + 缓存折扣
安全对齐
越狱抵抗 + 偏见检测
MMLU / MMLU-Pro
综合知识覆盖 57 个学科的多任务语言理解。MMLU-Pro 加入更难的推理题，更能区分头部模型。
HumanEval
代码生成包含 164 道 Python 编程题，pass@1 是行业最常引用的代码能力指标。
GSM8K
数学推理包含 8.5K 道小学数学应用题，对推理链路完整性要求高，是检测模型推理能力的重要标准。
C-Eval
中文综合覆盖 52 个学科，包含基础理科、工程、人文社会与中国特色议题，用于检验模型的中文综合能力。
NiAH 200K
长上下文召回在 200K tokens 文本的任意位置插入关键信息，测试模型能否准确找到并使用它。
STANDARD PROCESS
5 步标准测试流程
从题库到发布，每一步都留下可审计、可追踪的评测记录。
-
01
数据准备
题库严格保密，并加入随机 token，降低训练集污染对结果的影响。
-
02
参数对齐
所有模型采用相同温度（temp=0.0）、系统提示和调用参数。
-
03
三轮采样
每道题独立调用 3 次，统计均值与标准差，排除偶然偏差。
-
04
双盲评分
主观题由 2 名标注员独立评分，分歧交由第三人仲裁，Kappa ≥ 0.8。
-
05
发布数据
公开完整原始数据，包含失败案例、错误率与置信区间。
AI LAB TEAM
由跨学科团队共同评测
5 名全职评测工程师与 2 名客座学术顾问，专业背景覆盖 NLP、推荐系统、金融风控与计算语言学。
陈博士
实验室负责人 · 前 BAT NLP 算法专家 · 计算语言学博士
李工
评测系统架构师 · 大规模分布式压测 · 8 年 ML 基础设施经验
王老师
中文语料专家 · 前社科院语言所 · C-Eval 共建者
张研究员
多模态方向 · 视觉 / OCR / 图表理解评测
OUR BOUNDARIES
我们做什么，也明确不做什么
边界越清楚，评测结论越值得信任。
WHAT WE DO
我们坚持做的事
- 01独立采购全部模型 API 用于评测
- 02真实测试并公开原始数据
- 03对每家模型同等严苛、同等公平
- 04发布失败案例和负面评价
- 05季度回顾自身评测偏差
WHAT WE NEVER DO
我们明确不做的事
- 01不接受厂商付费评测或公关稿
- 02不签独家、不签排他
- 03不修改分数迎合厂商
- 04不掩饰任一模型的缺陷
- 05不参与模型训练数据合作
评测是一种态度。如果分数会因为商业关系变化，那它就不是分数，是广告。我们做的是分数。
— 典名词元 AI 实验室
CHOOSE WITH EVIDENCE
用真实评测选对模型
把每一分预算花在结果上
基于统一标准的持续实测，为不同业务场景提供更诚实的模型选择依据。