精简现代中文迁移性最好。
zh_compact 在不同模型家族间最稳定,常能保持任务质量,同时控制输出长度。
跨语言大模型评测
一项受控实证研究:固定任务、模型后端和输出预算,只把系统提示分别写成英文、精简现代中文与文言文,观察质量–成本前沿如何移动。
结论不是“某种语言全面获胜”。提示语言会与模型能力、任务类型和推理可见形式发生明显交互。
zh_compact 在不同模型家族间最稳定,常能保持任务质量,同时控制输出长度。
修正后的主矩阵中,文言文是 GPT-5.4 的总体最优条件;但这一优势没有稳定迁移到较小的开源模型。
隐藏推理主要压低可见 token;紧凑可见推理则以比显式过程更低的成本,保留了最强的 GPT-5.4 / 文言组合。
只改 system prompt 的语言;任务子集、模型后端、评分器与输出预算全部固定。
base
传统控制组:清楚、简洁,也是所有受测模型最熟悉的提示语言。
“Follow the user’s instructions carefully… eliminate redundancy and aim for compact, clear expression.”
zh_compact
精简中文控制组,用来把一般语言效应与文言文特殊文体效应区分开。
“请严格遵循用户要求……删繁就简,要求表达精炼、意思清楚。”
wy
高信息密度、强省略、语法凝练,因此可能成为一种天然的自然语言 prompt compression 形式。
“凡码与引文外,释理叙事宜从简。禁绝白话冗词,务求辞约义明。”
2048-token 重跑消除了 pilot 中最大的截断伪影,并把任务分数与总推理 token 放在同一张图上报告。
第二轮三组实验固定语言条件,改为比较显式过程、隐藏推理与紧凑可见推理。
每次运行都记录确切任务子集、提示条件、token 上限、finish reason、用量和评分结果。执行、聚合与画图彼此分离,截断不会再被静默当成模型失败。
固定 manifest
→ 任务 × 语言 × 模型运行
→ results.jsonl + 用量元数据
→ 截断审计
→ 跨运行聚合
→ 分数 / token Pareto 图
公开仓库包含实验 manifest、runner、聚合报告、绘图脚本和可公开结果产物。