跨语言大模型评测

LangMatch语言本身,能不能压缩 Prompt?

一项受控实证研究:固定任务、模型后端和输出预算,只把系统提示分别写成英文、精简现代中文与文言文,观察质量–成本前沿如何移动。

LangMatch 项目主视觉,对比英文、简体中文与文言文提示
文言文并非处处更省、处处更强;但在足够强的模型上,它确实可能成为真正的 Pareto 候选。
4个模型覆盖闭源与开源模型家族
3种语言英文、简体中文、文言文
3个基准IFEval、MATH-500、MMLU-Pro
2048token 预算修正后统一预算,并显式审计截断

实验真正发现了什么

结论不是“某种语言全面获胜”。提示语言会与模型能力、任务类型和推理可见形式发生明显交互。

稳健默认项

精简现代中文迁移性最好。

zh_compact 在不同模型家族间最稳定,常能保持任务质量,同时控制输出长度。

条件性收益

文言文只在特定条件下获益。

修正后的主矩阵中,文言文是 GPT-5.4 的总体最优条件;但这一优势没有稳定迁移到较小的开源模型。

推理形式

是否展示推理也会改变前沿。

隐藏推理主要压低可见 token;紧凑可见推理则以比显式过程更低的成本,保留了最强的 GPT-5.4 / 文言组合。

同一任务,三种提示语言

只改 system prompt 的语言;任务子集、模型后端、评分器与输出预算全部固定。

base

精简英文

传统控制组:清楚、简洁,也是所有受测模型最熟悉的提示语言。

“Follow the user’s instructions carefully… eliminate redundancy and aim for compact, clear expression.”

zh_compact

简体中文

精简中文控制组,用来把一般语言效应与文言文特殊文体效应区分开。

“请严格遵循用户要求……删繁就简,要求表达精炼、意思清楚。”

wy

文言文

高信息密度、强省略、语法凝练,因此可能成为一种天然的自然语言 prompt compression 形式。

“凡码与引文外,释理叙事宜从简。禁绝白话冗词,务求辞约义明。”

修正后的主矩阵

2048-token 重跑消除了 pilot 中最大的截断伪影,并把任务分数与总推理 token 放在同一张图上报告。

MATH-500 提示语言比较
MATH-500。GPT-4o 偏好精简中文;GPT-5.4 偏好文言文。
IFEval 提示语言比较
IFEval。高能力模型能在多种提示语言下完成全部约束。
MMLU-Pro 提示语言比较
MMLU-Pro。最保守的一组结果,语言效应依然强烈依赖模型。

推理可见性同样重要

第二轮三组实验固定语言条件,改为比较显式过程、隐藏推理与紧凑可见推理。

显式过程总体结果
显式过程。GPT-5.4 / 文言达到 0.833 SR。
隐藏推理总体结果
隐藏推理。闭源模型显著省 token,但语言差异被压平。
紧凑可见推理总体结果
紧凑可见。同样达到 0.833,但从 578.42 token 降至 381.92。

基于 Manifest,完整可审计

每次运行都记录确切任务子集、提示条件、token 上限、finish reason、用量和评分结果。执行、聚合与画图彼此分离,截断不会再被静默当成模型失败。

固定 manifest
  → 任务 × 语言 × 模型运行
  → results.jsonl + 用量元数据
  → 截断审计
  → 跨运行聚合
  → 分数 / token Pareto 图
解释边界。LangMatch 是研究性探索,并不能证明文言文普遍优于其他提示语言。不同后端的 token 统计应主要在同一模型内部比较;GPT-5.4 上的文言收益在当前结果中成立,但它是高度条件化的。

报告与复现材料

公开仓库包含实验 manifest、runner、聚合报告、绘图脚本和可公开结果产物。