研究 · 投稿 ICASSP 2027

DuplexJev

DuplexJev 是语音的 System One 模型（JEV 式决策模型），直接从原始音频做判断。它把冻结的语音大模型变成全双工语音 Agent 的决策引擎：轮次是否结束、该播哪句垫词、谁在说话，都读成选项字母上的单 token 分布。不解码 ASR，也不生成正文。产品名是 Speech-to-Decision。副语言理解 SOTA：LISTEN、StressTest、MSPB 三个公开基准合计 50.2（Gemini 3.8 Flash 47.8，Qwen3-Omni 45.0），超过 Gemini、GPT（含实时旗舰）和 Qwen3-Omni。最新版（10 月 22 日）听得懂日语：日语错误率从 33% 降到 12%，韩语、越南语降到原来的四分之一到三分之一，中文口语里的笑声、喘气、重读词也听得更准。与 TypeSafe（Jev）无关。

论文已投稿 IEEE ICASSP 2027，录用结果尚未公布；预印本见 arXiv 2610.02638。

论文 · arXiv GitHub 项目页权重 · 32B-Para 在线试用 English

副语言理解 SOTA

旗舰模型听不出的，它听得出

在 EACL 2026 公开基准 LISTEN（专门检验音频模型是在“听”还是只在“读字”）、重音基准 StressTest 和韵律基准 MSPB 上（1,035 道题，不含任何训练语料），DuplexJev-32B-Para v1.3 合计 50.2，排名第一（Gemini 3.8 Flash 47.8，Qwen3-Omni 45.0），超过我们测试的全部模型，包括谷歌和 OpenAI 的实时语音旗舰；实时模型都低于自家离线模型。

模型	LISTEN 纯音频四项平均	字面中性，只靠声音	情绪†	由重音判断意思†
DuplexJev-32B-Para（开源）	37.3	45.0	91.0	90.5
Qwen3-Omni-30B	33.9	33.5	46.0	36.5
Gemini 3.8 Flash	33.1	31.0	40.5	79.5
GPT-audio-1.5	31.6	24.5	35.0	27.5
Gemini 3.8 Live（实时）	30.9	25.0	27.5	55.0
Gemini 3.1 Pro	30.1	25.0	32.5	51.5
GPT-realtime-2.1（实时）	25.6	15.5	31.5	26.0

同题对比，每个闭源模型每题问一次。Gemini 3.8 Flash 在 StressTest 上领先（89.0 vs 71.5）；字面本身带情绪时，Qwen3-Omni 和 Gemini 更好。GPT 两个模型和 Gemini 3.8 Live 对情绪题大多回答“中性”。† 测试集与训练语料同源（说话人或句子不重叠）。话轮：LiveKit eot-bench 14 种语言，300 ms 预算下误打断全部少于 Smart Turn v3.2。脚本与每道题的答案

结果

不解码，也能做决策

92 ms

同一引擎上，十个决策读成单 token 约 92 ms。生成 JSON 约 1.57 s，级联还要另加约 411 ms 转写。

约 90%

交叉注意力 connector 上，性别与情绪都到约 90%。只做转写蒸馏时，两者大约停在 55% 和 28%。

90% / 91%

末层 connector 的口语问答是 90%，直接读转写稿是 91%。交叉注意力版本的口语问答只降 1 个点（83% → 82%）。

方法

一次前向，读出全部问题

01 音频当前这句话，或一批通话。
02 冻结 ASR 编码器 Qwen3-ASR 等现成编码器，权重不动。
03 Connector 唯一训练的部分。末层，或三层交叉注意力融合。
04 冻结 LLM 一次前向。共享前缀，零解码步。
05 单 token 选项分布 每个问题在自己的字母上给出概率，最大概率即置信度。

编码器与大模型可以更换，中间只接一个小 connector。监督落在被读出的那个答案 token 上，内容理解仍保留转写蒸馏，所以模型能听见转写稿里没有的说话人信息。

发布

代码、权重与产品体验

代码、训练配方、批推理管线和双语口语问答集 qa100 已开源。可部署的完整模型是 DuplexJev-4B。

GitHub DuplexJev-4B 项目页全双工语音体验

全双工语音体验是产品入口，不是这篇论文的在线复现。