2023-12-29

新增功能

同声传译模式
新增 interpretation_mode 授权参数，支持中英互译。
情绪回落机制优化
- 追加情绪值时间回落，避免情绪极端化。
话题转折优化
- 话题转折更加自然，并调整了初始话题库。
角色记忆增强
- 加强角色的备忘录记忆能力。
声纹识别升级
- 排除短句干扰，增加时序系数，提高识别准确率。
绘图功能
- 新增 draw_pic 功能，可根据要求生成图片，并支持精准修图。
汽车出口报价功能
- 新增 car_sales_fob 功能，可根据要求计算出口车 FOB 报价，并生成专属报价单网页。

2023-11-24

增加语速调节参数

新增 voice_speed 参数，用于调控NPC的语速。

模型升级

智力提升，尤其在刚开始对话的低激活状态下表现更优。

2023-11-10

对接MCP生态

可以快速集成上万款第三方MCP（MCP官方库、魔搭MCP广场等）。

推出WebSocket接口

继承TCP接口的所有特性。

新增Billing语音记账功能

采用Agentic策略，自由度超高、体验更自然。

2025-10-27

debug模式回归

在对话中文字或者语音输入debug on，即可打开debug模式。AI会在正常对话以后，通过Text消息流返回debug信息，包括：技能书记忆、知识图谱、情绪状态、深度思考、function调用。这将帮助运营更好的调试角色！

emoji_mode

可在tcp认证消息中添加，用于在对话中返回情绪表情。
目前支持true,false,dimi 三种模式，默认为false。
true模式下，通过emoji消息流返回约30种情绪状态。客户端可根据此状态，决定使用怎样的表情、动作配合语音。
dimi模式为 dimi设备定制，共计2800种表情返回。
也支持为各家硬件定制表情库。

对话能力提升

修正了回复的第一句智力偏低的问题，略微降低话唠指数。

新版视觉模型

已上线测试环境，支持动态视觉、人脸识别、文字识别。延迟控制到500ms，视觉能力激活不会产生额外延迟。
采用全新安全架构，确保图片信息阅后即焚，且图片信息不对公网开放。

2025-10-21

新增热词特性
热词是对于特定领域内可以提高语音判断的触发词。
更新一下接口，增加hotword字段:

配置管理/模板/创建角色模板
配置管理/模板/查询角色模板
配置管理/模板/修改角色模板
配置管理/角色/创建角色(通过模板创建)
配置管理/角色/查询角色
配置管理/角色/修改角色
配置管理/角色/创建角色(通过现有角色创建)

2025-10-20

新增了一个状态用来表示用户已经开始说话

{
  "taskid": "abc12345",
  "type": "listen",
  "state": "detecting",
  "mode": "vad"
}

这时客户端可以选择停止播放已经接收到的音频，达到更完美的打断效果

2026-04-15

新增 Hippo 记忆管理服务 API

Hippo 记忆管理服务 API 接口文档
设备/角色封禁管理 API 接口文档

2026-04-22

新增 intent_extensions 字段，涉及接口：

配置管理/模板/创建角色模板
配置管理/模板/查询角色模板
配置管理/模板/修改角色模板
配置管理/角色/创建角色(通过模板创建)
配置管理/角色/查询角色
配置管理/角色/修改角色
配置管理/角色/创建角色(通过现有角色创建)

2026-06-02

TCP 协议更新通知 v2.6 — 图片消息流
本次更新新增图片消息流（IMAGE 帧），涉及以下三处对接变更：

登录时声明设备分辨率（可选）

在认证消息的参数串里加一个 resolution 字段，格式为 WxH：
##START\x01000000000000<JWT_TOKEN>##resolution:320x240##END 不传则保持原有行为，图片 URL 不缩放直传。支持任意分辨率，服务端会按等比缩放（m_lfit，不裁剪不变形）。

LLM 输出图片时使用新 JSON 格式

AnyoneV2.5 的画图函数（draw_pic_google、draw_pic）现在输出统一格式：
{"type": "image", "url": "https://vision.tos-cn-beijing.volces.com/..."}
旧的 draw_pic_t（320×240）、draw_pic_d（540×540）等按分辨率定制的变体已退役，统一使用 draw_pic_google 或 draw_pic，分辨率适配由 TCP 服务端处理。NPC 的 functions 配置中如有 draw_pic_t / draw_pic_d / draw_pic_google_t / draw_pic_google_d，直接改成 draw_pic_google（谷歌模型）或 draw_pic（阿里模型）即可，无需其他改动。

客户端新增解析 IMAGE 帧（type = \x0a）

服务端检测到图片 JSON 后，会自动转为 IMAGE 帧下发（不再作为普通 TEXT 帧）：
##START\x0a[任务ID][0000]{"type":"image","url":"<图片URL>"}##END 客户端收到 type = 0x0a 的帧后，解析 JSON 取出 url，直接发起 HTTP GET 下载图片渲染即可。URL 已按登录时声明的分辨率缩放处理完毕，无需客户端侧再做任何图像处理。

以上三项相互独立，可逐步接入。如未更新客户端，IMAGE 帧会被忽略，不影响音频/文字流的正常运行。

2026-09-07

新增魔法命令：

incognito on、incognito off 和debug on/off 并列；
启动无痕模式，所有对话内容不进入记忆库，不触发认主。

2026-09-23

图片消息流: 本次更新新增图片消息流（IMAGE 帧）,涉及以下三处对接变更：

登录时声明设备分辨率（可选）
在认证消息的参数串里加一个 resolution 字段，格式为 WxH：

##START\x01000000000000<JWT_TOKEN>##resolution:320x240##END

不传则保持原有行为，图片 URL 不缩放直传。支持任意分辨率，服务端会按等比缩放（不裁剪不变形）。
画图函数名更新（NPC 配置需变更）
按分辨率定制的画图函数已退役，统一使用主版本。需在 NPC 的 functions 配置中替换函数名：

draw_pic_t → draw_pic draw_pic_d → draw_pic draw_pic_google_t → draw_pic_google draw_pic_google_d → draw_pic_google

只改函数名，其余参数配置不变。分辨率适配由服务端根据设备登录时声明的 resolution 自动处理，无需在函数配置里指定。
客户端新增解析 IMAGE 帧（type = 0x0a）
服务端检测到图片后，会自动转为 IMAGE 帧下发，不再作为普通 TEXT 帧：

##START\x0a[任务ID][0000]{"type":"image","url":"<图片URL>"}##END

客户端收到 type = 0x0a 的帧后，解析 JSON 取出 url，直接发起 HTTP GET 下载图片渲染即可。URL 已按登录时声明的分辨率缩放处理完毕，无需客户端侧再做任何图像处理。

以上三项相互独立，可逐步接入。如未更新客户端，IMAGE 帧会被忽略，不影响音频和文字流的正常运行**。**

2026-10-01

会议纪要接口文档更新 -Version 2.1

流式实时转写：说话过程中原文边说边出现，已确认的内容不再被整段改写，阅读更稳定。整理和翻译字幕显示在每段原文下方。
生成进度：结束会议后返回预计耗时，生成过程中可查询当前步骤、进度和剩余时间（51 分钟的会议约 3.5 分钟出纪要），方便前端展示进度。
新增模板：增加"讲座 / 学术报告"和"论文分享 / 读书会"两个模板，输出按知识点整理的听讲笔记，包括内容脉络、关键术语、方法与数据、问答和提到的资源。
历史会议查询：新增按 npcid 查询历史会议的接口，可查看每场会议的纪要。
录音下载：会议结束后可下载录音（MP3），录音保留 7 天后自动清理，纪要和转写不受影响。
详情见TCP语音对话--会议系统接口文档

更新日志