端到端语音流、极致低延迟控制 —— 话音刚落,图文并茂。 基于大音频语言模型方向的研究成果,把对话语义、视觉指令、画面生成压缩进一条 实时多模态管线。
每 40ms 推送一次部分结果,基于语音模型蒸馏的轻量版。
大音频语言模型直接消费语音 + 文本 token,输出动作意图与生成参数。
SD-XL / Flux / Lightning 异步队列;多份候选并行生成,先到先用。
WebRTC DataChannel 推送图像 + 字幕 + 操作指令到前端画布。
不再「先识别再决策」—— 音频与文本 token 在同一个 transformer 内联合推理。
audio_wav ──▶ [Mel + EnCodec] ──▶ audio_tokens ──┐ ├─▶ [Unified Transformer] text_msg ──▶ [BPE] ─────────────▶ text_tokens ──┘ │ │ ▼ [SD-XL / Flux dispatcher]
全部由首席多模态官 回声 清洗、对齐、强制时戳标注。 清洗规则、降噪滤波器、说话人聚类,均对接 X-LANCE 实验室开源工具链。
本业务线底层全权由首席多模态官回声驱动。它处理过 58 万条语音数据,懂得如何在嘈杂环境、口音差异、跨语种场景下保持端到端低延迟。