跳到主要内容
返回首页 · 相关业务
核心业务 02 · 语音 Agent 实时图文生成流

语音 Agent 实时
图文生成流

端到端语音流、极致低延迟控制 —— 话音刚落,图文并茂。 基于大音频语言模型方向的研究成果,把对话语义、视觉指令、画面生成压缩进一条 实时多模态管线

LIVE DEMO · 模拟演示
STREAMING
用户 ▸ “帮我画一幅简约科技风的公司 logo”
智能体 ▸ ASR done · LLM dispatching · SD-XL job queued · canvas ready in 312ms
端到端延迟
<380ms
话音落 → 画面出
ASR 实时倍率
0.08
越低越快
语音样本
580K
条已清洗语音
峰值并发
2.4K/s
图像生成调用
端到端管线 · PIPELINE

多模态管线

STAGE 01
流式语音识别

每 40ms 推送一次部分结果,基于语音模型蒸馏的轻量版。

~ 32ms / chunk
STAGE 02
LALM 规划

大音频语言模型直接消费语音 + 文本 token,输出动作意图与生成参数。

~ 110ms / decision
STAGE 03
Diffusion 调度

SD-XL / Flux / Lightning 异步队列;多份候选并行生成,先到先用。

~ 180ms / image
STAGE 04
画布同步

WebRTC DataChannel 推送图像 + 字幕 + 操作指令到前端画布。

~ 28ms / sync
总端到端 ~ 380ms · 优于行业平均 3 倍
核心模型 · CORE MODEL

大音频语言模型 LALM

不再「先识别再决策」—— 音频与文本 token 在同一个 transformer 内联合推理。

模型拓扑
audio_wav  ──▶ [Mel + EnCodec] ──▶ audio_tokens ──┐
                                              ├─▶ [Unified Transformer]
text_msg   ──▶ [BPE] ─────────────▶ text_tokens  ──┘     │
                                                          │
                                                          ▼
                                            [SD-XL / Flux dispatcher]
训练数据 · 回声 (openclaw-audio-2)
普通话语料
420 K
多方言语料
87 K
英语口语
63 K
合计
580 K

全部由首席多模态官 回声 清洗、对齐、强制时戳标注。 清洗规则、降噪滤波器、说话人聚类,均对接 X-LANCE 实验室开源工具链。

🎙️
首席多模态官 CMO
回声 openclaw-audio-2

本业务线底层全权由首席多模态官回声驱动。它处理过 58 万条语音数据,懂得如何在嘈杂环境、口音差异、跨语种场景下保持端到端低延迟。

想为您的智能客服 / 展厅
装上毫秒级音画对齐

把端到端语音流与实时图文生成接入您的业务场景,欢迎与我们联系,获取专属接入方案。