Wan-Streamer v0.2发布:端到端响应延迟仅550毫秒,实现毫秒级音视频同步的“面对面”AI交互

2026-07-17 15:30:39
来源:AI观察
分享
AIME

问财摘要

1、通义实验室发布了最新版本的Wan-Streamer,这是一个全模态理解与生成模型,实现了550毫秒的端到端响应延迟,让AI能够像真人一样边听、边看、边回应。 2、v0.2实现了三大核心提升,包括极致低延迟、画质提升和原生支持实时理解与同步生成。
免责声明 内容由AI生成
文章提及标的

据通义实验室消息,最新发布的Wan-Streamer v0.2是一个面向实时双工交互的端到端全模态理解与生成模型,它将“听、看、说、演”统一进单个Transformer,实现了550毫秒的端到端响应延迟,让AI能够像真人一样边听、边看、边回应。

Wan-Streamer v0.2将用户的文本、音频、视频输入与智能体的输出统一映射到同一条因果时间线上,并引入了流式单元的概念,大约每160毫秒完成一次完整的感知、理解、生成与解码闭环。这意味着AI无需等待用户说完一整句话,而是在每一小段时间里同步完成交互,从根本上解决了传统级联流水线系统卡顿、声画不同步的问题。

在性能上,v0.2实现了三大核心提升。极致低延迟方面,端到端响应延迟控制在550毫秒,其中模型延迟仅200毫秒,网络延迟350毫秒。画质方面,输出分辨率从v0.1的192×336大幅提升至640×368,帧率达25FPS,微表情和场景细节清晰可见,AI不再只是“悬浮的头部”,其视线方向、身体姿态和手势动作都能自然呈现。功能上,模型原生支持文本、音频、视频的实时理解与同步生成,无需外部模块拼装。对比市面主流系统,Wan-Streamer同时具备视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在1秒内。

为实现高画质与低延迟的平衡,v0.2采用了Thinker-Performer双通路与Ulysses并行架构。Thinker作为“大脑”,部署在单张GPU上,负责流式音视频感知、语言与状态更新、构建K/V缓存及音频解码,确保200毫秒的极低响应。Performer则作为“渲染团队”,扩展为多GPU的Ulysses式上下文并行集群,专门承担640×368高分辨率视频生成的重载计算,通过序列并行机制将长视频序列切分给多张显卡分工合作、并行去噪。两条通路的工作窗口时序重叠,当Performer后台处理当前帧时,Thinker已在处理下一帧输入并解码上一帧音频,从而将额外视觉生成成本从延迟敏感路径中剥离。

Wan-Streamer支持高度自由的角色生成能力,只要能用自然语言描述,就能实时呈现虚拟角色进行面对面交流,典型应用场景包括视频通话式AI助手、场景化陪伴与教育、沉浸式游戏(881275)NPC以及面向听障和视障用户的无障碍交互。

原文:Wan-Streamer v0.2:响应延迟仅550ms,让 AI 真正与你"面对面"(来源:通义实验室)

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME