智能体带来的新烦恼,英特尔已备好良方

2026-07-27 16:49:12
作者:英特尔
分享
AIME

问财摘要

1、英特尔至强处理器内置的QAT技术能帮助用户更高效地做KV Cache卸载的工作。QAT通过硬件级加速,把数据压缩、加解密这类非常消耗CPU资源的任务全部卸载。它支持多种压缩算法,帮助系统在吞吐和压缩率之间获得更好的工程平衡。在QAT的帮助下,海量KV Cache的压缩比至少可达50%。这意味着原本10GB的存储开销能够削减到5GB。数据变少了,占用的内存少了,客户的花销也就少了。在硬件开支如此巨大的今天,意义重大。 2、IAA可以在内存中执行特定的数据处理任务,对内存数据进行实时压缩,在不牺牲性能的前提下带来可观的压缩比,显著提升内存利用率。同时,IAA大幅加速了内存中数据的压缩、解压和分析处理速度,有效缓解了内存带宽压力。更小的内存占用不仅意味着更短的数据搬运时延,也有效降低了系统的吞吐压力。更关键的是,这一加速器还可以处理压缩/解压缩任务,使这些操作无需额外消耗CPU周期。
免责声明 内容由AI生成
文章提及标的
英特尔--
海量数据--
5G--
周期--
查看股票机会,下载客户端

AI突变的挑战,被英特尔(INTC)在芯片内的布局轻松拆解。当生成式AI迈入目标驱动、自主循环的Agentic AI时代,用户对智能体调度的需求呈现爆发式增长。应用场景的转移,改变的不仅是用户的使用体验,也是对底层基础设施的要求:“省存储、挤空间”不再是锦上添花的形式,而是企业在算力部署中必须要做的选择。

这场变化突如其来,但英特尔(INTC)早已在芯片深处做出了布局。早在智能体浪潮到来之前,英特尔(INTC)便在至强处理器中内置了QAT(Intel QuickAssist Technology)与IAA(Intel In-Memory Analytics Accelerator)两大加速技术。这展现的是对客户长远TCO的守护:面对未来可能爆发的业务难题和瓶颈,英特尔(INTC)早已为其做好了技术储备。

QAT:给海量数据“挤干水分”

在LLM与智能体推理过程中,系统采用KV Cache来避免多轮对话重复计算历史词元。然而,KV Cache的体积会随上下文长度呈指数级暴增,当下大模型已普遍迈入百万上下文时代,未来可能将向百万级别演进。面对如此庞大的上下文数据,极其珍贵的显存面临严重的容量危机。行业现在采用层级存储策略,选择将显存中的KV Cache转移到其他单元,当然,存储越贴近计算端,数据访问时延越低,系统的综合性能也越出色。

面对这一难题,英特尔(INTC)至强处理器内置的QAT充当了空间折叠师的角色。英特尔(INTC)至强处理器内置的QAT技术能帮助用户更高效地做KV Cache卸载的工作。QAT通过硬件级加速,把数据压缩、加解密这类非常消耗CPU资源的任务全部卸载。它支持多种压缩算法,帮助系统在吞吐和压缩率之间获得更好的工程平衡。在QAT的帮助下,海量KV Cache的压缩比至少可达50%。这意味着原本10GB的存储开销能够削减到5G(885556)B。数据变少了,占用的内存少了,客户的花销也就少了。在硬件开支如此巨大的今天,意义重大。

IAA:存内加速,解开内存与延迟的束缚

如果说QAT解决了数据压缩的尴尬,那么内置于至强处理器的另一大利器IAA,则可以缓解内存压缩与响应延迟的平衡问题。

作为内置于至强处理器的加速模块,IAA可以在内存中执行特定的数据处理任务,对内存数据进行实时压缩,在不牺牲性能的前提下带来可观的压缩比,显著提升内存利用率。

同时,IAA大幅加速了内存中数据的压缩、解压和分析处理速度,有效缓解了内存带宽压力。更小的内存占用不仅意味着更短的数据搬运时延,也有效降低了系统的吞吐压力。更关键的是,这一加速器还可以处理压缩/解压缩任务,使这些操作无需额外消耗CPU周期(883436)。在Agentic AI爆发、多智能体并发对内存极度渴求的当下,IAA技术从物理层面大幅精简了内存开销,为算力基础设施的规模化部署奠定了基础。

无论是QAT还是IAA,都印证了英特尔(INTC)在设计初期便将复杂混合工作负载融入底层的前瞻布局。英特尔(INTC)在CPU上不仅找到了性能与功耗的平衡点,更通过内置加速技术打破了通用计算的边界。在智能体应用全面爆发的今天,英特尔(INTC)依然是支撑下一代AI基础设施不可或缺的算力基石。

英特尔(INTC)公司,英特尔(INTC)英特尔(INTC)logo及其它英特尔(INTC)标识,是英特尔(INTC)公司或其分支机构的商标。文中涉及的其它名称及品牌属于各自所有者资产。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME