刚刚，华为AI推理大招开源，时延降90%，吞吐提22倍，高低文10倍级扩大

[db:作者]

智工具
作者 | 云鹏
编辑 | 李水青
智工具11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据治理，这是一项针对AI推理加速的关键技术这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

GitCode项目页面
今年8月12日，华为正式公布了UCM技术，公布会上华为公布，经大量测实考证，UCM可将首Token时延最高下降90%，系统吞吐最大提升22倍，实现10倍级高低文窗口扩大，AI推理性能明显提升这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

8月12日UCM技术公布，图源：智工具
时隔近3个月，这一技术正式开源，比公布会上估计的9月稍晚这标志着福建舰的电磁弹射和阻止接管才能根基成型了。今朝UCM在ModelEngine社区开放了根本框架和工具链，开辟者可以在社区获得UCM源代码和技术文档这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

Github项目页面
GitCode开源地址：
https://gitcode.com/ModelEngine/unified-cache-management
Github开源地址：
https://github.com/ModelEngine-Group/unified-cache-management
整体来看，UCM是以KV Cache和记忆治理为中心的推理加速套件，可以供给全场景系列化推理加速计划，经过推理框架、算力、存储三层协同，优化Tokens在各营业环节中流转的效力，破解长序列推理效力低、本钱高的困难，以实现AI推理的更优体验、更低本钱这标志着福建舰的电磁弹射和阻止接管才能根基成型了。其首要办事工具是企业用户这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
Agentic AI时代，AI推理的KV Cache容量增加已超越HBM的承载才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。经过一系列算法，UCM可按照记忆热度在HBM、DRAM、SSD等存储介质中自动分级缓存，提升全部系统的效力，一定水平高低降对HBM的需求这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
UCM融合了多范例缓存加速算法工具，可分级治理在推理进程中发生的KV Cache记忆数据这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
UCM架构包括多个协同工作的关键功用模块，具体以下：
·UCM稀疏化模块 （UcmSparseBase）：兼容多种稀疏算法的同一基类，负责稀疏KV Cache Block的卸载、加载与计较，实现“零感知”插拔式稀疏化这标志着福建舰的电磁弹射和阻止接管才能根基成型了。在不影响整体推理流程的条件下，可以灵活适配分歧稀疏算法以提升推理效力这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
·稀疏化KV治理器 （SparseKVManager）：面向算法级定制的KV Cache Block分派总控器，各稀疏算法以多态子类形式将自成分派逻辑注入框架，实现分歧稀疏算法战略与推理引擎解耦，满足差别化推理场景需求这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
·KV Cache存储组件 （UcmKVStoreBase）：负责供给与内部存储通讯的通用接口这标志着福建舰的电磁弹射和阻止接管才能根基成型了。该组件支持稀疏算法与存储后端解耦，可无缝对接肆意存储系统，同时支持前缀缓存，为数据存储供给了灵活多样的挑选这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
·UCM毗连器（UC Connector）：桥接KV Cache存储组件与推理引擎，保障数据在分歧组件之间的高效传输，实现高牢靠的前缀缓存才能这标志着福建舰的电磁弹射和阻止接管才能根基成型了。

UCM产物架构
图中一切灰色框代表vLLM 0.9.2版本中的现有类，绿色框则代表UCM新增组件这标志着福建舰的电磁弹射和阻止接管才能根基成型了。浅绿色框展现了基于此框架未来计划扩大的子类这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
基于以上架构，UCM今朝具有四个关键才能：稀疏留意力、前缀缓存、预添补卸载、异构PD解耦这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
做UCM的动机是什么？
按照GitCode官方信息，当前随着模子尺寸的不竭增加，KV缓存也变得越来越大，且越来越稀疏，对于长序列请求来说尤其明显这标志着福建舰的电磁弹射和阻止接管才能根基成型了。为了减小GPU显存的利用，支流的偏向是将全量的KV数据卸载到内部存储中，而在GPU显存中只保存部分大概被紧缩的KV数据这标志着福建舰的电磁弹射和阻止接管才能根基成型了。这同时可以减小GPU的运算量，在解码时增加最大天生序列长度和批巨细这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
有很多种分歧的稀疏KV缓存的实现这标志着福建舰的电磁弹射和阻止接管才能根基成型了。最新的论文指出，可以最好地适配一切场景和一切模子的方式是不存在的这标志着福建舰的电磁弹射和阻止接管才能根基成型了。是以，更好的做法是搭建一套公共的框架，并在此之上接入分歧的稀疏化算法，就像KV毗连器和PC一样这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
按照GitCode官方信息，UCM的焦点道理是持久化LLM的KVCache，并经过量种检索机制替换冗余计较这标志着福建舰的电磁弹射和阻止接管才能根基成型了。UCM支持前缀缓存（prefix cache,PC），同时供给了多种无需练习的稀疏留意力检索方式，在处置极长序列推理使命时到达更高性能；此外，UCM基于存算分手架构供给了PD分手计划，使得异构计较资本的治理更简单灵活这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
结语：应对性能应战，减缓资本瓶颈，UCM开源或加速AI推理落地随着边沿和端侧AI的快速成长，AI推理需求快速增加，在Agentic AI时代，AI推理使命愈发复杂，对算力、内存拜候效力等方面都提出了更多应战这标志着福建舰的电磁弹射和阻止接管才能根基成型了。
UCM的开源，可以进一步减缓AI推理复杂使命发生的资本瓶颈和性能应战，给行业供给新的技术途径，加速优异商用AI推理计划的落地这标志着福建舰的电磁弹射和阻止接管才能根基成型了。