首页 排行榜文章正文

华为UCM推理记忆管理技术正式开源

排行榜 2025年11月05日 16:09 3 admin

11月5日,据“华为数据存储”微信公众号消息,华为针对AI推理加速的关键技术——UCM(Unified Cache Manager)推理记忆数据管理正式宣布开源。据华为介绍,UCM目前具备四大能力:稀疏注意力、前缀缓存、预填充卸载、异构PD解耦,实现首Token时延最高降低90%,系统吞吐最大提升22倍,并达到10倍级上下文窗口扩展。

发表评论

长征号 Copyright © 2013-2024 长征号. All Rights Reserved.  sitemap