华为数据存储、中科弘云发布 A欧交易所appI 推理加速联合解决方案，适配英伟达、昇腾、寒武纪等算力

IT之家 12 月 23 日消息，华为弘华为数据存储与中科弘云今日发布了 AI 推理加速联合解决方案。数据适配

该方案以华为 OceanStor A 系列存储为数据底座，存储欧交易所app结合中科弘云智算互联网云服务平台 HyperCN 平台，中科优化长序列推理体验。发布方案

该方案深度融合华为 OceanStor A 系列存储、推理腾寒华为 UCM 推理记忆数据管理技术以及中科弘云 HyperCN 平台能力，加速解决通过 KV Cache 多级缓存管理、联合力秒级算力调度、英伟分钟级推理大模型部署及全流程 AI 工具链，达昇等算将智能算力输送至业务一线。武纪该联合方案的华为弘核心优势如下：

• 异构管理：支持平台、计算与存储的数据适配欧交易所app协同联动，适配英伟达、存储华为昇腾、中科寒武纪等多元 AI 算力，兼容 MindSpore / vLLM/SGLang 等主流框架，并通过 Kubernetes 与华为 OceanStor A 系列存储实现无缝对接。

• 算力调度：对算力资源进行细粒度切分与池化处理，按需灵活调度，实现资源利用率最大化；具备集群作业调度、运维监控、故障恢复等功能，支持分钟级任务恢复与系统健康监测。

• 推理加速：依托华为 UCM 技术，将 KV Cache 持久化至华为 OceanStor A 系列存储，实现推理记忆全量保存，减少重复计算；此外，融合 Prefix Cache、GSA 稀疏加速等算法，显著降低首 Token 时延（TTFT），使长序列推理吞吐与体验实现倍数级提升。

• 端到端 AI 工具链：覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程，支持传统机器学习与深度学习开发，实现 AI 资产的统一建设与集中管理。

经实测，在智能问答的典型推理场景中，该方案实现首 Token 时延（TTFT）降低 57.5%，且序列长度越长，优化效果越显著；在长文档推理场景中，结合 GSA 稀疏加速算法，当序列长度为 39K 时，并发能力提升 86%，推理吞吐提升 36%，提升推理效率与体验。

IT之家从合作公告获悉，该联合方案目前已在能源电力、智能制造、国家实验室等关键行业启动试点应用。

很赞哦!（189）