任意模型，任意加速器，任意云平台：以开源创新解锁企业 AI 潜能

“任意工作负载、任意应用、任意位置”是 2023 年红帽全球峰会的主题。在过去两年里……IT 领域确实发生了诸多变革。但红帽的愿景始终如一，且不断演进。

任意模型，任意加速器，任意云平台。

这正是 AI 时代混合云的核心理念。其核心优势何在？正如“传统”混合云一样，这一切都由开源创新驱动。在本周的红帽全球峰会上，我们将展示围绕开源和开放模型构建的 AI 生态系统如何为企业创造全新可能。开放性带来选择多样性，进而又带更高的灵活性；从最契合企业组织需求的模型，到底层硬件加速器，再到工作负载的实际运行环境，均可自由选择。成功的 AI 战略将跟随数据的脚步，无论数据存储于混合云的何处。 

而驱动混合云的核心力量是什么呢？正是开源。

推理让 AI 更强大

在我看来，我们需要超越对模型的单一关注。毋庸置疑，模型对 AI 战略至关重要。但若缺乏推理（即 AI 的“执行”阶段），模型不过是一堆无法“行动”的数据集合。推理能力决定了模型对用户输入的响应速度，以及在加速计算资源上做出决策的效率。若响应迟缓或效率低下，最终将导致成本增加与客户信任流失。

正因如此，我对红帽将推理置于开源 AI 工作的核心位置倍感振奋，首先便是红帽 AI 推理服务器的推出。该解决方案基于领先的开源 vLLM 项目，并融合 Neural Magic 的技术优势，为 AI 部署提供具备全面支持、生命周期管理和生产就绪特性的推理服务器。最值得一提的是，它能够真正跟随数据的脚步。无论数据位于何处，任何 Linux 平台、任何 Kubernetes 发行版、红帽或其他提供商平台，都能与该解决方案协同工作。

有什么比企业 AI 更强大？规模化的企业 AI。

企业 IT 的核心应用并非某个单一、统一的工作负载或新型云服务，而是快速且高效地进行扩展的能力。AI 领域同样如此。但 AI 的独特之处在于，支撑其工作负载的加速计算资源也需随之扩展。考虑到正确实施此类硬件所需的成本和技能，这绝非易事。

我们不仅需要具备扩展 AI 的能力，还需将海量 AI 工作负载分配至多个加速计算集群。推理模型和代理式 AI 所需的推理时间扩展，进一步加剧了这一挑战。通过分担负载，可减少性能瓶颈、提高效率，并最终改善用户体验。红帽已通过开源项目 llm-d 直击这一痛点，提供解决方案。

在红帽主导，以及 AI 行业硬件加速、模型开发及云计算领域领导者的联合支持下，llm-d 将 Kubernetes 编排的成熟能力与 vLLM 相结合，汇聚两大开源领域的领先技术以满足实际需求。通过 AI 感知网络路由、KV 缓存卸载等技术，llm-d 实现了 AI 推理的去中心化和普及化，帮助企业组织更充分地利用计算资源，同时降低 AI 工作负载的成本并提升其效能。

以开源之姿，拥抱 AI 未来

由红帽 AI 推理服务器提供的 llm-d 和 vLLM 是专为应对当下企业 AI 挑战而打造的开源技术。但上游社区的视野从不局限于眼前需求。AI 技术具有独特的时间压缩效应：创新节奏之快，可能让您原以为数年后面临的挑战，转瞬间就成为必须直面的现实。

正因如此，红帽正投入资源参与 Llama Stack 的上游工作，该项目由 Meta 主导，旨在为生成式 AI 应用的生命周期提供标准化的构建模块和 API。不仅如此，Llama Stack 尤其适用于构建代理式 AI 应用，此类应用代表着当前强大生成式 AI 工作负载的进一步演进。除了参与上游开发，我们还在红帽 AI 产品中提供 Llama Stack 的开发人员预览版，让希望提前布局未来的企业组织能够率先体验。

对于 AI 代理，我们仍然缺乏其他应用向其提供上下文和信息的通用协议，而模型上下文协议（MCP）正是解决这一问题的关键。该协议由 Anthropic 于 2024 年底开发并开源，它为代理与应用之间的交互提供了标准化协议，这与传统计算中的客户端-服务器协议并无不同。但重要的是，现有应用无需进行大规模重新开发即可快速具备 AI 能力。这一突破意义非凡，但若无开源支持，这一切将无法实现。与 Llama Stack 一样，MCP 也在红帽 AI 平台中提供开发人员预览版。

专有 AI 模型或许曾率先占据优势，但开放生态系统显然已后来居上，尤其是在支持这些新一代 AI 模型的软件领域。通过 vLLM、llm-d，以及经过强化的企业级开源产品，无论采用何种模型、加速器或云平台，AI 的未来都将一片光明。而这一切，都由开源技术与红帽共同驱动。