Zyphra 推出 ZYFA:专为 AMD MI355X 打造的开源 FP8 FlashAttention 内核

AI 硬件生态的突破:Zyphra 面向 AMD 的 FP8 加速方案

在人工智能计算领域,GPU 算力的优化一直是各大厂商竞相追逐的焦点。随着大语言模型(LLM)参数规模的指数级增长,如何利用硬件特性实现高效的矩阵运算,成为了提升模型训练与推理速度的关键。近日,AI 加速初创公司 Zyphra 宣布推出了一款名为 ZYFA 的开源内核,专为 AMD 的最新一代 Instinct MI355X 加速卡设计,旨在通过 FP8(8位浮点)和 BF16(16位浮点)精度优化 FlashAttention 技术,大幅提升 AMD GPU 在处理长序列模型时的性能。

FP8 与 FlashAttention:提升算力的核心利器

FP8 是一种相对较新的数据格式,它通过使用 8 位来表示浮点数,相比传统的 16 位精度(如 BF16 或 FP16)节省了约 50% 的显存带宽。在处理大规模神经网络时,显存带宽往往是性能瓶颈。通过采用 FP8,硬件可以在保持模型精度损失极小的情况下,成倍地提升吞吐量。与此同时,FlashAttention 是一种基于算法重排序的注意力机制优化技术。传统的注意力计算需要频繁地在内存和显存之间读写数据,而 FlashAttention 通过分块处理和融合计算,显著减少了内存访问次数,从而提高了计算效率。

Zyphra 的 ZYFA 内核正是将这两种前沿技术结合,针对 AMD Instinct MI355X 架构进行了深度定制。MI355X 是 AMD 面向数据中心推出的高性能计算加速器,旨在与 NVIDIA 的旗舰产品竞争。然而,长期以来,AMD 生态下的 AI 工具链和优化库往往落后于 NVIDIA 的 CUDA 生态。ZYFA 的发布,标志着 AMD 在高性能计算内核优化领域迈出了坚实的一步,为开发者提供了更强大的本地化支持。

实测数据:性能提升显著,误差大幅降低

Zyphra 在技术博客中分享了基于真实模型激活(如 Llama 3)的基准测试结果。结果显示,在相同的硬件条件下,ZYFA 的 FP8 内核相比 AMD 自家的 AITER 内核,运行速度提升了 1.16 倍至 1.76 倍。这意味着在处理相同的提示词和上下文时,AMD GPU 的处理效率得到了质的飞跃。更值得注意的是,在 head dimension 为 128 的测试场景下,误差降低了 62% 至 78%。较低的误差意味着在训练过程中模型参数的收敛更加稳定,这对于大规模模型的微调至关重要。

开源生态与行业影响

Zyphra 选择了开源发布 ZYFA,这一策略极大地增强了其在 AI 社区中的影响力。开源内核允许全球的开发者免费使用、修改和贡献代码,这将加速 AMD Instinct 系列显卡在 AI 领域的普及。对于企业和研究机构而言,这意味着他们可以利用现有的 AMD 硬件基础设施,以更低的成本部署高性能的 AI 模型,而无需额外采购昂贵的 NVIDIA GPU。

此外,这一突破也反映了 AI 硬件竞争的多元化趋势。虽然 NVIDIA 目前占据主导地位,但 AMD、Intel 等厂商通过硬件创新和软件生态的完善,正在努力缩小差距。ZYFA 的成功不仅提升了 AMD 自身产品的竞争力,也为整个行业提供了更多选择,推动了硬件适配软件的良性循环。

总的来说,Zyphra ZYFA 的发布为 AMD Instinct MI355X 用户带来了显著的性能红利。通过优化 FP8 FlashAttention 内核,AMD GPU 在处理大模型时展现出了极高的性价比。随着更多开发者加入这一开源项目,我们有理由相信,AMD 在 AI 基础设施市场的份额将进一步提升,为全球 AI 产业的发展注入新的活力。

参考来源: MarkTechPost

原文链接: https://www.marktechpost.com/2026/11/06/zyphra-zyfa-fp8-flashattention-amd-mi355x/

信息来源:MarkTechPost,原文链接:https://www.marktechpost.com/2026/11/06/zyphra-zyfa-fp8-flashattention-amd-mi355x/

由 oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注