近日，VentureBeat 发布了一份针对 107 家企业的深度调研报告，揭示了当前企业 AI 基础设施建设中一个令人担忧的“计算差距”（AI Compute Gap）。报告指出，尽管企业正在加速采购 AI 算力基础设施，但其对成本、利用率及经济回报的掌控能力却远远滞后，导致大量资金投入在缺乏清晰经济模型的项目中。
支出狂飙，但利用率低迷
调研发现，尽管大多数企业仍处于 AI 项目的早期阶段（仅 21% 的企业实现了大规模生产级部署），但其支出意愿却异常激进。更令人担忧的是硬件资源的浪费：高达 83% 的受访企业报告其 GPU 利用率在 50% 或以下，近一半企业的利用率甚至低于 25%。这意味着，许多企业正在为大量闲置的算力买单，这种“算力空转”现象在当前快速扩张的市场中并不鲜见。
从通用云向专用算力的转型焦虑
在基础设施的选择上，企业正经历一场剧烈的“换血”。目前，大多数企业主要依赖超大规模云服务商（如 Google Cloud、AWS）和模型提供商（如 OpenAI）的 API。然而，在未来的规划中，企业表现出强烈的“去通用化”趋势。超过 45% 的企业计划在一年内评估“AI 专用云”服务，而这类服务目前仅被极少数企业使用。同时，有 64% 的企业计划在 12 个月内更换或新增基础设施提供商，其中 38% 的人甚至计划在短短一个季度内完成切换。这表明，企业对现有基础设施的满意度并不高，且正在寻求更专业、更底层的算力解决方案。
“看不见”的成本与 TCO 的悖论
企业在做采购决策时，逻辑看似理性，但现实却充满矛盾。调研显示，企业在选择供应商时，最看重的因素是“系统集成”和“总拥有成本（TCO）”，而非广告宣传的“每百万 Token 价格”。然而，讽刺的是，仅有 44% 的企业能够严格追踪其 AI 算力的实际成本。这种“先买后算”的模式虽然短期内能快速推进业务，但长期来看极易导致预算失控。企业试图通过优化 TCO 来控制成本，却因为缺乏精确的测量手段而陷入“盲人摸象”的困境。
被忽视的下一个瓶颈：内存带宽
除了当前的利用率问题，企业对 AI 推理阶段的下一个技术瓶颈也知之甚少。随着模型规模的扩大，推理计算的瓶颈正从 GPU 计算能力向内存带宽（特别是 KV 缓存容量）转移。然而，调研发现，只有约五分之一的企业意识到这一转变，甚至有人并未察觉这一约束条件。这表明，企业在基础设施建设上仍处于“被动适应”阶段，缺乏对前沿技术趋势的预判能力。
综上所述，当前的企业 AI 基础设施建设正处于一个“重投入、轻管理”的临界点。要缩小“计算差距”，企业不仅需要采购更先进的硬件，更需要建立完善的成本监控体系，并提前布局应对内存带宽瓶颈的架构优化。
信息来源：AI | VentureBeat，原文链接：https://venturebeat.com/ai/the-ai-compute-gap-enterprises-are-buying-infrastructure-faster-than-they-can-measure-what-it-costs
封面图片来源：Unsplash / 摄影师 Markus Winkler
