在计算机技术发展的长河中，处理器性能的提升曾长期占据主导地位。然而，随着现代人工智能大型生成模型的兴起，行业规则正悄然改变。这些模型在运行过程中，性能表现不再单纯取决于芯片的计算速度，而是愈发依赖于数据传输的效率与成本。这一变化催生了新的技术挑战——内存墙问题，即计算需求与内存供给能力之间的差距日益扩大。
当前，每一代加速器的算力提升速度都远超内存系统处理操作数的能力。这导致在许多工作负载中，计算引擎消耗的时间、能源和成本并非用于计算本身，而是用于数据传输。以Transformer模型为例，过去十年间其规模每两年增长240倍，而AI硬件内存仅增长2倍。这种结构性分化使得处理器性能经常处于闲置状态，等待数据处理的完成。
在人工智能规模不断扩大的背景下，数据传输本身已成为系统中最大的能耗环节之一。跨芯片边界传输操作数所消耗的能量，往往超过数据到达后执行算术运算的能量。这一现实重新定义了设计问题：缩短数据传输路径成为降低能耗、提升效率的关键。近内存计算理念应运而生，它主张将计算能力移至数据所在位置，而非将数据移至计算能力所在位置。
近内存计算的核心在于将计算直接置于内存附近，使内存能够处理那些受限于数据移动而非算术复杂度的操作。这种架构被称为高带宽计算（HBC），它利用内存内部带宽而非狭窄的外部接口，为计算提供有效内存支持。HBC并非要取代传统处理器，而是实现更智能的分工。主处理器继续处理复杂、灵活且需要大量协调的工作，而HBC则负责执行其设计上最擅长且运行成本极高的操作。
当前，多种因素使得近内存计算方法不仅具有吸引力，而且非常及时。生成式人工智能推理严重受限于内存，其主导操作恰恰适合就地执行。从经济角度看，近内存计算无需使用复杂且供应有限的封装技术，能够以更优的成本和效率实现高性能。成熟的存储技术和3D集成技术的进步为近内存计算提供了现实基础，使其从实验室走向大规模生产成为可能。
近内存计算放宽了传统设计中的诸多限制。由于可用于计算的有效带宽是内存内部的带宽，远大于任何可通过外部接口输出的带宽，因此容量、带宽和计算能力可以在后续产品中同步提升。这种可扩展性使得性能提升遵循持续改进的轨迹，而非一次性架构优势。例如，采用高通HBC技术的Dragonfly AI系列处理器在有效内存带宽方面实现了显著提升。
随着计算向数据迁移，人工智能基础设施的构建和购买将面临诸多变化。性能指标正在重新定义，买家越来越倾向于根据实际内存密集型工作负载下的性能表现以及每瓦和每美元的性能来评估平台，而非峰值理论吞吐量。效率成为竞争的关键战场，能够最大限度减少数据传输的架构将具有结构性优势，并随着规模扩大而增强。
内存的角色也在发生转变。长期以来被视为被动存储介质的内存，将逐渐成为计算的积极参与者。这一转变的影响将波及芯片设计、数据中心经济等各个方面。在人工智能时代，稀缺资源不再是计算能力，而是如何及时、经济地将数据送到需要的地方。那些能够认识到这种转变并据此进行设计的组织，将引领下一代人工智能的发展。
