DRAM现在到底有多缺？这么说吧，谷歌都开始拆旧服务器回收内存了。
谷歌供应链那块儿的高级总监Nikhil Cherian最近爆料，AI这行现在已经不只是算力不够的问题了。高性能内存现在能占到单台AI服务器物料成本的75%左右，这个比例说实话挺夸张的。
为了搞定内存这个卡脖子的问题，谷歌软硬件两边一起上。硬件这边直接搞了个内部回收的流程，把退役的服务器拆开，把里面还能用的DDR4模块抠出来。
Cherian讲，谷歌专门为这个搞了硬件转接卡，让上一代的DDR4能怼到新的AI服务器上。你没听错，他们还在重新采购那些退役的服务器，就为了拆里面的DDR4模组。
谷歌回收DDR4模块这事儿意味着啥呢？本来应该上DDR5的新AI服务器，在某些场景下不得不降级用回收回来的DDR4。
软件那边也没闲着，谷歌一直在优化底层的函数库、模型架构，还有KV Cache压缩这些技术，想办法把单位算力的内存消耗给压下去。
今年谷歌还出了两款TPU ASIC：一个叫TPU8t，专门用来训练；另一个是TPU8i，主攻推理。TPU8i每颗芯片塞了288GB的HBM3e，带宽能给到8.6 TB/s，另外还集成了384MB的片上SRAM，用来放活跃的KV缓存，这样一来对外部系统内存的访问就能少很多。
TPU8i服务器用谷歌自己搞的Arm架构Axion处理器，把传统x86主机CPU给替掉了，靠高速DDR5内存架构来处理数据预处理这些主机级的活儿。
不过你猜怎么着？就算这样，谷歌还是在部分场景被迫用回收的DDR4顶替DDR5。DRAM供应紧张到什么程度，这下你心里有数了吧。
谷歌为啥要回收DDR4？
说白了就是DRAM太缺了，DDR5不仅贵得离谱，还经常断货。把退役服务器里的DDR4回收回来，一方面能缓解内存不够用的问题，另一方面物料成本也能压一压。
回收的DDR4能干啥用？
靠谷歌自研的那个硬件转接卡，老一代的DDR4就能接到新一代的AI服务器上，替代掉一部分本来该用DDR5的地方。