三星下一代DDR5和HBM3内存将集成AI引擎,PIM技术将进一步扩展

三星将HBM-PIM芯片直接加入到堆栈中,可以与符合JEDEC标准HBM2内存控制器配合使用。三星使用赛灵思(Xilinx)Alveo FPGA进行了测试,这款AI加速器有2.5倍的性能提升,能耗也降低了超过60%。三星表示目前PIM技术已经可以和任何标准的内存控制器兼容,但CPU厂商若能提供优化,在某些情况下会带来更大的性能提升。

目前三星已经与一家CPU厂商一起测试HBM2-PIM,以便在未来产品中使用。由于英特尔的Sapphire Rapids、AMD的Genoa、Arm的Neoverse平台在内的新一代处理器都支持HBM内存,未来应用范围会相当大。

显然,PIM技术很适合数据中心使用,不过三星进一步将该技术转向更为标准的内存。这次三星演示了AXDIMM内存,这是对现有内存的优化,在缓冲芯片内集成了AI引擎,尽可能减少CPU和DRAM之间的大量数据交换,以提高效率。AXDIMM内存可以插入到标准的DDR4服务器内存插槽就能使用,无需大幅度改变现有的硬件架构。

三星表示已经有厂商使用AXDIMM内存在客户的服务器上进行测试,在特定的AI应用中,其性能提升了1.8倍,同时功耗降低了超过40%。由于内存很快会迭代到DDR5,相信三星也会很快跟进,同时可以预期这项技术会在不久的将来推向市场。

三星的PIM技术不仅仅局限于相对高端的领域,也可以同样转向贴近消费者的普通产品,比如笔记本电脑、平板电脑、甚至手机。三星已经计划在LPDDR5内存中引入PIM技术,不过仍处于早期阶段。在LPDDR5-PIM内存(6400 MHz)的模拟测试中,其语音识别工作负载的性能提高了2.3倍,基于转换器的翻译性能提高了1.8倍,GPT-2文本生成能力提高了2.4倍,同时功耗都降低了60%以上。

虽然三星的PIM技术进展迅速,可以与标准的内存控制器配合使用,但一直没有获得JEDEC的认证,这是PIM技术被广泛使用的主要障碍。三星希望PIM规范可以标准化,从而进一步扩展内存产品的组合,比如加入到HBM3标准规范里。目前JEDEC尚未正式发布HBM3标准规范,仍在制定当中。

三星表示,将从HBM2的FP16向前推进到HBM3的FP64,这意味着芯片会具有扩展的功能。FP16和FP32将保留供数据中心使用,而INT8和INT16将服务于 LPDDR5、DDR5和GDDR6内存,更好地适应不同的应用场景。

三星还会将PIM技术带到到更多不同类型的内存里,例如GDDR6,这可以扩宽其应用范围。三星今年发布了业界首款CXL内存模块,这是基于Compute Express Link标准的新型存储产品,或许未来也会引入PIM技术。随着AI技术的兴起,PIM技术或许比普通人表面看来更能改变现有的游戏规则,或许在未来,GPU使用的显存协助处理一些工作负载,以提升性能并降低功耗是有可能的。