AI服务器从HBM到CXL的技术变革
AI服务器从HBM到CXL变革
本文探讨了AI产业的新范式，特别是服务器变革。传统服务器价格通常在1万美金以内，而搭载8张H100算力卡的DGX H100AI服务器价值高达40万美金(约300万人民币)。这一变化将对AI产业产生深远影响。
自然语言和图形处理依赖大量存储器，AI服务器对数据传输速度提出更高要求，推动了存储和PCB价值量的上升。
从供应链角度出发，探讨存储、PCB，以及更上游的封测、制造环节的产业机遇。
AI三要素包括算力、互联和存储，从服务器供应链角度看，存储是AI时代变革重点。
随着处理器性能的飞速提升，我们面临着一个被称为“内存墙”的问题。这是因为，尽管处理器的性能在摩尔定律的驱动下持续增强，但与之相对应的是，DRAM(动态随机存取存储器)的传输带宽并未跟上工艺进步的步伐，导致访问内存时的延迟增加，效率降低。这一问题严重制约了处理器性能的发挥，形成了所谓的“内存墙”。
特别是在AI和视觉等领域，这些领域对内存带宽的需求极高，以支持复杂的计算操作。
如果内存性能跟不上，实际算力可能会下降50%,甚至高达90%。因此，解决“内存墙”问题，提升内存性能，对于推动这些领域的发展具有至关重要的意义。
HBM3E是SK海力士推出的一种超高性能DRAM产品，是HBM3的扩展版本。它提供高达8Gbps的传输速度和16GB内存，是目前迭代至HBM3的扩展版本之一。HBM主要应用场景为AI服务器，最新一代HBM3e搭载于英伟达2023年发布的H200。
HBM技术细节请参考“HBM三足鼎立：海力士、三星和美光争夺战”。
根据Yole Group的数据，到2023年，海力士将占据HBM市场55%的营收份额，位居行业领先。紧随其后的是三星和美光，分别占据41%和3%的市场份额。尽管美光在早期堆栈式DRAM探索中选择了HMC技术，但在数据传输延迟和速度方面存在劣势。然而，美光迅速调整战略，于2020年推出了首款HBM2产品，并在之后直接投入研发HBM3E。2023年7月，美光发布了24GB 8-High HBM3E产品。
在三家原厂最新的HBM3E产品对比中，美光以低能耗脱颖而出；三星凭借更小的堆叠间隙，有利于更高层数的堆叠；而SK海力士则依靠MR-MUF技术，展现出卓越的散热性能。
AI服务器需求核心在于更大带宽的存储，带来了存储技术路线变革：
CXL(Compute Express Link):创新互联技术，助力数据中心降本增效。其DRAM池化技术实现成本节约，同时推动DRAM需求增长。
MCR/MDIMM(Multiplexer Combined Ranks)是一种新型的内存技术，它可以大大提高内存带宽。AMD已经在MemCon 2023上表达了它帮助推动JEDEC的MRDIMM开放标准的承诺，英特尔也与SK hynix和瑞萨合作，基于与MRDIMM类似的概念，开发了多路合并阵列(MCR)DIMM。
PCIe 5.0是一种新一代高速接口标准，提供比PCIe4.0双倍的传输速度，尤其适用于高性能硬件如GPU和NVMe固态驱动器。虽然目前市场上的消费级产品尚少，但随着新CPU的发布，PCIe5.0设备将逐渐普及，带来显著的性能提升，特别是在大数据处理和科学应用中。
MCR/MRDIMM是一种技术，可以将多个DRAM内存模块组合在一起，通过将两个Rank形成伪多内存通道(Pseudo Channel),并使用专门的控制器(接口芯片)来管理它们之间的数据传输，从而大大提高内存带宽。理论上，MCR/MRDIMM内存的带宽是DDR5的两倍。这种技术可以很好地满足AI服务器对内存带宽的高需求。
澜起科技已于2022年完成MCR控制芯片（MRCD/MDB）研发。
美光在HBM市场虽起步稍晚于三星和SK海力士，但于2023年7月率先发布HBM3E,实现产品反超。根据美光披露的产品路线图，其计划于2025年推出36GB 12-High HBM3E以完善产品线，并于2026年问世革命性产品36GB 12-High HBM4,带宽预计将超过1.5TB/s。
美光计划在2027年前推出48GB 16-High HBM4,进一步提升HBM产品容量。2028年，美光将发布带宽达2TB/s以上的HBM4E。展望未来三年(2023-2028),美光将保持每年至少推出一款HBM系列新品，彰显其在高速增长的HBM市场中的雄心壮志。
澜起科技拥有两大产品线，互连类芯片产品线和津逮服务器平台产品线。其中，互连类芯片产品主要包括内存接口芯片、内存模组配套芯片、PCIe Retimer芯片、MXC芯片、CKD芯片等，津逮服务器平台产品包括津逮CPU和混合安全内存模组。
在2023年，我们即将完成新品序列的研发并提交样品。未来业绩的核心驱动力将主要来自两方面：一是DDR5芯片的持续迭代以保持价值，二是新品逐步实现大规模生产，进一步拓展市场空间。
目前，我们的高性能运力产品线——Retimer、MRCD/MDB已经成功实现出货，并正在积极开展DDR5第四子代RCD、第二子代MRCD/MDB芯片以及PCIe 6.0 Retime芯片的研发工作。
聚辰股份是国内领先的EEPROM龙头厂商，其主要产品包括EEPROM、音圈马达驱动芯片、智能卡芯片和NOR Flash。公司持续拓宽EEPROM产品的应用领域，与澜起科技合作开发的SPD EEPROM产品于2021年第四季度实现量产。此外，公司还拥有A1及以下等级的全系列汽车级EEPROM产品，广泛应用于汽车的智能座舱、三电系统、视觉感知、底盘传动与微电机等。
随着DDR5内存的普及，对SPD EEPROM的需求日益凸显。除了RCD和DB内存接口芯片外，串行检测集线器(SPD)作为内存管理系统的核心部分，适用于各种DDR5系列内存模组，如LRDIMM、RDIMM、UDIMM和SODIMM。随着DDR5内存市场的不断扩大，SPD EEPROM将迎来更广阔的发展空间。
请查看以下优化后的文章：
2024年，AMD将在CPU、GPU和UA技术方面取得进展。AI智算网络将采用两大主流架构，并进行差异分析。中国算力网络市场也将迎来新的发展机遇。同时，模型即服务(MaaS)框架与应用研究报告也将发布。此外，英伟达最新GPU和互联路线图也将在2024年面世。
-对此，您有什么看法见解？-
-欢迎在评论区留言探讨和分享。-
