ODCC大会焦点!江波龙曹浔峰:大模型AI应用对存力挑战与创新实践
2024-09-26
9月4日,2024 开放数据中心大会服务器分论坛在北京国际会议中心成功召开。来自江波龙企业级存储事业部高级市场总监曹浔峰与在座嘉宾一同分享了《大模型AI应用对存力挑战与创新实践》。
曹浔峰指出,随着AI应用的复杂度迅速提升,对缓存和数据存储提出了更高的要求,传统存储硬件已难以满足需求。他表示,Memory-as-a-Service(Maas)更适合LMM缓存offload,通过实测,当前PCIe5.0下CXL通道带宽接近100GB/s,CXL协议下数据延时仅10ns,远远小于PCIe 100ns水平,足以满足实用性要求。同时,双路服务器配置4TB RDIMM在成本上有较大挑战,支持CXL协议的服务器已开始逐渐成为主流。
曹浔峰表示,在数据存储优化方面,江波龙提出了针对不同AI业务流的存储解决方案。通过优化存储介质的选型和配置,如使用SATA HDD处理大规模顺序写入的原始数据,以及TLC和QLC SSD分别应对不同读写比例的需求,显著提升了数据存储效率。
此外,曹浔峰还介绍了江波龙的创新存储产品和技术制造(PTM)模式,该模式集成了产品、技术和制造三个环节,通过定制化和联合创新,旨在为客户提供高质量的存储解决方案。
ODCC联系人
刘老师 13488889649(微信同号)
邮箱:liupengyun@caict.ac.cn