川观智库研究员 黄爱林
随着DeepSeek等大模型接入越来越多的端侧应用,海量数据的存储和处理需求,推动了对存储芯片的需求激增。中国信通院联合中国人工智能产业发展联盟日前发布的《新型人工智能存储研究报告》(下简称报告)指出,新型AI存储是大模型进一步发展的关键,但在海量数据归集、训练数据访问效率和推理实时性等方面亟需突破瓶颈。
新型AI存储可以理解为大模型的数据载体,关系着大模型的数据归集、预处理、训练、推理等全生命周期流程,也是AI数据全生命周期服务与管理平台的重要组成部分。它具备超高性能、超大容量、极致安全、数据编织、大模型数据范式和绿色节能等关键特征,可以有效支撑海量数据的分析和学习。
新型AI存储被视作发力大模型的根基,但其自身的发展却面临多重挑战。一是海量原始数据归集的提速问题。上述报告显示,PB级数据的归集通常需要消耗整个大模型全流程时长的30%,需要数据归集后才能用于后续的模型训练,而数据归集涉及数据解析、清洗和去重等流程,这里将占据30%以上的CPU、GPU、内存等资源。
第二点挑战在于应对数据访问效率。大模型训练需要高并发、低延迟的数据访问能力,若AI存储无法提供千万级IOPS能力(存储系统的“反应速度”,每秒能处理千万次操作)和数百GB/s级读写带宽(存储系统的“反应速度”,每秒能搬运几百GB的数据),则会导致GPU算力闲置率较高。
再一个挑战是推理实时性的要求。大模型推理(如医疗诊断、智能客服)对响应时间要求苛刻,需毫秒级延迟,这就需要能够快速检索关键信息的AI存储。
基于挑战分析,报告建议在国家战略层面,尽快形成AI存储产业发展的顶层规划,系统布局AI存储设施;在关键技术上加强自主创新,从存储介质、系统、架构数据编织、数据范式和数据安全等方面发力;产业发展方面,鼓励国产设备应用,提升安全保障能力。
版权声明:
1、天府评论所登载文稿均仅代表作者个人观点,不代表天府评论立场。
2、作者投稿确系本人原创作品,严禁剽窃、转投他人作品,若由此引起任何法律纠纷,与天府评论无关。
3、作者向天府评论投稿时,就已表明同意四川在线全权使用本稿件。
4、欢迎网络媒体转载天府评论文章,转载时请注明来源及作者。
5、欢迎传统媒体转载天府评论文章,请与编辑联系获取作者联系方式,并支付稿费与作者。
6、传统媒体转载不支付作者稿费,网络媒体转载不注明来源及作者,天府评论将追究相关法律责任。