面向LLM推理芯片的NAND FLASH存内计算系统ECC保护力度优化方法
申请号:CN202510602794
申请日期:2025-05-12
公开号:CN120540895A
公开日期:2025-08-26
类型:发明专利
摘要
本发明公开面向LLM推理芯片的NAND FLASH存内计算系统ECC保护力度优化方法,属于计算、推算或计数的技术领域。基于NAND FLASH存内计算架构,本发明提出基于汉明码的自适应分平面保护策略,通过分析大语言模型权重数据的BF16数值分布特性,建立符号位、指数位及尾数位的错误敏感度分级模型;结合Transformer解码层的残差连接结构,计算层间余弦相似度以评估层重要性;采用贪婪算法动态调整汉明码保护粒度,根据模拟错误注入结果迭代优化,直至模型困惑度与精确度满足阈值。根据贪婪算法迭代结果进行ECC软硬件协同设计,得到NAND闪存各平面所需配置的ECC电路。本方法在保证模型推理精度的同时,显著降低电路面积功耗,并减少ECC带宽需求,显著提升大模型推理效率与可靠性。
技术关键词
错误敏感度
数据
大语言模型
贪婪算法
解码
存储页面
错误率
软硬件协同设计
芯片
NAND闪存
精度
标志位
启发式算法
序列
符号
指数
样本
数值
电路