EP4SGX360KF40I3N**北京显易科技有限公司==www.ic37.com

北京显易科技有限公司小曹： 010-51987308 ；

QQ:800062492：QQ:1306610685；

邮箱：bjxianyi-4@163.com 网址: www.ic158.com

大量优势库存

如果数据量降低了，这将总体上减少对DRAM的访问，在DRAM物理带宽保持不变的前提下，降低了DRAM的依赖性，提高了整体性能，同时减少DRAM访问也将大幅减少系统功耗开销。因此首先需要解决的问题是减少静态参数权重的大小。通常的解决办法包括参数定点化，将每个32bit浮点数减少为16bit以下的定点数，至少能降低50%甚至75%的存储容量，也同样幅度的降低了存储带宽的需求。实践证明16bit定点化可以采用线性量化的方式，而16bit以下定点化根据模型的不同，有些需要采用非线性量化才可以达到维持模型性能的目的。

目前主要有模型剪枝、设计适于终端设备的简化网络两种实现方式。模型剪枝作为进一步降低模型容量和存储带宽的方式，是基于神经网络模型存在大量冗余信息的基础，而另一种从源头开始重新设计适于终端设备的简化网络的方式也在逐渐兴起，从同样规模的网络性能来看，新设计的网络可能比旧网络通过剪枝再训练的方式更为简单快捷，性能也更好。

（2）更科学的调度数据使用

深度学习的计算大量使用乘累加，即完成AXB+C的工作，这种乘累加单元（MAC）每次运算需要三个输入，完成一个输出。参与运算的数据包括事先准备好的权重参数和网络层产生的中间数据。每个乘累加完成后的输出通常也会作为下一次运算的输入，因此如何调度这些数据成为关键。

功耗角度来说，从DRAM获取数据所消耗的功耗最大，从SRAM中获取数据其次，从本地寄存器中获取数据消耗功耗最低，但从成本角度考虑刚好相反，因此这三个不同层次的存储器的使用非常关键，我们希望尽可能减少DRAM的访问，最理想的结果是仅从DRAM中读取一次事先存好的模型参数，而不依赖DRAM做任何其他工作。

从宏观上看，整个深度学习运算计算一次，进入MAC的总数据量远大于静态数据的容量，因为无论是模型参数还是中间数据都多次被重复使用，因此实际所需的数据带宽非常大，并且当所有这些数据都仅通过DRAM被缓存使用时，其功耗开销也是惊人的，因此充分利用各级缓存的特性非常重要，设计一个合理的数据流，将多次被重复使用的数据放在离计算资源较近的地方，少量读取的数据放在DRAM中，将提高计算性能，降低系统功耗。