AD8152JBP**北京显易科技有限公司==www.ic37.com
日期:2018-1-29摘要:北京显易科技有限公司小曹: 010-51987308 ;
QQ:800062492:QQ:1306610685;
邮箱:bjxianyi-4@163.com 网址: www.ic158.com
北京显易科技有限公司小曹: 010-51987308 ;
QQ:800062492:QQ:1306610685;
邮箱:bjxianyi-4@163.com 网址: www.ic158.com
大量优势库存
以下为正文,来自36氪对鲁勇的访谈内容,36氪基于访谈内容对其观点进行了整理。
一
AI算法在芯片实现时遇到的核心问题不是计算资源而是存储问题,强如GPU提供众多的计算资源,而实际计算能力与计算资源大为降低。
概括来说,存储问题分为两个部分,一个是带宽问题,一个是功耗问题,这两个问题的解决其实也是耦合在一起的。
具体来说,深度学习算法使用大量存储资源,即包括静态模型参数,也包括网络层之间的动态数据。对于静态模型参数权重,动辄几十兆上百兆样本数量,无法在片上SRAM保存,因此需要存入外部DRAM。DRAM与AI计算芯片间带宽有限,如果芯片上计算资源很大,但受存储带宽的瓶颈限制,实际计算力大为下降。
打比方来说,负责存储的DRAM和与负责计算的芯片就像是位于河两岸的仓库,整个运算的过程可以类比从存储的仓库搬取数据、搬运过桥,将数据搬入计算的单元进行处理,并高速循环往复。而当前的AI芯片技术重点提升将数据搬入计算单元后的处理速度,但因为搬出数据、过桥的过程基本未发送变化,因此整体的效率提升还相对有限。
与之对应的方法即是克服存储带宽的手段:一是减少数据量,降低所需数据带宽,就是说想办法只要从仓库搬出少量数据,就可以达到同样的效果;二是更科学的调度数据使用,提升调度的效率。