欢迎访问ic37.com |
会员登录 免费注册
发布采购

AR眼镜的发展方向是传感器接头计算任务?

日期:2022-4-20 (来源:互联网)

早在2020年,Meta就提出了AR/VR半导体面临的多重挑战,如能耗比达到今天的100倍靠近皮肤的散热问题,无线传输的带宽问题,以及如何实现高计算能力和低延迟。

一般来说,如果低功耗物联网设备涉及复杂操作,需要将传感器数据上传到云处理,所以主要芯片为通信和控制芯片;至于边缘处理需求小的物联网设备,MCU性能不太高,足以完成普通传感器数据计算。此外,传感器和计算单元之间的数据移动进一步增加了能耗和延迟。

随着工艺对能耗比的提高逐渐有限,处理器能提供的帮助越来越小。然而,随着人工智能的兴起,一些公司开始关注AOZ1022DI传感器,思考如何在其中做文章。因为明眼人都能看出,在电子设备小型化的过程中,我们遇到了瓶颈。许多产品形式由于计算而束手束脚。就连苹果自己也开始堆积芯片面积来提高计算能力,更不用说可穿戴设备了,尤其是AR/VR产品了。

AR/VR设备的传感器内计算系统

以之前被炒过一段时间的智能/AR眼镜为例,这款产品给了消费者很多遐想,但大部分体验都以失望告终。以Meta不久前与雷鹏合作的智能眼镜为例。这款产品根本不智能,充其量只是社交分享的硬件,没有计算能力。这是因为这种智能眼镜的计算单元可以少一些,但是传感器是必不可少的。摄像头、麦克风和扬声器都是硬件的重要组成部分。然而,没有CPU、GPU和人工智能加速器,智能/AR眼镜只会被视为名不副实。

在坚定AR/VR道路的Meta看来,半导体仍然面临着巨大的挑战。早在2020年,Meta就提出了AR/VR半导体面临的多重挑战,如能耗比达到今天的100倍靠近皮肤的散热问题,无线传输的带宽问题,以及如何实现高计算能力和低延迟。

解决方案分为三个维度,如先进包装,需要使用定制接口、异构集成和3D包装,内存需要尝试STTRAM、PCM和RRAM等新内存,CMOS技术将逐渐从FinFET演变为5nm和GAA。然而,这些解决方案中的一些已经被证实是可行的,而且一些仍处于测试阶段。

11.png

图:分布式的传感器内计算系统 /Meta。

Meta现实实验室的研究科学家Jorgegomez提出了一个新的想法,即在传感器中建立一个计算系统。首先需要的是一个分布式计算系统,集成了传感器内处理器的智能图像传感器来预处理数据,然后通过MIPI接口传输到聚合器。这不仅降低了功耗和延迟,而且大大提高了隐私安全性。

2.png

图:智能图像传感器 / Meta。

该智能图像传感器采用CIS、ADC、AI三层结构,通过μTSV或混合键合等3DIC技术集成。至于人工智能层的存储,选择低漏电、高密度的MRAM来进一步降低功耗。

3.png

图:与传统中心化传感器计算系统的对比 / Meta。

从模拟结果图中可以看出,在应用处理器和传感器内处理器采用7nm工艺的情况下,分布式计算系统的功耗比传统的集中式计算系统低24%。即使后者改为16nm工艺,功耗仍然降低。从这个模拟结果来看,这个想法是完全可行的。但是,如果你想达到100倍的功耗比,这样的改进还远远不够,更不用说传感器在这个系统中仍然是大部分功耗了。

节省冗余的数据移动

对于近传感器计算和传感器内部计算,节省冗余的数据移动可以说是功耗和延迟最关键的一步。如果模拟传感器可以直接处理模拟信号,ADC和计算单元的负担要小得多,AIStorm的MantisAI传感器SoC就是一个很好的例子。

当CMOS/CCD记录信息时,每个像素产生的电荷是接收到的光子数,即明暗信息。作为成像芯片,Mantis可以直接以原始电荷的形式接收像素数据,并根据图像唤醒人体、面部或物体。据AIStorm介绍,Mantis可以实现最高1000TOPS/W的计算能力,5000FPS的成像帧率可以实现5uA以下的功耗,这几乎被忽略了。

然而,从Mantis的人体识别演示视频来看,这类芯片还存在一些不成熟的地方,比如无法替代其他常见的图像传感器,只能用于基于事件的智能唤醒,比如人们走过镜头;而且,在成像的过程中,单靠模拟数据是无法分类识别的。例如,同一个人再次通过仍然是一个新的对象。此外,像TOPS/W这样的单位在这种模拟计算芯片方面有着天然的优势。就像存储计算等类似的模拟计算一样,它们的计算精度往往不高,但低位数和高位数的乘积累计计算无法比拟,因此根据计算次数来衡量性能并不是一种准确的比较方法。

尽管如此,这种传感器集成模拟人工智能解决方案仍然有其定位,如语音唤醒、图像唤醒等应用程序,它们在功耗和成本方面具有很大的优势,这种唤醒解决方案可以显著降低人工智能硬件的整体功耗,因此仍不可低估。