如今,视觉传感器的应用范围越来越广,但这类传感器的一些性能与人类视觉系统还有很大差距,后者在神经单元上就具备探测、分辨运动物体的能力。受此启发,复旦大学微电子学院周鹏教授团队与中国科学院上海技术物理研究所胡伟达研究员合作,在智能运动探测领域取得了原创性进展,相关论文《面向运动探测识别的“全在一”二维视网膜硬件器件》今天凌晨在线发表于国际顶尖期刊《自然·纳米技术》。
周鹏介绍,运动探测应用于人脸识别、无人驾驶、国防安全等很多领域,采用以CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)图像传感器等元件为基础的探测技术,要求冗余的模块组合和数据转换传输,造成了大量的时间和能量损耗。能否让元件像人类视网膜那样,在每个像素上具备“全在一”功能,即把感知、存储、计算功能集于一体?复旦科研团队从二维原子晶体的本征特性出发,提出了开发感知、存储、计算“全在一”视网膜硬件的构想。
用于运动探测识别的“全在一”二维视网膜硬件器件
什么是二维原子晶体?周鹏解释说,这是一类新材料,其中知名度最高的是石墨烯,因为它让两位科学家获得了诺贝尔物理学奖。这类材料都由单层原子组成,呈现二维层状形态,具有很多新奇性能。
近年来,复旦微电子团队采用硫化钼、硒化钨等二维材料开展半导体新器件实验,取得了一系列成果。此次,他们在国家自然科学基金杰出青年科学基金、应急重点项目和上海市集成电路重点专项等支持下,将硒化钨与硅片结合,研制出了“全在一”二维视网膜硬件器件。这种器件和摄像头差不多大小,中间部分透明,可以感知光信号。与普通摄像头不同的是,它不但能感知光信号,还能独立完成存储和计算,就像人的视网膜一样。之所以有这种“全在一”功能,是因为复旦科研团队充分利用硒化钨二维半导体材料的本征特性,突破了传统半导体材料硅的功能局限。
“全在一”视网膜形态器件实现运动探测演示,运动图像为论文作者在复旦大学光华楼前跑步。
科研人员利用视网膜硬件,演示了一种高效的运动探测和识别方案,在单一器件上实现了人类视觉的完整功能:感光(杆细胞和锥细胞)、信号转换(双极细胞)、权重存储更新(无长突细胞)和输出(神经节)。他们还利用这种器件,在不连接外围电路的情况下,实现并验证了三色小车的运动分离探测与高准确率识别功能。
据了解,目前国际领先的感知、计算一体器件并不具备时间差分处理能力,只能完成静态图像的检测与分类。而复旦和中科院合作研制的器件,真正实现了动态感知、存储、计算一体化,首次在时间尺度上进行图像处理。由于不需要冗余模块和数据转换传输,视网膜硬件投入应用后,将使运动探测与识别更快捷、更节能、更智能。