新闻详情

News Information

TOF深度摄像头原理与典型应用案例

ToF技术

TOF是飞行时间(TIme of Flight)技术的缩写,即传感器发出经调制的近红外光,遇物体后反射,传感器通过计算光线发射和反射时间差或相位差,来换算被拍摄景物的距离,以产生深度信息,此外再结合传统的相机拍摄,就能将物体的三维轮廓以不同颜色代表不同距离的地形图方式呈现出来。不论是自动驾驶,3D深度摄像头,还是VR;亦或是现在市面上层出不穷的平衡车,都离不开ToF技术。


TOF测量原理

发射的红外光线被被测物体反射后回到传感器,内置的计时器记录其来回时间,然后即可计算出其距离。听起来好像和大家玩烂了的超声波测距没啥不同。但其实不然,超声波测距对反射物体要求比较高,面积小的物体,如线、锥形物体就基本测不到,而TOF红外测距完全可克服此问题,同时TOF测距精度高,测距远,响应快。这种技术跟3D激光传感器原理基本类似,只不过3D激光传感器是逐点扫描,而TOF相机则是同时得到整幅图像的深度信息。

TOF的优势

与立体相机或三角测量系统比,TOF相机体积小巧,跟一般相机大小相去无几,非常适合于一些需要轻便、小体积相机的场合。

TOF相机能够实时快速的计算深度信息,达到几十到100fps。TOF的深度信息。而双目立体相机需要用到复杂的相关性算法,处理速度较慢。

TOF的深度计算不受物体表面灰度和特征影响,可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化,否则会无法进行深度计算。

TOF的深度计算精度不随距离改变而变化,基本能稳定在cm级,这对于一些大范围运动的应用场合非常有意义。

3D 深度摄像技术的方案比较

TOF 只是 3D 深度摄像技术中的一种方案。目前主流的 3D 深度摄像主流有三种方案:结构光、TOF、双目成像。

结构光(Structured Light):

结构光投射特定的光信息到物体表面后,由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息,进而复原整个三维空间。(苹果iPhone X 用的就是这个方案)

TOF(Time Of Flight):

TOF 系统是一种光雷达系统,可从发射极向对象发射光脉冲,接收器则可通过计算光脉冲从发射器到对象,再以像素格式返回到接收器的运行时间来确定被测量对象的距离。

双目成像(Stereo System):

利用双摄像头拍摄物体,再通过三角形原理计算物体距离。

这三种方案中,双目测距成像因为效率低、算法难、精度差、容易受到环境因素干扰;TOF 方案同样有精度缺陷,传感器体积小型化之后对分辨率影响大。


ToF技术的应用

汽车电子

在汽车应用中,ToF可以被用于自动驾驶、防撞自动刹车和OOP等等。

Infineon与科世达推出的基于英飞凌3D图像传感器芯片的摄像头驾驶员辅助系统。

在飞行时间(ToF)原理支持下,该系统可精确检测驾驶员身体和头部位置,甚至在其戴眼镜或太阳镜的情况下捕获其眨眼动作,以判断驾驶员是否注意力足够集中、是否正疲劳驾驶,从而启动相应对策。譬如,通过振动座椅或警告音。驾驶员注意力越不集中,汽车就越会提起注意。为了快速和准确地做出响应,辅助系统和紧急制动系统可在潜在紧急情况发生之前自动激活。

此外,该技术还可以通过手部运动或身体姿势控制车载娱乐系统或车用空调,甚至在车外实现全新的辅助和安全功能,比如开门辅助设备,在停车场或家用地库时防止车门打开后撞上其它车、墙壁或天花板。英飞凌方案设计合作伙伴GesTIgon在大会上现场演示了英飞凌ToF传感器如何实现车用物体跟踪与手势识别,以达到“三维虚拟现实”。

人机界面与体感游戏

ToF提供了一种实时的远方影像,所以可以非常简单地用来记录人体动作。这使得许多消费电子类产品(比如电视)有了全新的交互方式,Xbox Kinect二代就是用了这种技术。

Kinect搭载的是Depth的传感器,可以取得Depth数据(和传感器的距离信息)。整个Kinect其实就是一个大蝙蝠,红外投射器不断向外发出红外结构光,就相当于蝙蝠向外发出的声波,红外结构光照到不同距离的地方强度会不一样,如同声波会衰减一样。红外感应器呢,相当于蝙蝠的耳朵,用来接收反馈的消息,不同强度的结构光会在红外感应器上产生不同强度的感应,这样,Kinect就知道了面前物体的深度信息,将不同深度的物体区别开来。

手机自动对焦摄像

以手机自动对焦中使用ToF传感器为例,以往的自动对焦功能通常采用集成在手机图像信号处理器中的一套数据计算方法。当取景器捕捉到最原始的图像后,这些图像数据会被当作原始资料传送至图像信号处理器中,图像信号处理器对原始数据进行分析,检查图像中毗邻像素之间的密度差异,从中挑出最好的那一帧图像即为呈现在我们眼前的照片。而采用了ToF传感器的自动对焦系统,则是通过检测物体与相机之间的距离来进行对焦,减少了相机抓取图像帧数的数量,即使是在弱光下也能够快速清晰地抓取图像。在拍摄视频方面,在两米内的移动均能够进行精准测距并抓取图像。

未来的ToF传感器的测距将加大感测距离,就需要接收器能够检测到更多的光子,除了结构之外还需要光学的辅助,还可通过凹凸透镜抓取更多的光子实现更远距离的光学测距。将会成为实现我们未来智能社会生活环境的最基础的技术。