正在阅读:

MIT透视相机仅凭阴影隔墙观物,NASA把这个黑科技用于火星探测器

扫一扫下载界面新闻APP

MIT透视相机仅凭阴影隔墙观物,NASA把这个黑科技用于火星探测器

MIT的研究人员开发了一种系统,该系统可以看到拐角处的情况,从而可以帮助汽车避免碰撞。

文|新智元

编辑|鹏飞

视野盲区是开车最致命的隐患之一。相信大家一定看过不少有关大车因为视野盲区,导致车辆在转弯过程中致死致伤等交通事故发生,触目惊心。

而小型车的视野盲区也不容忽视。例如下图,横穿马路的小孩被A柱完全挡住了,很有可能驾驶员没有注意到而造成不可挽回的后果。

于是很多汽车开始使用全视角车载摄像头,通过系统处理后,将多个摄像头的影像一体化展示在车载显示器上,直接开启上帝视角,在很大程度上解决了视野盲区的问题。

但车身带来的视野盲区问题其实是比较容易解决的,而且在自动驾驶来说就根本就是小菜一碟。然而在车辆行驶过程中,各种地形和障碍物造成的视野遮挡才是最可怕的存在。

例如前方大车的遮挡、穿越马路时隔离带的遮挡、穿越小区时楼宇墙壁的遮挡等等。这种情况下,单靠全视野摄像头是不够的。随着人工智能技术的发展,现在我们可以非视线成像技术,制造了一个“透视相机”,实现隔墙观物、影中窥人。

MIT非视线成像“透视相机”:隔墙观物、影中窥人!

2012年,MIT计算机视觉科学家安东尼奥·托拉尔巴(Antonio Torralba)在西班牙海岸度假时,发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射出来的。

托拉尔巴意识到,墙壁上的变色斑块根本不是阴影,而是窗外庭院的一个微弱的倒立成像。窗户充当了一台最简单的针孔相机,光线穿过一个小开口,在另一侧形成倒立的成像。

受到这一现象的启发,托拉尔巴和他的同事,麻省理工学院教授比尔·弗里曼(Bill Freeman)将其称之为无意识的“意外相机”:窗户、角落、室内植物和其他常见物体,都可以生成周围环境的微妙图像。

托拉尔巴和弗里曼关于“意外相机”的论文开始引导研究人员研究周围的角落和推断不直接可见的信息,称为“非视线成像”(non-line-of-sight imaging)。

他们的解决方法是,在数学上将图像转换为正弦波。至关重要的是,在变换空间中,信号不会受噪声干扰,因为正弦波代表多个像素的平均值,噪声在这些波中传播。因此,研究人员可以检测从视频序列某一帧到下一帧之间的正弦波位置的变化,加以放大,然后将数据转换回来。

通过在角落(1)附近拍摄阴影半影,可以获得有关角落周围物体的信息(2)。当隐藏图像区域中的物体移动时,它们向半影投射的光线相对于墙壁扫过不同的角度。这些细微的强度和颜色变化通常是肉眼看不到的(3),但可以通过算法来增强。图示为从半影的不同角度投射的光的原始视频显示一个人在移动(4)以及两个人在角落处移动(5)。

让自动驾驶能隔墙视物

已经几个团队在研究让AI驱动的自动驾驶车辆能够拥有穿墙视物的能力,例如斯坦福大学的科学家就使用激光创建了一个系统,该系统可以检测拐角处的物体。

不过MIT著名的计算机科学和人工智能实验室(CSAIL)推出的新系统ShadowCam更简单,只需寻找地面上光线和阴影的细微变化,就可以为自动驾驶汽车提供前方拐弯处周边路况信息,例如是否有车辆经过。

这个功能在很多乡间小道上有着非常广泛的应用场景。很多乡间小道、林间小道由于没有路灯,拐弯处你无法判断是否有车辆驶来,传统的做法是拐弯时提前闪两下远光以示提醒。

MIT研究团队认为,这种用于监视车辆周围环境的方法可能等同于汽车的X射线视觉。

当前的自动驾驶汽车中用于对象映射的激光雷达具有高分辨率,并且比可见光摄像头收集的数据更多,但它只能识别直接可见的对象。

反观ShadowCam,利用阴影来判断,可能足以将汽车的反应时间减少多达半秒。千万别小看这半秒钟的时间,很可能是重大事故和有惊无险之间的区别。

ShadowCam使用来自摄像机的四个视频帧序列,这些视频帧指向汽车前方的区域。AI会绘制光强度随时间的变化,用来判断是否另一辆车正在从看不见的区域驶来。

该系统使用了直接稀疏测距法。这是一种通过分析连续图像的几何形状来估算运动的方法,与NASA在火星漫游者上使用的技术相同。

系统将每个图像分类为静止或动态。如果认为阴影指向移动的物体,则驾驶汽车的AI可以更改其路径或降低速度。

研究人员使用经过特殊操纵的“自动轮椅”在走廊上进行了测试,结果显示ShadowCam能够以大约70%的准确度检测到何时有人要坐在轮椅前。

通过在停车场使用自动驾驶汽车,研究人员能够对ShadowCam进行调整,以比激光雷达快0.72秒检测到接近的车辆,其准确度约为86%。

但是,系统已针对这些情况下的照明进行了专门校准。下一步是在变化的光线和情况下启用ShadowCam。

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

MIT透视相机仅凭阴影隔墙观物,NASA把这个黑科技用于火星探测器

MIT的研究人员开发了一种系统,该系统可以看到拐角处的情况,从而可以帮助汽车避免碰撞。

文|新智元

编辑|鹏飞

视野盲区是开车最致命的隐患之一。相信大家一定看过不少有关大车因为视野盲区,导致车辆在转弯过程中致死致伤等交通事故发生,触目惊心。

而小型车的视野盲区也不容忽视。例如下图,横穿马路的小孩被A柱完全挡住了,很有可能驾驶员没有注意到而造成不可挽回的后果。

于是很多汽车开始使用全视角车载摄像头,通过系统处理后,将多个摄像头的影像一体化展示在车载显示器上,直接开启上帝视角,在很大程度上解决了视野盲区的问题。

但车身带来的视野盲区问题其实是比较容易解决的,而且在自动驾驶来说就根本就是小菜一碟。然而在车辆行驶过程中,各种地形和障碍物造成的视野遮挡才是最可怕的存在。

例如前方大车的遮挡、穿越马路时隔离带的遮挡、穿越小区时楼宇墙壁的遮挡等等。这种情况下,单靠全视野摄像头是不够的。随着人工智能技术的发展,现在我们可以非视线成像技术,制造了一个“透视相机”,实现隔墙观物、影中窥人。

MIT非视线成像“透视相机”:隔墙观物、影中窥人!

2012年,MIT计算机视觉科学家安东尼奥·托拉尔巴(Antonio Torralba)在西班牙海岸度假时,发现他酒店房间墙壁上的杂散阴影似乎不是由任何东西投射出来的。

托拉尔巴意识到,墙壁上的变色斑块根本不是阴影,而是窗外庭院的一个微弱的倒立成像。窗户充当了一台最简单的针孔相机,光线穿过一个小开口,在另一侧形成倒立的成像。

受到这一现象的启发,托拉尔巴和他的同事,麻省理工学院教授比尔·弗里曼(Bill Freeman)将其称之为无意识的“意外相机”:窗户、角落、室内植物和其他常见物体,都可以生成周围环境的微妙图像。

托拉尔巴和弗里曼关于“意外相机”的论文开始引导研究人员研究周围的角落和推断不直接可见的信息,称为“非视线成像”(non-line-of-sight imaging)。

他们的解决方法是,在数学上将图像转换为正弦波。至关重要的是,在变换空间中,信号不会受噪声干扰,因为正弦波代表多个像素的平均值,噪声在这些波中传播。因此,研究人员可以检测从视频序列某一帧到下一帧之间的正弦波位置的变化,加以放大,然后将数据转换回来。

通过在角落(1)附近拍摄阴影半影,可以获得有关角落周围物体的信息(2)。当隐藏图像区域中的物体移动时,它们向半影投射的光线相对于墙壁扫过不同的角度。这些细微的强度和颜色变化通常是肉眼看不到的(3),但可以通过算法来增强。图示为从半影的不同角度投射的光的原始视频显示一个人在移动(4)以及两个人在角落处移动(5)。

让自动驾驶能隔墙视物

已经几个团队在研究让AI驱动的自动驾驶车辆能够拥有穿墙视物的能力,例如斯坦福大学的科学家就使用激光创建了一个系统,该系统可以检测拐角处的物体。

不过MIT著名的计算机科学和人工智能实验室(CSAIL)推出的新系统ShadowCam更简单,只需寻找地面上光线和阴影的细微变化,就可以为自动驾驶汽车提供前方拐弯处周边路况信息,例如是否有车辆经过。

这个功能在很多乡间小道上有着非常广泛的应用场景。很多乡间小道、林间小道由于没有路灯,拐弯处你无法判断是否有车辆驶来,传统的做法是拐弯时提前闪两下远光以示提醒。

MIT研究团队认为,这种用于监视车辆周围环境的方法可能等同于汽车的X射线视觉。

当前的自动驾驶汽车中用于对象映射的激光雷达具有高分辨率,并且比可见光摄像头收集的数据更多,但它只能识别直接可见的对象。

反观ShadowCam,利用阴影来判断,可能足以将汽车的反应时间减少多达半秒。千万别小看这半秒钟的时间,很可能是重大事故和有惊无险之间的区别。

ShadowCam使用来自摄像机的四个视频帧序列,这些视频帧指向汽车前方的区域。AI会绘制光强度随时间的变化,用来判断是否另一辆车正在从看不见的区域驶来。

该系统使用了直接稀疏测距法。这是一种通过分析连续图像的几何形状来估算运动的方法,与NASA在火星漫游者上使用的技术相同。

系统将每个图像分类为静止或动态。如果认为阴影指向移动的物体,则驾驶汽车的AI可以更改其路径或降低速度。

研究人员使用经过特殊操纵的“自动轮椅”在走廊上进行了测试,结果显示ShadowCam能够以大约70%的准确度检测到何时有人要坐在轮椅前。

通过在停车场使用自动驾驶汽车,研究人员能够对ShadowCam进行调整,以比激光雷达快0.72秒检测到接近的车辆,其准确度约为86%。

但是,系统已针对这些情况下的照明进行了专门校准。下一步是在变化的光线和情况下启用ShadowCam。

本文为转载内容,授权事宜请联系原著作权人。