正在阅读:

七年磨一剑 深度报告拆解iPhone X核心技术

扫一扫下载界面新闻APP

七年磨一剑 深度报告拆解iPhone X核心技术

不要再说除了刷脸和贵,没有啥子新意了。你们资道库克儿有多努力嘛~(╯ )╯

编辑:十四

当地时间9月12日,苹果在乔布斯剧院举行了秋季发布会,发布iPhoneX、iPhone 8/ 8 Plus、4K版Apple TV以及Apple Watch 3。其中,iPhoneX作为十周年献礼作,采用OLED全面屏(占屏比81.15%),内置64位架构的A11和嵌入式M11运动协处理器,取消Home键,采用Face ID解锁。

有的人就要说了:没有新意啊,全面屏啊双摄啊无线充电啊,追着中国厂商跑啊,“刘海儿”丑死啦。诚然,面向消费市场,智能手机的设计理念同质化愈发严重,工业工程和企业管理出身的库克很难在美学方面提供惊喜,但是,iPhoneX背后的AI+AR战略,也许值得关注。

本期的智能内参,我们推荐来自海通证券和中信证券的苹果AI+AR布局分析,结合智东西市场观察,从硬件和软件两个维度出发分析3D深度视觉的实现路径和可拓展前景,剖析iPhoneX的王牌技术以及库克的战略野心。如果想收藏本文的报告全文,可以在智东西(公众号:zhidxcom)回复关键词“nc186”下载。

以下为智能内参整理呈现的干货:

Face ID:不得已 or 新布局?

全面屏与指纹识别的冲突

*四种常见指纹识别技术(光学、电容、热敏、超声波)

自2016 年底开始,手机显示屏的竞争在三星、小米、LG等厂商的推动之下,已经向18:9甚至18.5:9、19:9、20:9的长宽比挺近。特别是小米MIX和三星S8的推出,使得高屏占比“全面屏”已经成为高端手机的最新潮流。

第162期智能内参指出,全面屏不是更换一块更大的显示面板那么简单,而是对面板、指纹识别、受话器、前置摄像头、天线等零组件重新设计的系统工程,将带动手机零组件发生巨变。

目前手机端指纹识别的主流方案为电容式方案,其信号难以穿透 0.3mm 以上的玻璃。因此,指纹识别在全面屏时代只有后置(三星S8)和Under Display(光学式与超声波式)两种较为可行的替代方案。前者体验不佳,后者技术成熟度不足。

预谋已久的3D视觉

*Face ID功能

2017年5月,美国Business Insider就爆料,苹果有超过 1000 名工程师正在从事 3D 相机的研发工作。

而最后发布会出来的成果是:iPhone X可以通过抬手或者点击来唤醒屏幕,借助神经网络技术和A11的生物引擎,加上屏幕上方的景深感知TrueDepth摄像头系统,其红外线发射器可以发射3万个侦测点,苹果实现了误差小于100万分之一的高精度人脸识别手机解锁——Face ID。

Face ID作为苹果3D视觉技术的里程碑式用例,背后是近7年的精心布局:一方面收购行业内优秀的公司,进行技术布局和生态建设,另一方面不断优化技术,发布专利,进行专利布局。

*苹果在3D视觉领域的布局

通过收购结构光先驱PrimeSense(微软Kinect 1代、华Xtion等方案提供商),苹果掌握了 3D视觉最核心的技术,并推动其3D体感传感技术向小型化发展。通过对Linx(多摄像头技术) 、Faceshift(面部表情识别技术) 、Emotient 、Flyby Media 、RealFace(人脸识别技术)等多家公司的收购,苹果已经为3D 视觉领域搭建了完善的生态体系。

*2015年苹果3D手势控制技术专利

2015 年 4 月,美国专利局公布苹果 3D 手势控制技术专利,是一种能够精确识别人手手势的 3D 机器视觉系统。利用这种技术可以通过专业化的算法精确地识别用户的手势。

*2015年苹果3D 手势控制专利-辨别视频中的物体

2015 年 10 月,苹果公司关于手势和面部识别的专利再次出现,当用户与他人通过视频相关的应用(如视频)进行互动时,他们可以通过简单的手势,将视频画面中特定对象保存为本地图片,这需要 3D 视觉技术才可以完成。

*2016年苹果3D手势识别专利结构图

2016 年 7 月,苹果公布新型 3D 手势控制专利,是一个 3D 图像投影仪,内嵌在一个诸如 iPhone 手机这样的 iOS 设备上,可以识别出用户的手势操作,由此可以作为把手势作为游戏的控制杆或者控制器。

*2015年苹果“低门槛面部识别”专利

2015 年 7 月,美国专利局批准了一项苹果提交的面部识别专利,名为“低门槛面部识别”,基于前置摄像头捕获的图像,然后图像处理器对该图像进行处理,随后便与存储在参考模块中的图像进行对比。

*2017年苹果 3D 手势识别专利图

2017 年 3 月苹果发布 3D 视觉新专利——利用景深信息进行人脸识别,该专利有望用于下一代 iPhone 的 3D 相机系统,该专利的部分技术出自 PrimeSense 公司。

*2017年苹果3D 人脸识别专利图

“刘海儿”+神经引擎

 

*三种主流的3D视觉方案

根据原理和硬件实现方式的不同,行业内所采用的3D机器视觉主要有三种:结构光、TOF 时间光、双目立体成像。详情可以参考第129期智能内参。

*三种主流的 3D 视觉方案代表性产品

双目立体成像方案软件算法复杂,技术还不成熟;结构光方案技术成熟,功耗低,平面信息分辨率高,但是容易受光照影响,识别距离近;TOF 方案抗干扰性好,识别距离远,但是平面分辨率低,功耗较大。

*三种 3D 视觉技术对比

综合来看,结构光方案更加适合消费电子产品前置近距离摄像,可应用于人脸识别 、手势识别等方面, 等方面,TOF方案更加适合消费电子产品后置远距离摄像,可应用于 AR、体感交互等方面。

*TrueDepth Camera System:高集成的传感器和摄像头(援引电子发烧友)

iPhone X的Face ID采用了人工智能加持的结构光方案:数据采集由该机正面上方的景深感知摄像机(即“刘海儿”,TrueDepth Camera System)完成,其红外线发射器可以发射3万个侦测点,利用神经引擎(Neural Engine)将反射回来的数据与储存在A11芯片隔区内的数据进行对比,实现用户面部的3D读取与处理。通过神经网络训练的加持,Face ID失误率仅为百万分之一,远小于Touch ID的五万分之一。

*结构光市场空间预测(援引中信证券)

剖去AI/神经网络部分,技术路径有一点眼熟。

Primesense 的Light Coding 就是以红外线发出激光,透过镜头前的DOE(衍射光栅)形成 激光 光斑,随后均匀分布投射在测量空间中,再透过红外线摄像头记录空间中的每个散斑,获取原始资料后,再透过芯片计算成具有3D深度的图像。

再来看技术亮点部分:神经引擎(Neural Engine)。

据称,神经引擎可执行“每秒高达6,000亿次操作”,以帮助加速人工智能任务,即专门针对Face ID,Animoji和AR应用程序的ASIC(专用集成电路/全定制AI芯片)。有了神经引擎,苹果高级副总裁 Phil Schiller很有底气的表示:A11 Bionic是一款智能手机到目前为止所能拥有的最强劲、最智能的芯片。

基于ASIC的深度学习,实现了高准确率之外,还能比基于通用芯片(GPU、FPGA)的方案减少功耗。正如第185期智能内参指出的,目前基于感知智能的算法发展大势,手机AI应用眼看着就要抬头,嵌入式AI芯片将成一大风向。目前针对3D视觉提供ADIC解决方案的主要有Primesense、奥比中光、Intel等。

从发布会用例看苹果AR野心

“刘海儿”TrueDepth Camera System实现的脸部追踪技术可以用于个人定制化表情Animoji(能捕捉并分析 50 多种不同的肌肉运动)、AR滤镜等,新的互动的方式有望提高用户的参与度和粘性,提高AR社交平台的经济价值,而3D 视觉所提供的景深信息和建模能力是现有普通摄像头无法比拟的。

此外,A11处理器加上搭载全新陀螺仪和加速计,刷新率达到60 fps,可以实现准确的动作追踪以及很好的渲染效果。Phil Schiller是这么说的:这是第一款真正为AR打造的智能手机。

发布会现场还演示了几款AR应用的小样:即时策略游戏《战争机器》(The Machines)、即时战略游戏《战锤40K:自由之刃》(Warhammer 40k:Free Blade)、职业棒球直播《At Bat》、星空注解《Skyguid》。

2017年3月,苹果CEO蒂姆·库克在接受《独立报》采访时表示:“苹果十分重视 AR 技术,而3D相机将成为AR技术的第一步,能够让互联网与现实世界相结合。”

库克还说了:2017 年秋季推出 iOS11 后,能看到各种各样的 AR 应用,目前开发人员正在开发大量基于 ARKit 的应用和游戏,它们也将于 2017 年秋季开始推出。

* ARKit 包含的三项核心技术用于在iOS系统上搭建AR系统

智东西认为,从目前的消费市场来看,苹果似乎遇到了一点危机:中国市场销量连续六季下滑;发布会刚结束,就被华为官方怼,被三星正面杠。但库克布局了7年的3D视觉以及狠心下血本的AI芯片(顺手给华为鼓个掌),给人机交互方式提供了新的思维,这或许,能帮助迷茫中的智能手机市场打破“天花板”。库克现在是还没有底气把3D视觉跟当年乔帮主的多点触技术相提并论,但如果iPhone X理念发展顺利的话,文案我们都给他想好了:十年前,我们比划手;现在,我们看脸。但即便不顺利,我想,我们也会感谢他,曾经认真尝试。

最后,再来复习一下乔帮主的指示:创新决定了你是领袖还是跟随者;了解消费者需求,而不是掌握消费者的反馈意见;不要追求复杂。

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

七年磨一剑 深度报告拆解iPhone X核心技术

不要再说除了刷脸和贵,没有啥子新意了。你们资道库克儿有多努力嘛~(╯ )╯

编辑:十四

当地时间9月12日,苹果在乔布斯剧院举行了秋季发布会,发布iPhoneX、iPhone 8/ 8 Plus、4K版Apple TV以及Apple Watch 3。其中,iPhoneX作为十周年献礼作,采用OLED全面屏(占屏比81.15%),内置64位架构的A11和嵌入式M11运动协处理器,取消Home键,采用Face ID解锁。

有的人就要说了:没有新意啊,全面屏啊双摄啊无线充电啊,追着中国厂商跑啊,“刘海儿”丑死啦。诚然,面向消费市场,智能手机的设计理念同质化愈发严重,工业工程和企业管理出身的库克很难在美学方面提供惊喜,但是,iPhoneX背后的AI+AR战略,也许值得关注。

本期的智能内参,我们推荐来自海通证券和中信证券的苹果AI+AR布局分析,结合智东西市场观察,从硬件和软件两个维度出发分析3D深度视觉的实现路径和可拓展前景,剖析iPhoneX的王牌技术以及库克的战略野心。如果想收藏本文的报告全文,可以在智东西(公众号:zhidxcom)回复关键词“nc186”下载。

以下为智能内参整理呈现的干货:

Face ID:不得已 or 新布局?

全面屏与指纹识别的冲突

*四种常见指纹识别技术(光学、电容、热敏、超声波)

自2016 年底开始,手机显示屏的竞争在三星、小米、LG等厂商的推动之下,已经向18:9甚至18.5:9、19:9、20:9的长宽比挺近。特别是小米MIX和三星S8的推出,使得高屏占比“全面屏”已经成为高端手机的最新潮流。

第162期智能内参指出,全面屏不是更换一块更大的显示面板那么简单,而是对面板、指纹识别、受话器、前置摄像头、天线等零组件重新设计的系统工程,将带动手机零组件发生巨变。

目前手机端指纹识别的主流方案为电容式方案,其信号难以穿透 0.3mm 以上的玻璃。因此,指纹识别在全面屏时代只有后置(三星S8)和Under Display(光学式与超声波式)两种较为可行的替代方案。前者体验不佳,后者技术成熟度不足。

预谋已久的3D视觉

*Face ID功能

2017年5月,美国Business Insider就爆料,苹果有超过 1000 名工程师正在从事 3D 相机的研发工作。

而最后发布会出来的成果是:iPhone X可以通过抬手或者点击来唤醒屏幕,借助神经网络技术和A11的生物引擎,加上屏幕上方的景深感知TrueDepth摄像头系统,其红外线发射器可以发射3万个侦测点,苹果实现了误差小于100万分之一的高精度人脸识别手机解锁——Face ID。

Face ID作为苹果3D视觉技术的里程碑式用例,背后是近7年的精心布局:一方面收购行业内优秀的公司,进行技术布局和生态建设,另一方面不断优化技术,发布专利,进行专利布局。

*苹果在3D视觉领域的布局

通过收购结构光先驱PrimeSense(微软Kinect 1代、华Xtion等方案提供商),苹果掌握了 3D视觉最核心的技术,并推动其3D体感传感技术向小型化发展。通过对Linx(多摄像头技术) 、Faceshift(面部表情识别技术) 、Emotient 、Flyby Media 、RealFace(人脸识别技术)等多家公司的收购,苹果已经为3D 视觉领域搭建了完善的生态体系。

*2015年苹果3D手势控制技术专利

2015 年 4 月,美国专利局公布苹果 3D 手势控制技术专利,是一种能够精确识别人手手势的 3D 机器视觉系统。利用这种技术可以通过专业化的算法精确地识别用户的手势。

*2015年苹果3D 手势控制专利-辨别视频中的物体

2015 年 10 月,苹果公司关于手势和面部识别的专利再次出现,当用户与他人通过视频相关的应用(如视频)进行互动时,他们可以通过简单的手势,将视频画面中特定对象保存为本地图片,这需要 3D 视觉技术才可以完成。

*2016年苹果3D手势识别专利结构图

2016 年 7 月,苹果公布新型 3D 手势控制专利,是一个 3D 图像投影仪,内嵌在一个诸如 iPhone 手机这样的 iOS 设备上,可以识别出用户的手势操作,由此可以作为把手势作为游戏的控制杆或者控制器。

*2015年苹果“低门槛面部识别”专利

2015 年 7 月,美国专利局批准了一项苹果提交的面部识别专利,名为“低门槛面部识别”,基于前置摄像头捕获的图像,然后图像处理器对该图像进行处理,随后便与存储在参考模块中的图像进行对比。

*2017年苹果 3D 手势识别专利图

2017 年 3 月苹果发布 3D 视觉新专利——利用景深信息进行人脸识别,该专利有望用于下一代 iPhone 的 3D 相机系统,该专利的部分技术出自 PrimeSense 公司。

*2017年苹果3D 人脸识别专利图

“刘海儿”+神经引擎

 

*三种主流的3D视觉方案

根据原理和硬件实现方式的不同,行业内所采用的3D机器视觉主要有三种:结构光、TOF 时间光、双目立体成像。详情可以参考第129期智能内参。

*三种主流的 3D 视觉方案代表性产品

双目立体成像方案软件算法复杂,技术还不成熟;结构光方案技术成熟,功耗低,平面信息分辨率高,但是容易受光照影响,识别距离近;TOF 方案抗干扰性好,识别距离远,但是平面分辨率低,功耗较大。

*三种 3D 视觉技术对比

综合来看,结构光方案更加适合消费电子产品前置近距离摄像,可应用于人脸识别 、手势识别等方面, 等方面,TOF方案更加适合消费电子产品后置远距离摄像,可应用于 AR、体感交互等方面。

*TrueDepth Camera System:高集成的传感器和摄像头(援引电子发烧友)

iPhone X的Face ID采用了人工智能加持的结构光方案:数据采集由该机正面上方的景深感知摄像机(即“刘海儿”,TrueDepth Camera System)完成,其红外线发射器可以发射3万个侦测点,利用神经引擎(Neural Engine)将反射回来的数据与储存在A11芯片隔区内的数据进行对比,实现用户面部的3D读取与处理。通过神经网络训练的加持,Face ID失误率仅为百万分之一,远小于Touch ID的五万分之一。

*结构光市场空间预测(援引中信证券)

剖去AI/神经网络部分,技术路径有一点眼熟。

Primesense 的Light Coding 就是以红外线发出激光,透过镜头前的DOE(衍射光栅)形成 激光 光斑,随后均匀分布投射在测量空间中,再透过红外线摄像头记录空间中的每个散斑,获取原始资料后,再透过芯片计算成具有3D深度的图像。

再来看技术亮点部分:神经引擎(Neural Engine)。

据称,神经引擎可执行“每秒高达6,000亿次操作”,以帮助加速人工智能任务,即专门针对Face ID,Animoji和AR应用程序的ASIC(专用集成电路/全定制AI芯片)。有了神经引擎,苹果高级副总裁 Phil Schiller很有底气的表示:A11 Bionic是一款智能手机到目前为止所能拥有的最强劲、最智能的芯片。

基于ASIC的深度学习,实现了高准确率之外,还能比基于通用芯片(GPU、FPGA)的方案减少功耗。正如第185期智能内参指出的,目前基于感知智能的算法发展大势,手机AI应用眼看着就要抬头,嵌入式AI芯片将成一大风向。目前针对3D视觉提供ADIC解决方案的主要有Primesense、奥比中光、Intel等。

从发布会用例看苹果AR野心

“刘海儿”TrueDepth Camera System实现的脸部追踪技术可以用于个人定制化表情Animoji(能捕捉并分析 50 多种不同的肌肉运动)、AR滤镜等,新的互动的方式有望提高用户的参与度和粘性,提高AR社交平台的经济价值,而3D 视觉所提供的景深信息和建模能力是现有普通摄像头无法比拟的。

此外,A11处理器加上搭载全新陀螺仪和加速计,刷新率达到60 fps,可以实现准确的动作追踪以及很好的渲染效果。Phil Schiller是这么说的:这是第一款真正为AR打造的智能手机。

发布会现场还演示了几款AR应用的小样:即时策略游戏《战争机器》(The Machines)、即时战略游戏《战锤40K:自由之刃》(Warhammer 40k:Free Blade)、职业棒球直播《At Bat》、星空注解《Skyguid》。

2017年3月,苹果CEO蒂姆·库克在接受《独立报》采访时表示:“苹果十分重视 AR 技术,而3D相机将成为AR技术的第一步,能够让互联网与现实世界相结合。”

库克还说了:2017 年秋季推出 iOS11 后,能看到各种各样的 AR 应用,目前开发人员正在开发大量基于 ARKit 的应用和游戏,它们也将于 2017 年秋季开始推出。

* ARKit 包含的三项核心技术用于在iOS系统上搭建AR系统

智东西认为,从目前的消费市场来看,苹果似乎遇到了一点危机:中国市场销量连续六季下滑;发布会刚结束,就被华为官方怼,被三星正面杠。但库克布局了7年的3D视觉以及狠心下血本的AI芯片(顺手给华为鼓个掌),给人机交互方式提供了新的思维,这或许,能帮助迷茫中的智能手机市场打破“天花板”。库克现在是还没有底气把3D视觉跟当年乔帮主的多点触技术相提并论,但如果iPhone X理念发展顺利的话,文案我们都给他想好了:十年前,我们比划手;现在,我们看脸。但即便不顺利,我想,我们也会感谢他,曾经认真尝试。

最后,再来复习一下乔帮主的指示:创新决定了你是领袖还是跟随者;了解消费者需求,而不是掌握消费者的反馈意见;不要追求复杂。

本文为转载内容,授权事宜请联系原著作权人。