正在阅读:

清华计算机博士用单台iPhone实现全息人物重建

扫一扫下载界面新闻APP

清华计算机博士用单台iPhone实现全息人物重建

“普罗米修斯”利用单台消费级RGBD摄像机,便可实现33毫秒单帧人物实时重建,其常见的应用场景有全息视频会议、远程教育和充当电影特技的替身。

左边是张煜,右边赵维凯。

文| 铅笔道 记者 程用杰

““普罗米修斯是古希腊是跟人类带来火种的神,他创造了人类,而我们所做的全息人物影像也相当于一个造人的过程。”张煜说道。今年5月,他创立“普罗米修斯”,提供动态三维人物重建云服务。 

“普罗米修斯”利用单台消费级RGBD摄像机,便可实现33毫秒单帧人物实时重建,其常见的应用场景有全息视频会议、远程教育和充当电影特技的替身。 

目前,张煜正在筹划天使轮融资,预计金额150万,出让比例5%,估值3000万,资金主要用于人员扩张产品研发。团队已经于上月获得睿鼎资本105万的种子轮融资,出让比例7%。

注:张煜承诺文中数据无误,为内容真实性负责。铅笔道作客观真实记录,已备份速记录音。

早在在2016年,张煜所在的清华实验室,首次实现了使用单台RGBD摄像机,实时三维动态重建技术,这让该技术有了从大型实验室或者工作室走向普通大众的可能性。而在最新的iPhone X中已经配置了RGBD摄像头,可以完成彩色深度图像的采集工作。

张煜认为风口已来。博士毕业后,他便毫不犹豫选择创立“普罗米修斯”,将这项技术推向民用。此前,他担任过清华所在实验室的项目负责人,研究方向是三维成像系统架构设计和实时性。

经过市场调研发现,张煜认为有两个痛点。第一,成本太高,去年天猫双11晚会,范冰冰的AR全息影像耗资300万;第二,对场地要求太高,市场需要8台彩色深度摄像机将人全方位围起来,需要2~3台服务器,才能模拟出全息通讯捕捉功能。

“普罗米修斯”demo,图中是张煜本人的成像。

张煜介绍,在三维重建技术中,最为关键的参数有两个。一是效果,分为主观参考量和客观参考量,前者是动作和面部表情的视觉合理性,后者是与标准的偏差;二是速度,目前团队能够做到的重建速度是33毫秒每帧,这是人眼识别物体运动的临界值,处理和传输速度越快图像便越是流畅,不会有卡顿的结果。

三维全息技术关键分为四步,分别是采集、重建、传输和呈现。

“普罗米修斯”当前的技术攻坚分为两个方向。一方面重建环节,优化算法,进一步提高重建速度,其目标是16毫秒每帧;另一方面,在研发中,团队使用人工智能技术,通过单摄像头信息得到人的骨骼姿态信息。

当前,“普罗米修斯”正在对接AR眼镜生产商。张煜坦言,这里最大的挑战是在呈现介质,AR眼镜会跟不上前三步的发展,同时,团队也将考虑使用替代产品,比如采用iPad作为呈现介质。

早在创业之初,张煜就遭受到不少质疑。“已经有语音和视频通话了,为什么还要做全息人物全景影像通讯呢?”

面对质疑,张煜并不动摇。“我们解决的不是通讯问题,而是出行难题,让用户足不出户就可以完成很多以前必须面对面进行的沟通,因为人们在沟通中有55%的信息需要通过面对面的身体语言来表达。”

任何一种技术,能够从实验室走向民用才是有生命力的技术。张煜谈到,以照相为例,以前有照相馆,专门的摄影师,而现在大家每天在朋友圈晒自拍,手机随时随地都能拍照。在不久之后,全息成像技术也是如此。

目前,“普罗米修斯”团队共有3人。张煜本人主攻系统的架构和实时性传输方面;赵维凯是连续创业者,有11年的信息工程管理经验,负责市场和运营;黄秀峰是张煜清华的师弟,获得过清华大学2018人工智能挑战赛一等奖,主攻重建算法方面。

资金到位后,张煜计划建立6人的核心技术团队,并依托清华和深圳大学建立学生兴趣团队社区,培养潜在的人才。

在未来,“普罗米修斯”预计今年底,开发出跑通采集、重建、传输和呈现这四个步骤功能云,并在明年5月上线APP,正式商业运行。

编辑 | 薛婷  校对 | 刘晶荣

如需转载文章请联系铅笔道微信客服号铅笔道小铅笔(微信号:qianbidao2018)获取授权资质,否则我们将依法追究相关责任。

本文为转载内容,授权事宜请联系原著作权人。

评论

暂无评论哦,快来评价一下吧!

下载界面新闻

微信公众号

微博

清华计算机博士用单台iPhone实现全息人物重建

“普罗米修斯”利用单台消费级RGBD摄像机,便可实现33毫秒单帧人物实时重建,其常见的应用场景有全息视频会议、远程教育和充当电影特技的替身。

左边是张煜,右边赵维凯。

文| 铅笔道 记者 程用杰

““普罗米修斯是古希腊是跟人类带来火种的神,他创造了人类,而我们所做的全息人物影像也相当于一个造人的过程。”张煜说道。今年5月,他创立“普罗米修斯”,提供动态三维人物重建云服务。 

“普罗米修斯”利用单台消费级RGBD摄像机,便可实现33毫秒单帧人物实时重建,其常见的应用场景有全息视频会议、远程教育和充当电影特技的替身。 

目前,张煜正在筹划天使轮融资,预计金额150万,出让比例5%,估值3000万,资金主要用于人员扩张产品研发。团队已经于上月获得睿鼎资本105万的种子轮融资,出让比例7%。

注:张煜承诺文中数据无误,为内容真实性负责。铅笔道作客观真实记录,已备份速记录音。

早在在2016年,张煜所在的清华实验室,首次实现了使用单台RGBD摄像机,实时三维动态重建技术,这让该技术有了从大型实验室或者工作室走向普通大众的可能性。而在最新的iPhone X中已经配置了RGBD摄像头,可以完成彩色深度图像的采集工作。

张煜认为风口已来。博士毕业后,他便毫不犹豫选择创立“普罗米修斯”,将这项技术推向民用。此前,他担任过清华所在实验室的项目负责人,研究方向是三维成像系统架构设计和实时性。

经过市场调研发现,张煜认为有两个痛点。第一,成本太高,去年天猫双11晚会,范冰冰的AR全息影像耗资300万;第二,对场地要求太高,市场需要8台彩色深度摄像机将人全方位围起来,需要2~3台服务器,才能模拟出全息通讯捕捉功能。

“普罗米修斯”demo,图中是张煜本人的成像。

张煜介绍,在三维重建技术中,最为关键的参数有两个。一是效果,分为主观参考量和客观参考量,前者是动作和面部表情的视觉合理性,后者是与标准的偏差;二是速度,目前团队能够做到的重建速度是33毫秒每帧,这是人眼识别物体运动的临界值,处理和传输速度越快图像便越是流畅,不会有卡顿的结果。

三维全息技术关键分为四步,分别是采集、重建、传输和呈现。

“普罗米修斯”当前的技术攻坚分为两个方向。一方面重建环节,优化算法,进一步提高重建速度,其目标是16毫秒每帧;另一方面,在研发中,团队使用人工智能技术,通过单摄像头信息得到人的骨骼姿态信息。

当前,“普罗米修斯”正在对接AR眼镜生产商。张煜坦言,这里最大的挑战是在呈现介质,AR眼镜会跟不上前三步的发展,同时,团队也将考虑使用替代产品,比如采用iPad作为呈现介质。

早在创业之初,张煜就遭受到不少质疑。“已经有语音和视频通话了,为什么还要做全息人物全景影像通讯呢?”

面对质疑,张煜并不动摇。“我们解决的不是通讯问题,而是出行难题,让用户足不出户就可以完成很多以前必须面对面进行的沟通,因为人们在沟通中有55%的信息需要通过面对面的身体语言来表达。”

任何一种技术,能够从实验室走向民用才是有生命力的技术。张煜谈到,以照相为例,以前有照相馆,专门的摄影师,而现在大家每天在朋友圈晒自拍,手机随时随地都能拍照。在不久之后,全息成像技术也是如此。

目前,“普罗米修斯”团队共有3人。张煜本人主攻系统的架构和实时性传输方面;赵维凯是连续创业者,有11年的信息工程管理经验,负责市场和运营;黄秀峰是张煜清华的师弟,获得过清华大学2018人工智能挑战赛一等奖,主攻重建算法方面。

资金到位后,张煜计划建立6人的核心技术团队,并依托清华和深圳大学建立学生兴趣团队社区,培养潜在的人才。

在未来,“普罗米修斯”预计今年底,开发出跑通采集、重建、传输和呈现这四个步骤功能云,并在明年5月上线APP,正式商业运行。

编辑 | 薛婷  校对 | 刘晶荣

如需转载文章请联系铅笔道微信客服号铅笔道小铅笔(微信号:qianbidao2018)获取授权资质,否则我们将依法追究相关责任。

本文为转载内容,授权事宜请联系原著作权人。