溥仪来自Xi尔班纳。
来自量子位报道| QbitAI,微信官方账号。
你一定认为,AI这种前沿技术,主要是活在科技公司、大学和科研机构的论文、Xi二七硅谷的资本的青睐中。
这些地方有计算能力,有人才,有资金。
但事实上,即使是中国最简单的农民也已经使用了AI。
例如,Aauto Quicker平台上的1.9亿短视频创作者也在用AI技术丰富他们的短视频作者。
那么,具体怎么用呢?
量子位采访了Aauto faster的技术团队,介绍了Aauto faster平台上的几个AI应用及其背后的原理。
#低配手机也能用的Animoji
最有意思的功能是“可爱脸Kmoji”,将视频中人物的头像变成虚拟的卡通形象,既能给视频增添乐趣,又能帮助不想露脸的用户。
类似于苹果在2017年推出的Animoji功能,它利用面部识别,从用户脸上细微的表情生成相应的卡通形象。
kmoji版Aauto快手在线名人手工耿。
也经历了“孟棉克磨吉”的影响:
至于如何生成这种效果,Aauto faster的技术团队介绍,需要使用基于物理的真实感渲染算法,让Kmoji上的金属和皮革模型看起来更加逼真。
人脸模拟的整个过程依赖于三维结构恢复和三维信息融合,通过三维重建技术恢复三维结构。2D信息融合后,分析人脸特征,生成虚拟图像。
在这里,3D人脸重建需要在Aauto faster中有上万个3D人脸数据集,包括每个人的年龄、种族、脸型、表情,并通过人脸关键点识别技术帮助3D人脸重建,无论你是哭是笑都可以重现。
此外,应该分析用户的面部属性来生成头像,并且应该通过分类/回归/分割来区分性别、年龄、肤色和面部形状等信息。
之后,因为生成的3D卡通图像会随着人的表情而变化,所以需要分析面部表情,以便在卡通图像上显示相同的表情。
这里需要通过2D RGB视觉信息进行建模和求解,实时获取人脸关键点和重建的3D模型,对各种模态信息进行建模和对齐,求解面部表情,驱动虚拟卡通图像做各种逼真的动作。
另一个问题是,如何让模型在手机上运行(甚至在低端手机上运行)?
据Aauto Quicker的技术团队介绍,为了让模型在手机上流畅运行,需要对图像进行预处理,结合各种预处理操作,对预处理后的图像内存进行统一分配和回收,并利用NEON加速和苹果自身的accelerate加速,使运行时只占用2M的空间。
最后,在保证预测精度的前提下,Aauto Quicker技术团队量化了AI模型的局部INT8,使得运行速度提高了一倍多,同时AI预测模型的占用空间也减少到原来的近四分之一。
#量子位
世界上的另一个你
这是去年在乌镇举行的世界互联网大会上,Aauto Quicker制作的一款线下应用。这款游戏以体验者的面孔为基础,匹配平台上亿Aauto Quicker用户上传的公共视频,找到和你长得很像的人。
/390bb87484da434fb993912a9ff4492c' alt='揭秘:快手用AI在短视频里玩出三大花样,背后是怎样的技术原理?' />这个应用本身是靠人脸检测。
据快手技术团队介绍,在提取人脸特征后,系统在快手后台数据库中进行检索,找到相似度最高的三个人脸图像。
之后,再对这三个人脸图像进行更细粒度的属性分析,得出对应的年龄、性别、表情等属性,基于属性对检索结果进行重排,从三张人脸里挑出和体验者长得最像的那个。
# 人像3D打光
快手上的另外一个AI应用则是人像3D打光,就像是短视频版的“逆光也清晰”,在光线不好的情况下,自动“打”一束光到用户脸上,让生成的图像效果有非常自然、符合面部形状的光线。
人像3D打光主要利用了实时人脸三维重建技术,利用了人脸参数化先验模型,根据输入图,自动匹配人脸几何信息,得到人脸3D模型参数,获得人脸3D网格模型。
另外,还可以根据不同的场景设置不同的光源,利用实时渲染技术对虚拟人脸进行渲染,得到面部光影图;对输入人像进行前景分割,得到前景分割蒙版,也可以根据原图得到其他蒙版信息;这些蒙版分别作为不同的图层按照场景需求特定的方式叠加到原图上,就可以得到打光结果。
# OMT
除了计算机视觉、计算机图形学方面的应用,据快手算法科学家张国鑫介绍,快手在2019年也会将语音识别融入到产品中,开发更多应用。
― 完 ―
诚挚招聘
量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。
量子位 QbitAI 头条号签约作者
'' 追踪AI技术和产品新动态