阿里开源的3D数字人项目,实时面部捕捉,可在安卓设备本地运行!

阿里巴巴近日开源全新3D数字人框架:Mnn3dAvatar!

它是基于阿里巴巴开源的轻量级深度学习推理框架MNN(Mobile Neural Network)开发的全新3D数字人框架。

与传统的Live2D技术不同,Mnn3dAvatar专注于3D虚拟角色的实时面部捕捉与动画映射,能够将用户面部表情实时同步到3D虚拟角色上,呈现出更加立体、逼真的效果。

即便没有复杂的建模经验,开发者也可以快速制作出精美的3D数字人。

技术亮点 :

实时面捕:深度学习可以精准捕获用户表情,并快速映射到3D角色上,适用于直播、虚拟会议等场景。

轻量化部署:在MNN框架的优化驱动下,Mnn3dAvatar不需要高端硬件即可在众多设备之间高效演算,大大降低了开发门槛。

多模态支持:除了面部捕捉,还支持文本生成、图像生成等任务,为开发者带来灵活的接口。

开源生态:作为阿里开源生态的一部分,包含丰富的API及工具,可以无缝嵌入安卓、iOS等平台应用。

应用场景:

带货直播:主播可在3D虚拟角色的状态下直播,增加趣味性与互动性,降低真人出镜率,适用于电商平台打造差异化内容。

虚拟展示与娱乐:可实现虚拟偶像、游戏角色动画、虚拟会议场景下的沉浸式视觉体验。

教育培训:教育机构可以通过它创建虚拟讲师,提升在线授课的互动性和吸引力。

Mnn3dAvatar的发布不仅是阿里开源生态的一次重要扩展,也标志着3D数字人技术迈向更加普惠和多样化的新阶段。未来,随着更多开发者加入这一生态,3D数字人将在更多领域展现其无限潜力。

GitHub:https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README_CN.md

#AI开源项目推荐##github##AI技术##3D数字人#实时交互数字人#数字人##阿里开源#

原文链接:,转发请注明来源!