Motionshop - 阿里推出的AI角色动画项目,可替换视频人物为3D

AI工具4周前更新 AI工具集
6.2K 0

Motionshop是什么

Motionshop是阿里巴巴智能计算研究院(XR实验室和TIDE三维渲染团队)推出的一个AI角色动画框架,可将视频中的人物角色替换为3D化身,同时不改变视频中的其他场景和人物。该框架利用视频处理、角色检测/分割/追踪、姿态分析、模型提取和动画渲染等多种技术,使得动态视频中的主角能够轻松跨越现实与虚拟的界限,一键变身为有趣的3D角色模型。

Motionshop

官方项目主页:https://aigc3d.github.io/motionshop/

在线体验入口:https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary

Motionshop的功能特色

  • 视频人物替换为3D化身:用户只需上传视频,AI便能智能识别视频中的主要人物,并将其无缝转换为生动的3D角色模型。
  • 动作同步与真实感:Motionshop不仅替换人物,还能精确复刻原视频中人物的动作细节,确保3D角色的动作流畅自然,提供高度逼真的视觉效果。
  • 现实与虚拟的无缝融合:通过Motionshop,现实世界的人物与3D虚拟角色得以完美融合,创造出跨越现实与虚拟界限的全新体验,为视频内容增添无限可能。
Motionshop Demo

Motionshop的工作原理

Motionshop框架由两部分构成,一个是用于提取修复背景视频序列的视频处理流程,另一个是用于生成3D虚拟角色视频序列的姿态估计和渲染流程。通过并行两条线并使用高性能光线追踪渲染器TIDE ,整个视频替换过程可以在几分钟内完成。

Motionshop的技术架构

具体的技术如下:

  1. 角色检测:首先,Motionshop利用先进的算法精确识别视频中的角色,确保后续处理的准确性。
  2. 视频对象分割和跟踪:在角色检测的基础上,系统进一步对视频对象进行像素级的分割和跟踪,为后续的修复和替换做好准备。
  3. 视频修复:采用先进的视频修复技术,将背景视频序列中的瑕疵和不完美之处进行修复
  4. 姿态估计:通过应用CVFFS等高精度姿态估计方法,系统能够稳定地捕捉角色的动作姿态,为动画重定向奠定基础
  5. 动画映射:在估计出角色的姿态后,Motionshop将这些姿态重新映射到选定的3D模型上,使新模型能够自然地模拟原始角色的动作
  6. 光影估计:为了确保新模型与原始视频的光影效果一致,系统会进行精细的光影估计,以实现无缝的视觉融合。
  7. 3D渲染:利用TIDE渲染引擎,Motionshop将3D模型渲染成逼真的图像序列,同时结合运动模糊、时间抗锯齿等算法,提升渲染质量
  8. 视频合成:最后,将新生成的3D渲染图像与修复后的视频背景进行合成,创造出与原始视频无缝对接的全新视频序列。

如何使用Motionshop

  1. 访问Motionshop的ModelScope魔搭社区Demo体验地址:https://www.modelscope.cn/studios/Damo_XR_Lab/motionshop/summary
  2. 准备一段视频,确保视频中的人物主体完整,且视频时长不超过15秒。
  3. 上传视频后,系统将自动选择视频中的人物
  4. 选择你想要用于替换的虚拟角色模型
  5. 最后点击生成视频按钮,等待一会儿即可生成结果
© 版权声明

相关文章

暂无评论

暂无评论...