数字人演员活了!OmniHuman 1.5让虚拟角色“随地大小演”,导演梦成真!

近段时间,即梦AI动作不断,更新了视频生成的智能多帧功能、图像4.0模型发布、视频生成“主体参考”功能,而数字人 1.5也上线了。

这可不是普通的AI模型,而是能让虚拟角色“活”起来的革命性工具!

比起之前的数字人模型, 1.5数字人不再呆坐罚站,而是能走位、演戏、调镜头,甚至“随地大小演”。

最近,我实测了即梦团队的这个 1.5数字人新模型,结果真的太了!下面大家就跟着我一探究竟。

一、语义理解:听懂人话,自动演戏

传统数字人只会对口型,但 1.5能解析音频中的情绪和语义。

比如,我设定一位母亲在衣柜帮孩子找校服的场景,然后给的动作提示是“她拿到了小宝的红色校服”。

图片:

语义理解数字人模型_数字人_OmniHuman 1.5数字人动作调度

上传音频“小宝的红色白条边校服外套呢?昨天明明…哎,在这里,太好了!”

数字人_OmniHuman 1.5数字人动作调度_语义理解数字人模型

大家可以看到,模型不仅自动生成了拿出红色校服的这个我规定的动作,还配上这位母亲说话时,针对语意的不同表情和动作。

更狠的是,我连动作提示都没给,只上传了一段音频,选择说话角色,模型就可以判断出“男人对女人说话”的这个互动场景,完美还原对话动作!

数字人_OmniHuman 1.5数字人动作调度_语义理解数字人模型 语义理解数字人模型_OmniHuman 1.5数字人动作调度_数字人

二、动作调度:复杂走位,镜头随心

1.5不只对嘴型,还能处理时序动作和镜头运动。

比如下面这幅图片:

OmniHuman 1.5数字人动作调度_语义理解数字人模型_数字人

在数字人模型中,我设置男人的动作:“镜头前推,男人仰望天空,然后摘下眼镜,低头叹气”:

OmniHuman 1.5数字人动作调度_语义理解数字人模型_数字人

不仅如此, 1.5还可以随着语境,生成其他人物的动作和表情,以及主角走动时,显现出画面中没有的人物及物体。

比如,让下图中的主角快步走进会议室对着会议室的众人说:“抱歉啊,我来晚了。 今天的会议内容是,我看看啊……”。

数字人_语义理解数字人模型_OmniHuman 1.5数字人动作调度 语义理解数字人模型_数字人_OmniHuman 1.5数字人动作调度

除了原本会议室的人物会跟着主角说话做出相应的动作外,模型竟然还会随着镜头走动补充会议室开会的人物,这补充场景的能力,绝了!

三、情绪演绎:哭戏真香,愤怒更带感

数字人情绪灵不灵?看哭戏!

1.5根据音频起伏调整表演:

数字人_语义理解数字人模型_OmniHuman 1.5数字人动作调度 语义理解数字人模型_数字人_OmniHuman 1.5数字人动作调度

愤怒测试更惊艳,只给“暴跳如雷”提示,模型就输出炸裂效果。

语义理解数字人模型_数字人_OmniHuman 1.5数字人动作调度 数字人_语义理解数字人模型_OmniHuman 1.5数字人动作调度

看这表情,绝了。

四、群体协同:多人飙戏,自觉加戏

1.5最大亮点是演群戏!

在多人场景中,模型可以自动识别角色关系,这样我们就可以选择把哪句话分别给哪个角色。

比如:

数字人_语义理解数字人模型_OmniHuman 1.5数字人动作调度 数字人_语义理解数字人模型_OmniHuman 1.5数字人动作调度

模型会合理的分配所有人的动作表情,因为妈妈在讲话,所以所有人都会抬头(转头)看妈妈。

五、未来玩法:导演的春天来了

如果说前代数字人是布景演员, 1.5就是“可执导的数字演员”。它理解情绪、互动场景、配合镜头,甚至自觉加戏!

我已经脑洞大开:一人拍多角剧?整段MV?第一人称视角剧?模型在即梦Web端已上线了,大家都可以去体验!

1.5不只是技术升级,更是数字人赛道的革命。

它让虚拟角色从“工具”变“伙伴”,导演梦不再遥远。大家觉得呢?欢迎在评论区留下你宝贵的意见!

© 版权声明

相关文章

暂无评论

none
暂无评论...