用 CTA3 玩一次 iPhoneX 面部捕捉

作者:MotionWalk Studios
2018-10-08
4 1 0

面部捕捉

如果能有一种经济实惠的面部捕捉系统,可能对提升我们游戏的细节会有不小的帮助。比如我们可以为 RPG 对话的角色加上面部表情,或者更厉害的:对上口型,那一定会为游戏增色不少,也会让角色更加个性化。

可惜,这一直是个难题,属于锦上添花。对小团队来说,花费精力在这上面恐怕真的不值得。

不过自从 iPhoneX 的 TrueDepth FaceID 诞生后,很多人开始致力于使用 iPhoneX 出色的面部识别功能来获取面部数据。我们已经见过不少尝试性的应用,不过目前尚未发现特别出色以及通用的。但是,相信随着时间推移,成熟而又高性价比的产品会最终出现。

今天,我们来试试一款叫做 CrazyTalk® Animator 3 的软件,看看它做得怎么样。(本文的撰写出于介绍目的,因为此软件目前并不适合用于游戏开发。仅供参考)

CrazyTalk® Animator 3

以下是来自官方(Reallusion)的简介:

CrazyTalk Animator(以下简称 CTA)是现今最简单的 2D 动画制作软体,能让不同程度的使用者花费最少的时间创作出动态插图、动态漫画等专业动画作品。利用 CTA3 的弹性运动系统,任何人都可以立即套用范本,将图像、标志或随手可得的生活道具转变为动画。角色部分,CTA3 拥有丰富的 2D 角色范本和运动素材库,强大的 2D 骨架编辑器、脸部操偶和自动对嘴功能,应用于影片、网路、游戏、Apps 和简报等,提供使用者无与伦比的操作体验。

这里是一段官方的视频,看了大概可以了解一些它的特性:

所以这是一个出色的二维动画制作工具。它的主要功能有:

  • 打造 2D 角色
    使用自由骨架工具或角色范本,轻松将任何图像转换为动画角色。
  • 制作 2D 动画角色
    为人类、四足动物、翅膀和脊椎动物提供了大量的专业动作素材库。并提供具有 IK / FK 运动编辑和 sprite 图层控制的时间轴。
  • PSD 汇入 / 汇出功能
    我们打破了图画和动画的藩篱,透过提供完整的 PSD 汇入/汇出功能,解决所有设计难题。
  • 即时脸部动态捕捉
    现在有了 CrazyTalk Animator 3 的 LIVE FACE App 就能使用 iPhone X 对任何 2D 角色进行即时脸部动态捕捉!

值得注意的是最后一条:“即时脸部动态捕捉”,下面让我们来试试。

即时脸部动态捕捉实践

1、下载 CrazyTalk® Animator 3

首先,我们去官网下载可以免费使用的试用版本。

Win / Mac

去下载

下载后,得到下载器,就可以直接在线安装了(我是用的 Mac 版,翻墙安装)。

安装之后,还可以下载附加的素材包,这些都有提示。下载完这些素材直接进行安装,它们会自动出现在 CTA3 软件的资源库中。


2、下载 Live Face App

前往 AppStore 下载官方的软件。

LIVE FACE

AppStore 去下载

3、开始准备软件

接下来就可以开始做准备工作了。

打开 CTA3 软件后的默认界面一般是这样:

左侧是 Stage,右侧是内容管理区

我们在内容管理区选择一个角色:(Actor | Actor Template | Character)

然后将这个角色拖到 Stage 区域,我们的角色就选好了。


4、打开 iPhoneX 上的 LIVE FACE app

打开 iPhoneX 上刚刚下载的 App,画面大概如下:

LIVA FACE App

打开 App 以后,随意运动头部或者做出表情,就会看到下方数值的变化,说明数据已经准备就绪了。

这时要注意上方图片显示的 IP 地址(画红框处),然后进行下一步。


5、连接设置

要保证 iPhoneX 和 CTA3 软件的通讯,有两种做法:

  1. 将 iPhoneX 和运行 CTA3 的电脑均连接至同一 WiFi;
  2. 将 iPhoneX 设为热点,然后运行 CTA3 的电脑连接到这个热点。

这两种方式均可,只要软件和 iPhoneX 可以正常连接就 OK。


6、连接 iPhoneX 和 CTA3

回到 CTA3 软件中,选中我们拖到 Stage 上的角色,您将会发现左边图标栏的摄像头按钮会变成可用:

点击这个按钮,会弹出一个面部识别的窗口(Facial Mocap)。

点击“Server Settings”按钮,会弹出设置框,提示输入 IP 地址,也就是前面提到的 iPhoneX App 里面显示的地址。

设置正确的话,点击这个窗口的 Connect 连接,如果成功连接的话,Connect 前面的小圆点将会是绿色。

如果不成功,应该就是连接的问题,需要回到第 5 步再次尝试。


7、捕捉面部表情

如果一切连接就绪,那么就可以开始进行面部表情录制,只要点击上面窗口中的 Record 就可以开始了。

您会发现角色的表情会跟着您的表情同步变化。就像下面的视频展示的那样:


8、结束

录制结束以后,可以进行回放或者重新录制。您可以看看效果啦。

注意事项

到此,我们就进行了一次面部捕捉的试验,不过这里有几点要注意:

  • 运行 CTA3 软件的电脑最好配置高一些;
  • 保证网络环境的稳定和流畅很重要;
  • 输出可以有多种媒体格式,但是没有 raw 数据,这个不好。

目前经过测试,输出的时候没有数据输出比较令人失望,如果有标准数据输出的话,那么我们就可以很容易的利用到自己的作品中。目前只输出媒体格式的话,只能在有特定需要的时候使用。

另外这款软件其实功能很强大,倒是值得推荐。但是如果您是冲 LIVE FACE 去的话,那么要注意,标准版是不支持的,需要 PRO 版,价格也不便宜。

总结

所以这一次的尝试,倒是可以感觉到通过 iPhoneX 来做面部捕捉的方式比较靠谱,比起常用的直接采用摄像头识别质量要好很多。不过这个软件虽然证明了这一点,却并不适合开发游戏使用,所以仅供大家了解和参考。

其实,早已经有很多人通过 ARKit 实现了在 Unity 中捕捉面部数据,然后将其应用在自己游戏中。也有人将这些数据导入到各种 3D 软件中,如果您有兴趣,而目前又没有满足您需要的工具,那么也可以尝试自己动手开发一套。

对此有兴趣的同学,可以参考以下内容:

近期点赞的会员

 分享这篇文章

参与此文章的讨论

暂无关于此文章的评论。

您需要登录或者注册后才能发表评论

登录/注册