像真实偶像一样演出!万代爆款《偶像大师灰姑娘》动画制作秘诀

GameLook报道/9月2日到9月4日,日本计算机娱乐协会(CESA)在线上主办了日本最大的面向游戏开发者的会议“计算机娱乐开发者大会2020”(CEDEC 2020)。

本稿件基于会议首日(9月2日)的演讲《以<偶像大师灰姑娘女孩 星光舞台>为例 让偶像们在长期运用中更加绽放出魅力!3DCG视觉效果的优化及实现方法》进行报道。

本部分将基于有着五年经验的手游《偶像大师灰姑娘女孩 星光舞台》(下文简称《CGSS》)的视觉优化内容,以部分3DCG的制作为例,介绍一些为了引入新技术、优化内容而实施的政策。

发表本次演讲的是Cygames3DCG设计师团队动作项目的负责人五十岚苍先生和技术总部客户端游戏工程师的横山亚弥小姐二位。

首先,先介绍一下本部分会涉及的《CGSS》。本作是2015年9月上线的偶像题材的音乐游戏。到目前为止,登场的偶像人数已经达到了190人。

其次,关于《CGSS》的3DCG部分。到现在,《CGSS》中登场的最高稀有度SSR等级的衣服的模型数已经超过400件以上,所收录的配有3DMV的乐曲数量也已有200首以上。

接下来将介绍本部分的主要内容,3DCG的制作示例。3DCG制作示例的介绍将按照,基于MV追加实装的新功能的实例介绍、衣装优化的介绍、新应用内容“3Dコミュ”的制作示例介绍等三个部分的顺序依次进行。

首先是关于基于MV追加实装的新功能的实例介绍。也就是3DCG设计师和工程师们为了实现原案提出者的想法而具体使用的技术或实现方法。

五十岚先生首先介绍了《CGSS》的MV制作的工作流程。整个工作流程以MV的check-off开始。MVcheck-off也就是设计者向MV制作的具体负责人粗略分享MV的整体概念。在MVcheck-off的过程中会确定MV表现方法的大致方针。接下来,在关于MV内容能否实现这一问题上进行了技术层面的探讨磨合之后,就到了共享镜头和演出效果的整体概念的部分以及背景、动作等等的制作部分,再经过设计者的检查以及最终调整之后,MV才算最终制作完成。

这次将基于两个有新机制实装的MV的例子以及一系列其他事例,来介绍一下工作流程中的MVcheck-off、技术层面的磨合、镜头及演出效果的概念共享等环节到底有什么要求。

首先介绍的例子是关于《拜托了!辛德瑞拉(GRAND VERSION)》“想做出真实的Live感”的要求。“GRAND VERSION”是2019年追加的最大15名偶像共同表演MV的新功能。这首歌是《CGSS》中第一首实装“GRAND VERSION”的歌曲。《拜托了!辛德瑞拉》这首歌曲在游戏中早就已经实装,但为了让新的“GRAND VERSION”功能显得更加突出,就给新MV定下了“表现出真实的Live感”的方针,以此制作MV。

那么为了实现“表现出真实的Live感”这一方针,需要做什么呢?开发组多次讨论之后得出的结论是追加两个新功能。

新追加的功能之一是在MV中出现“打call”。因为对于Live来说,观众的“打call”是不可或缺的要素,故而在MV中也加入了“打call”。游戏中的“打call”是在公司内有此意愿的“制作人”(这里指《偶像大师》系列的粉丝)们帮助之下完成并收录的。

追加的另一个功能则是“舞蹈以外的动作”。在现实的Live中,演出者不仅要唱歌跳舞,还要在设置在会场里的花道上行走,移动到别的舞台上,在间奏部分还有煽动吸引制作人、以及互相击掌等等许多舞蹈之外的动作。

在《拜托了!辛德瑞拉(GRAND VERSION)》中,为了表现以上这些“舞蹈以外的动作”,追加了60种以上的动作表现。

通常的MV都是一镜到底,只拍舞蹈,虽然根据登场人数会有区别,但一部MV基本只会使用1到5种动作,或者根据MV中插入的表演和姿势进行变动。

《拜托了!辛德瑞拉(GRAND VERSION)》的情况则是,因为设想好了要在大舞台上移动以及进行互动,以往一镜到底的摄影方式就行不通了。并且为了表现出“真实的Live感”,必须展现出偶像们之间的不同,因此就尽量不能反复使用同一个动作。用了复数的摄影去表现MV中偶像们相似的动作和不同的表演的结果就是,(《拜托了!辛德瑞拉(GRAND VERSION)》中共出现了)作为《CGSS》中的MV来说很破格的60种以上的动作。

此外,“舞蹈以外的动作”中还有角色之间的相互击掌。因为真实的Live中表演者们经常会做出击掌以及牵手等动作,因此设计者也想在MV中体现出击掌的样子。但是,以当时的制作方式是无法让身高有差距的偶像们进行击掌的。为了实现击掌,制作组导入了新的“IK动作”。

“IK动作”,即让存在身高差的角色能够不产生动作破绽就可以相互接触的制作法。引入这个“IK动作”之后,就能够成功表现击掌、牵手等动作了。此外,(这套方法)还做出了一套与固定背景装饰品不同,不管哪个角色都能在同一个地方触发的动作。比如开门、翻书、上下楼梯等。

只要在表现这些动作的“IK动作”中将必要的角色,即身高最矮的横山千佳及身高最高的诸星琪拉莉的动作做好再进行拓展,就能让不管身高差多少的角色都能够进行击掌了。

在追加了以上新功能之后,《拜托了!辛德瑞拉(GRAND VERSION)》就能按照“表现出真实Live感”的方针进行MV制作了。

在演讲中也播放了实际的MV,其中表现了偶像们一边唱歌一边行走,与观众席互动,各种偶像无论身高都能够相互击掌的样子。此外据五十岚先生所说,在应用了为了实现击掌而制作的“IK动作”的制作方式之后,还实现了《M@GIC☆(GRAND VERSION)》中的14人牵手、《Secret Daybreak》中的双手重合、《幸福的法则~rule~》中的牵手等等场景。

接着要介绍的案例是,《Unlock Starbeat》中“让所有偶像都演奏乐器”的要求。这首歌的MV是《CGSS》中第一个需要使用乐器的MV。在此之前,没有过要让偶像们拿着乐器的例子,为了实现这个要求,所有问题都需要解决。面临的问题有三个:偶像们体型的差距、偶像们不同惯用手的差距、动作捕捉的摄影方法。接下来分别介绍这些问题的解决方法。

首先是关于偶像们之间体型差距的处理方法。跟乐器演奏有关的问题大致有两个。第一个是身高。为了让各种身高的偶像拿着乐器都不会显得违和,方法是让乐器与偶像大致处于同一规模。

身高最矮的横山千佳的键盘相对较小,身高最高的诸星琪拉莉则更大

跟乐器演奏有关的另一个体型问题是胸部。胸部的差距会影响像吉他或者贝斯这样的乐器的肩带的位置。《CGSS》中模型的胸部分为SS、S、M、L、LL五种大小,如果不加处理直接将模型放到MV中,SSsize的胸部会和肩带之间产生空隙,LLsize的胸部则会发生穿模的问题。

为了应对这个问题,实装了根据胸部的大小调整吉他或贝斯肩带位置的功能,让不论角色胸部大小都能没有违和感的拿起吉他和贝斯。

调整过肩带位置之后的图像,可以看到肩带的位置和形状根据模型的胸部大小发生了改变

接下来介绍应对偶像惯用手不同的方法。《CGSS》中存在着一名用左手弹吉他的偶像木村夏树,因为有像她这样,用左手弹吉他有着特殊意义的偶像存在,所以有了让左利手的偶像用左手弹吉他的要求。为了解决这个问题,(制作组)准备了将右利手角色的动作进行反转而制作出的左利手角色用的动作的资料,实装了根据偶像实际的惯用手切换动画的功能。但是,仅仅将动作进行反转,会导致偶像不能完全出现在镜头中。这个问题出现的原因是随着动作的反转,角色的移动地带也发生了反转,因而与预设的站立位置出现了偏差。

为了解决这个问题,在转换动作的功能的基础上,增加了改变镜头的功能,也就是制作了并实装了左利手专用镜头。由此偶像在镜头中显示不全的问题也得到了解决。

此外,因为也有需要镜头中同时出现吉他和贝斯二者的时候,因此不止吉他,贝斯也要制作左利手用的动作,最终就根据角色的惯用手制作了四种模式的镜头。

最后的问题是动作捕捉的摄影方式。在有乐器演奏的MV中,弹奏乐器的动作的真实性很重要,与以往的MV中的舞蹈都有编舞不同,为了表现出了乐器演奏的真实感,必须要请真正进行过Live演出的乐队成员来进行动作捕捉。

这样做的结果就是偶像演奏乐器的动作变得真实富有说服力。不过,手指动作捕捉摄影的精度还不够高,在摄影后还要对动作进行调整的事也常常发生。因此手部的演奏动作会单独进行摄影,再由动作设计师进行调整。

在本部分,也有现实乐队成员的演奏与动作设计师处理过后的演奏的对比。模型再现了实际乐队成员演奏的样子。

在解决了以上三个问题之后,《Unlock Starbeat》得以以“想让所有偶像演奏乐器”这一主题概念制作。

在展现了这两个案例之后,五十岚先生还介绍了在各个MV中实装的新制作方式。第一个是应对“想要增加镜头的表现方法”的要求而实装的“多镜头”功能。

“多镜头”功能是指将用复数镜头进行rendering(对原数据进行处理或演算,生成画像或者影像)的结果根据喜欢的mask(只抽出指定的部分)切下之后,用不止一张画而是多样的镜头表现出来的功能。这个功能在《Gossip Club》和《赐Oumuamua以幸运》这两部MV中使用,大幅增加了镜头的表现空间。

第二个是“想在MV中插入姿势或者表演动作”的要求。为了应对这个要求创造出的功能是“Chara Motion Overwrite”。

“Chara Motion Overwrite”是舞蹈动作中插入别的动作的功能,此功能大幅提升了舞蹈以外动作的表现空间,在《Fascinate》、《O-Ku-Ri-Mo-No Sunday!》等乐曲的MV中得到应用。

在引入“Chara Motion Overwrite”功能之前,为了实现同样的效果,都需要将舞蹈动作数据的一部分删去,在删去的地方再插入姿势和表演等的动作数据。但这样做的时候,如果想要改变姿势和表演的时候,不得不再次委托动作的负责者,因此镜头的负责人就不能随意改变镜头的插入,最终导致效率低下。

“Chara Motion Overwrite”功能能够将clip(影像的编辑中要用到的一个一个素材)化的动作数据按照喜欢的时机进行配置,从而减少了镜头负责人的无用交流,提高了工作效率。顺带一提,在第一个例子《拜托了!辛德瑞拉(GRAND VERSION)》中得以用到60种以上的动作,这个功能就起到了很大的作用。

第三个是“希望表现出有风在吹的样子”的要求。为此实装了“风功能”。

顾名思义,“风功能”是让装饰品之类能够摇动的东西如同实际有风在吹一样摇动的功能。这个功能还能表现出在海中飘荡浮游的感觉,在此功能实装后,在以户外为舞台的MV中,偶像的表现能够更加真实自然。

此外,“风功能”不仅能让发辫这种自然事物周期性的摇动,也能不让头发、衣服摇动而是仅仅随机性地发出沙沙声。这个功能在《Secret Daybreak》和《微笑Diary》等MV中有所应用。

以上是实际使用了“风功能”的动画。动画表现了发辫、装饰品的摇动方式慢慢产生变化的场景。顺带一提,右侧的偶像速水奏的头发看似好像完全没有摇动的样子,但实际上,在为了制作《Secret Daybreak》实装“风功能”的时候,(制作组)将速水奏所有的头发模型都调整成了摇动。

第四个是,“为特定的偶像添加固有演出”的要求。为实现这一要求追加的功能叫做“Timeline划分功能”。这个功能能够根据指定的条件,对镜头或者动作进行划分,从而表现某角色固有的或者某单位限定的特别演出。在《Gaze and Gaze》的MV中就用到了这一功能。同时,这一功能还是上文《Unlock Starbeat》的例子中提到的判断惯用手改变镜头和动作功能的改良版。

到此,MV中的新功能实装的例子就介绍完毕了。接下来是由横山小姐带来的关于为了偶像更能展现出魅力而进行的衣装更新的介绍。《CGSS》中的衣装指在MV中能够让偶像们更充分展现出魅力的物品。为了符合各偶像的个性,(制作组)设计出了各种各样的衣装。从礼服到连衣裙,从和服到人偶服装,种类繁多。

如此多种多样的衣装的3D模型制作都必须严格遵守以下两点。第一点,模型的面数、材质的容量必须保持在规定的范围内。这样做的理由是,如果无视这个范围,最终可能导致帧数低下等等意想不到的问题,最终导致MV的质量低下。

第二点,衣装要能应对所有的动作。即要能够承受行走、奔跑、蹲下、接近等等各种各样的动作,不让MV产生不自然感。开发者在开发过程中要将这两点作为绝对的条件记在心里进行开发。

衣装模型的制作过程如下图所示。首先,衣装设计组设计出符合偶像个性的衣装原案。其次,收到衣装设计组发来设计的3D角色模型组对原案是否能够实现进行讨论。然后,如果在制作衣装的过程中需要用到新的功能,就交给工程师进行开发。在使用测试模型进行测试之后,就进行衣装设计的最终敲定,进入3D模型的本体制作。最后经过一系列测试和调整之后,再正式发布。

本部分将基于收到提案到功能开发这一段流程进行介绍,其间会伴随着一些需要开发特殊新功能的衣装的实例。

第一个制作事例是基于《CGSS》四周年衣装“Rainbow colors”中“希望让带子上的彩虹和星星”动起来的要求。这件衣服上挂着特征性的带子,这个要求希望能让带子内的彩虹和星星动起来,以给人豪华的感觉。按照要求,彩虹和星星理想的动法是像“主题公园里的灯带”一样动,因此制作组决定让彩虹和星星有不同的动法,以此理念开始了制作。

《CGSS》的角色模型现在能够使用的材质共三种。为了表现彩虹和星星的不同动作,要为三种类型的材质之一提供包括控制彩虹用的信息、控制星星用的信息等等信息。制作组用以下的方法在有限的材质中下功夫,最终实现了彩虹和星星的不同动作。

上图中的三种材质从左到右分别是color、specularcolor、multi。这三种材质的其中一种需要接收控制彩虹和控制星星的信息。

在给了color信息之后,使之进行滚动动画,彩虹的颜色发生了变化。

给specularcolor信息之后,使之进行滚动动画,带子上追加了星星的动作。

在specularcolor图上将星星的信息根据RGB分成三份,让它们各自动起来。

在专用着色器上进行设定,控制滚动的周期、幅度以及速度再让它们各自动起来,就能完成理想的效果。

第二个制作示例是在长裙衣装的实装例子中遇到的“希望让裙摆在地上拖着”的要求。这次作为制作事例展示的是三船美优的衣装。虽然这件礼服用了裙摆坠到地上的长裙设计,但也让人不免担心,裙摆会不会陷到地下。用了以下方法之后,裙摆陷入地面的问题得到了解决,蹲下时裙摆的扩张等等衣装的自然动作也能够实现了。

在地板上加入碰撞判定

实现了蹲下时裙摆的扩大

碰撞判定追加前后对比

第三个是“希望装上大翅膀”等等带有大型装饰的衣装制作。像这种带有大翅膀的衣装,在MV中偶像们接近的时候,装饰就会碰上到旁边的偶像身上,这样就违反了不能在MV中感受到不自然感的衣装3D模型制作原则。为此增加了能够避开旁边偶像的构造。由此实现了偶像之间接近时,翅膀也不会碰到,而是能够自然避开的动作。

本来是想让二人接近的场景却被衣装干涉了,导致了MV品质的下降。

加入了防止旁边偶像干涉的碰撞判定,之后翅膀就能够避开旁边的角色了。

两个人能够不被衣装干涉地接近了,既没有降低MV的品质,还将画面表现了出来。

总结:特殊表现的衣装

     即使有特殊的衣装设计也要思考符合规范的方法,凝聚功夫。

     为了不使MV的品质下降,需要增加新功能,来应对所有的镜头和舞蹈动作。

     不要让表现的广度被限制,不断拓展可能性。

接下来以特殊的需要开发新功能的衣装为例,介绍“礼服调整”功能。“礼服调整”功能是作为能够调整对应衣装的各部分颜色, 从而在MV、照相馆等地自己制作偶像所穿衣装的追加功能。在2019年7月能够改变上下衣装组合的lessonware也实装了。

“礼服调整”功能能够为包括衣装的五个部件各自的颜色制作调色板,从而实现衣装的变色。据横山小姐说,增加这个“礼服调整”功能时,最重要的有两点。第一点是,对应着衣装的颜色能够改变,希望能够实现更美的色彩表现。另一点是希望能够增加全部偶像都能穿的上下自由变化的服装,本部分会对这两点中特别重要的下了功夫的地方进行介绍。

首先是第一点,追求更美的颜色,也就是在调色板功能上下功夫。《CGSS》的衣装材质中不仅包含了普通的颜色,还包含了光泽色、影色等等信息。

但是,在包含了所有信息的材质中仅仅对颜色加以变更的话,只会让颜色变得浑浊暗淡,无法表现出符合偶像服装的鲜艳色彩。因此,在将光泽色、影色的信息抽出处理之后,终于成功实现了鲜艳的颜色。

接下来是“礼服调整”功能着眼的第二个点,作为上下自由变换的衣装增加的lessonware衣装,同开发实例一起,横山小姐介绍了特别下功夫的几个点。Lessonware最大的特点是在所有的偶像都能穿的“礼服调整”衣装的基础上,不仅实现了颜色的自由调整,还能进行上装和下装的自由组合。

为了增加所有人都能穿的上下变换衣装,对于现有的系统来说,需要数量庞大的体型各异的模型。对此,工程师和设计者们讨论的结果是,采用将衣装上下分开制作模型,在游戏中将上下一对的衣装进行合体的方法,从而抑制住了体型各异的模型的总数,大幅降低了生产成本。

接下来,由五十岚先生解说关于新应用内容“3Dコミュ”的制作事例。

3Dコミュ能够在后台或者舞台内侧以3D形式视听偶像们的日常。分为更具有真实感和沉浸感的VR模式VR VIEW和能够倾斜终端进行操作的GYRO VIEW两种模式。

3Dコミュ是2019年9月发行的“能够更好享受《CGSS》”的应用《偶像大师灰姑娘女孩 星光舞台 Supprt》(以下简称《Support》)的内容之一。顺带一提,《Support》中还搭载有能够更好享受《CGSS》中乐曲的“sound booth”以及能让偶像摆出玩家喜欢的样子拍照的“照相馆”等内容。

五十岚先生表示,在“3Dコミュ”的制作中,制作组最重视的是“做出有偶像就在身边感觉的内容”这一点。因此,制作组有着三点最为在意的地方。第一点,自然地再现偶像之间的交流互动。第二点,制造“偶像是真实存在着的”的感觉。第三点,表现偶像们所在的世界。具体是怎样的呢?五十岚先生依次进行了解说。

首先是关于自然地重现偶像们的交流互动这一点上在意的点。五十岚先生表示,《Support》中偶像之间的交流互动,重点在于实现使用背景和小物件的动作和偶像之间的复杂交流。为了挑战这种表现,在多人数的动作捕捉进行前先要进行排练,好好确认表演的顺序。

下图中最左边的场景是9位偶像一个接一个的从后台的门里退出去的场景。在这个场景的拍摄时,事先对偶像们能够顺畅地按照剧本在设定的时间内退出进行了确认。

接下来是中间的场景。这个场景表现的是偶像们去取小物件的场景,进行这次拍摄前要先确认物品和桌子的位置,以及在取这件东西时,衣服不会穿模。

右侧的两张画像是偶像将手放在另一个偶像的肩上,拉近她们之间的距离的偶像之间互动的场景。在这个场景的拍摄时,先行确认了互相的头发和衣装不会产生干扰。

五十岚先生表示,这样在事前进行彩排,提前注意到剧本和背景中不合理的地方并进行修改能够减少拍摄时重新拍摄的次数,减轻演员的负担。此外,如果偶像和物体的位置是正确的,就能做出更加自然的表演。这样偶像们能够做出更加自然的动作,事后动作调整的压力也会减轻。

当然,事先阅读剧本进行确认,能够发现一些没注意到的漏洞,也能明确自己应该采取什么样的动作。为了减少拍摄时的混乱以及紧急的动作变更,事先必须进行彩排和演出顺序确认。

接下来是关于让玩家感受到“偶像是真实存在的”这一点时,在意的地方。其中音效的真实性是很重要的一点。

这里说的真实的音效是指偶像们发出来的嗓音以及其他声音。这些声音在从脸上到脚边的各种地方都能听见。为了实现这些声音,自然就需要在脸上、腰上、右手、左手、脚下等最多五个地方分别设置并使用音频播放器。

此外,为了表现偶像们的真实存在感以及玩家自身是和偶像们处在同一空间的沉浸感,自然也要收录动作的声音。其中用到的方法是一边播放影像一边对影像里的动作进行分别录音的Foley。他还介绍了许多为了追求音效的真实性,各种在制作中下了功夫的地方。

用Foley收录动作音、道具音

导入3DAudioSDK“ResonanceAudio”

用沉浸式3DAudioFormat“Ambisonics”实装环境音

根据实际情况改变BGM的实装方法

第三点是表现偶像们所在的世界,为了实现这一点,舞台里应该有很多的偶像、后台里应该有许多镜子,一些特殊的世界观也应该表现出来等等地方都是需要特别在意的。据五十岚先生所说,为了实现这些,如何应对负荷是一个大问题。接下来将根据横山小姐的演讲来介绍为了应对符合所采取的办法。

第一点是应对内存的负荷。3Dコミュ中,常常会有十分钟以上的长时间以及大人数的偶像出演,她们会自由地走动并进行对话。因此,为了能够使用3Dコミュ中要用到的庞大声音和内存,应对内存负荷就成了必须完成的工作。

应对这一点的方法是使用声音的分散载入功能,将偶像的嗓音和动作音等用コミュ内的特定时间使用的音源以block单位的形式进行管理,各block单位都可以自由指定载入时间。

第二点是帧数负荷的应对。3Dコミュ中要表现的东西很多,因此很容易掉帧,而为了保证60帧的帧数,帧数负荷应对势在必行。关于这一点,横山小姐以镜子的表现方式作为例子进行了解说。

关于镜子的表现,在镜子的视点都设置了专门的镜头进行描画。对镜子的移动和镜中物品的种类都进行了详细的设定,减少了不必要的表现负荷。

 

最后的应对负荷的方法是iteration(短时间多次重复进行一定的工程)的效率化。据衡山小姐说,在负荷的应对中,在负荷计算时发生的反复,iteration的效率化十分重要。尽量减少每一次负荷计算所用的时间,因为能够进行精细的应对,这一负荷的计算方式也能够一天天改良。

以上就是关于3DCG制作事例的介绍,最后横山小姐对本部分进行了总结。横山小姐表示,为了不断给用户提供新的体验,同时对多个内容进行开发、运营十分重要。其中最为重要的就是让《CGSS》中的偶像们更加绽放出光彩的“目标理想”以及为了让每个偶像都更像偶像而“不能让步的地方”这两点。

此外,通过明确到底想要表现什么内容,即使在大规模开发时也能不动摇,追求原有的理想,内容也会更有凝聚力。

横山小姐还表示,《CGSS》的开发团队都是考虑为了让偶像更有魅力,需要表现哪些新东西,为了让偶像更像偶像,有哪些东西是绝对不能舍弃的之后,才进行的内容和功能的开发。也正是因此,《CGSS》才能够持续运营五年。将对每一个偶像的爱作为开发原动力的开发组最喜欢这些偶像了,横山小姐以此结束了本部分。

本文来自,本文观点不代表GameLook立场,转载请联系原作者。

关注微信