搜索 Unity

数百万人的VR音乐狂欢

2021年7月6日 类别 娱乐 | 11 分 阅读
Image displays the virtual New Year’s Eve concert "Welcome to the Other Side" and features a colorful blue and purple background with sparkly lights and a musician in the foreground playing a keyboard
Image displays the virtual New Year’s Eve concert "Welcome to the Other Side" and features a colorful blue and purple background with sparkly lights and a musician in the foreground playing a keyboard
涵盖的主题
分享

一场跨年音乐会的幕后是什么样的?为创下百万听众记录的歌星策划演出是什么感觉?

怎样在防疫封锁期间,让家中的观众们参与到演出中?

对于“Welcome to the Other Side(欢迎来到赛博世界)”虚拟现实音乐会的工作人员来说,这次工作体验几乎可以比肩狂热的现场表演——有时甚至有过之而无不及。不仅是他们,还有数百万的(虚拟)观众也有同样的感受。

Portrait of the musician Jean Michel Jarre wearing sunglasses and a black headband with blue and red light streaking on his face and dark backlighting

AR/VR顾问Antony Vitillo记录了Jean-Michel Jarres的Welcome to the Other Side(WTTOS)音乐会的整个过程。这位国际知名电子乐明星将在VR版的巴黎圣母院演出,与世界各地的观众一起庆祝新年。

这场直播获得了超过7500万次的浏览量,成为了一场成功的国际盛会。请在下文中了解Antony及其团队怎样使用Unity完成节目的筹备。

三个月的紧凑日程

三个月的时间对于任何舞台表演来说都非常紧张——工作组需要筹备灯光设计、声音设计、视觉效果、烟火特效及设备物流,如果还需要开发软件,整个日程会更为紧张。团队在9月启动项目,并在10月初召集成员积极开展工作,这时离新年仅有几个月时间。

团队的合作伙伴之一,灯光指导Jvan Morandi在初次参与项目制作时,认为“这是在安排2021年夏季的演出”。当别人告诉他节目将排在2020年底,他告诉Antony:“你们真是疯了。”

逐步推进

设计阶段

团队由VR公司VrOOm组成,由CEO Louis Cacciuttolo领导,他们先前有过赶工制作的经验,明白在设计阶段构建应用的重要性。在这个阶段,表演者Jean-Michel Jarre和各位VR体验艺术家敲定了音乐会体验的整体观感。

Image of showing the stage set for the virtual "Welcome to the Other Side" concert on New Years Eve inside Notre Dame Cathedral

在决定设计方向后,团队开始在选定的活动规划和执行软件中进行实验,尝试各种可以实现的东西。

Antony说:“我们选择了VRChat作为平台,因为它是我们最熟悉的平台,我们所有大项目都是用它做的。它也是最为通用的社交VR软件之一,让我们可以使用大家都非常熟悉的Unity引擎。”

Image of Jean-Michel Jarre in the center of the virtual stage inside Notre Dame surrounded by flaming lights and keyboards

场景建模

接着,团队在网上找到了巴黎圣母院的模型,将其导入Unity进行场景的组建。来自Manifattura Italiana Design (MID)的Lapo Germasi和Victor Pukhov负责简化、优化模型,用于VRChat。

创建动画

Vincent Masson使用了Cinema 4D来制作环绕式3D动画,而Jvan Morandi则负责舞台动画的制作。两人还制作了投影到教堂墙壁上的2D视频。

Image of virtual dancers inside the "Welcome to the Other Side" concern inside Notre Dame

虚拟形象设计

另一家代理商SoWhen?负责用Maya为Jean-Michel Jarre制作一个美观的虚拟形象。Antony表示虚拟形象的制作并不简单,明星们都非常看重自己的公众形象,所以他们必须在取悦用户和还原JMJ个人风格之间找到平衡。

制作项目资源

Antony表示:“Unity引擎支持标准的资源格式:3D动画、虚拟形象和舞台表演使用了FBX模型;舞台打光使用了Light光照对象;投影视频使用了mp4视频,以一定的UV投射到大教堂的墙壁上。”

Side view of the virtual Notre Dame experience with playful blue lighting

动作捕捉

虚拟形象的所有运动皆由Jean-Michel Jarre本人的动作驱动。为了精确地捕捉JMJ的肢体动作,团队采用了一套兼容SteamVR的动捕套装、一双动捕手套,以重现演奏时的复杂手部动作。

Image showing Jean-Michel Jarre wearing a mocap suit compatible with SteamVR to capture the musician’s physical movements to replicate in VR

组建场景

在所有的材料准备齐全后,团队便开始在Unity中组装、打磨并优化场景,来提高其在VRChat中的表现。Jean-Michel Jarre将亲临VR现场进行探索,检验场景的艺术风格,然后Germasi将用后期处理效果做最后打磨,来平衡教堂及其视效的清晰度。

动画的自动播放

为了确保场景中的所有元素(投影视频、彩色聚光灯、道具)都能跟着节拍播放,Antony使用了Unity来安排并触发每一个动作。安东尼说:“这项工作原本非常繁琐,你需要复制时间码并逐个编写触发事件。” 但Unity可以使用脚本来处理。有了编辑器脚本后,他可以在编辑器的一个菜单下实现所有动画和灯光触发器的CSV时间码读取,为每首歌曲即时创建所有触发行为。这使得演出更容易管理。

A screen capture of the editor script used to create all the required timed behaviours for each song during the virtual Welcome to the Other Side concert

在社交VR上的优化

据Antony所说,要在VRChat上运行,体验不仅要有流畅的帧率(“大家都无法接受20帧的音乐会”),文件大小也须进行优化。“如果整个场景的大小超过了300Mb,下载时间便会过长,应用也容易出现崩溃,造成糟糕的体验。" 而来自MID的团队专门负责教堂几何模型的优化,以及纹理体积的调整。

增加互动性

在与Lapo Germasi和Victor Pukhov的紧密合作下,Antony对整个项目进行了优化,并增加了可模拟沉浸式现场表演的虚拟系统和互动。

  • 所有的时间排布:聚光灯、投影视频和其它所有动作都应在正确的时机触发并与歌曲节奏同步,这就需要团队在VRChat中开发出一些创造性的解决方案。
  • 所有的互动:互动是提高用户临场感的必要条件,在社交软件上尤其如此。为了突出VR的特色,团队还为观众添加了一些观看时的特效,比如把其他观众“啪”的一下变成彩色的星星。
  • 所有拍摄所需的元素:作为一个360度全景体验,团队并不想以一个单一的视角拍摄出扁平的视频。Antony表示:"我们在VRChat内部创建了一个复杂的摄像机系统,由Georgy Molodotsov和Maud Clavier两人负责用‘多角度摄像机’进行直播。” 他们采用了一个开源项目作为摄像系统的基础,用VRCLens为手摇镜头加入了景深效果,再用VoxelKei的全景摄影形象来拍摄演出结束后的视频。(最终版视频可在下方观看)
  • 演出结束后的体验由俄罗斯XR艺术家Denis Semionov设计,他使用了Quill来雕刻场景,并制作了简化版的圣母院模型用于轻量渲染。
  • 体验再由MID进行优化;接着Antony团队再加入了演出后的互动(包括登上一艘齐柏林飞艇进行飞行旅行),制作到此就完成了。
Screen capture with a picture from the live event on the left and the Unity Editor view on the right showing how the spotlights, the video mapping, and all actions were triggered in Unity

VR的重要性

在设计阶段,有些人一度希望抛弃VR,将整个节目制作成一场编排好的音乐直播。但Jean-Michel本人、Antony和其他团队成员坚持采用VR技术,并给出了理由:VR互动体验即使在电脑屏幕上观看,也会让人感觉自己真的在圣母院内,在跨年夜融入到人群中。

此内容由第三方提供商托管,该第三方提供商不允许在未接受“Targeting Cookies”的情况下观看视频。如果想观看来自这些提供商的视频,请将“Targeting Cookies”的 Cookie 首选项设置为“是”。

最终,Jean-Michel选择信任团队,而该项目迄今积累了超过7500万的浏览量——这包括VR体验直播和其他多平台上的视频播放。Antony说:“我们创造了历史,将一场庞大的音乐会完全搬到了虚拟现实中,供VR内外的观众享受。很多时候,你只有承担一定的风险才能做出令人赞叹的东西。"

了解更多

请在此处了解“Welcome to the Other Side”的筹备故事,或在这里了解音乐会的幕后故事

2021年7月6日 类别 娱乐 | 11 分 阅读
涵盖的主题