英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
从虚拟环境搭建现场直播
Chris Greenhalgh,Steve Benford,Ian Taylor,[1] University of Nottingham,UK
John Bowers[2],Royal Institute of Technology(KTH),Stockholm,Sweden
Graham Walker[3],BT Laboratories,UK
John Wyver[4],Illuminations Television,UK
摘要
“真人电视”将多用户的虚拟环境与电视相结合，让在线的观众可以参与虚拟世界中的电视节目。其表现形式是同时兼顾传统的被动观众和在线参与者。在大多数情况下它得利于现场直播。本文基于我们对真人电视的第四个实验，这是一个叫“Out Of This World”的现场虚拟游戏节目。对于这个实验，为了探索适合真人电视的表演形式，我们采用了非自动化的方式进行相机的控制和组合。我们描述了用于创建和增强节目中制作的实况视频输出的技术：适当的世界设计、参与者动作的动态约束和一个面向性能的虚拟摄像头控制界面。该摄像机控制界面包括对一系列空间和时间控制风格的明确支持。我们还对摄像机控制界面和事件（基于电视）的混合和指导方法提供评估反馈，并利用社会科学领域研究在现场准备和演出期间的节目。
CR类别和主题描述：I.3.8 [计算机图形]：应用程序;I.3.6[计算机图形]：方法和技术-交互技术;I.3.7[计算机图形]：三维图形与现实主义-虚拟现实。
其他关键字：多用户，联网应用程序，视频，视点控制。
1 引言
多用户虚拟环境是共享的三维音频图形世界，分布式用户可以在这个世界中进行通信，交互，竞争和承担其他任务和活动。我们对利用这些环境创造“真人电视”感兴趣。它将多用户虚拟环境与电视相结合，以便在线观众成员可以参与在虚拟世界中进行的电视节目。我们相信这可能会成为多用户虚拟环境的“杀手级应用程序”。通过允许在线观众彼此进行社交互动并直接参与内容，真人电视超出了传统广播电视（以及近期的交互式电视系统）的能力，例如，成为游戏节目或辩论的参与者。真人电视为广播机构提供了新的格式，结构和观众，它为现有的虚拟环境提供了参与的动力，促进发展的动力以及潜在的开发途径。
真人电视的一个显着特点是它同时提供给传统的被动（或互动）观众和在线参与者，即“真人”。 在线参与者可以通过联网的PC或未来的机顶盒与虚拟环境交互。观众还可以观看传统（或数字或互动）广播电视节目。
真人电视直播而不是预先录制有两大好处：
bull; 互动电视观众可以随着节目的展开直接影响虚拟世界中的事件，例如通过对特定变化或结果进行投票;
bull; 节目期间，观众可以选择成为电视中的真人，反之亦然（假设他们正在使用合适的设备观看节目）。
因此，真人电视的关键要求之一是从虚拟环境中创建实况直播。本文描述了我们用于在独特的公开的真人电视节目“Out Of This World”（OOTW）这个实验中从多用户虚拟环境创建有效的直播（甚至和进入剧院空间一样）的方法和技术。这是作为在1998年9月5日和6日英国曼彻斯特的绿色室的isea98改革上举行的国际电子艺术研讨会的一部分演出的。
第2节介绍了我们以前的一些有关真人电视的经历，以及我们在将多用户虚拟环境与电视风格广播相结合时遇到的特殊问题。第3节描述和对比相关的工作。第4节进一步介绍了OOTW活动的结构和性质，还介绍了我们用来增强节目广播潜力的前两种技术：适当的世界设计和受管参与者约束。第5节描述了第三种技术：为实时性能量身定制的虚拟摄像机控制界面。第6部分包含我们对相机控制界面的评估以及在现场进行的基于社会科学领域的研究和基于电视的混合和指导方法。最后，第7节包含我们的结论，并描述未来工作的领域。
2 真人电视的历程
作者参与了三次真人电视的实验[2]:
bull; “MASSIVE”[3]，一种虚拟的诗歌表演，同时出现在实体剧场和虚拟世界中。由诺丁汉大学与VR艺术家Sean Varney和巧克力艺术的诗人合作举办的，当时是Nottinghamrsquo;s NOWninety6艺术节的一部分。
bull; “The Mirror”[18]，六个公共在线虚拟世界与英国BBC电视连续剧“The Net”一起运行。这是由BT、Illuminations、BBC和Sony联合创建的。这种情况下的广播是基于编辑过的录像。
bull; “Heaven＆Hell-Live”，是英国第4频道在公共虚拟世界内进行的1小时直播电视直播。这也是由BT和Illuminations与Sony合作创建的。
每种情况下都有四种类型的参与者（或“参与程度”）：
bull; 被动观众，观看广播电视或观看剧院中的单个投影视图（如MASSIVE）;
bull; 在线真人，体现在虚拟世界中，并且能够互动和参与;
bull; 专业表演者或记者，也体现在虚拟世界中，提供内容和协调;
bull; 制作团队，包括相机操作员，导演和技术支持人员，他们在幕后为每个事件做好准备。
这些实验提出了有关创建真人电视的一些重要问题。与本文相关的问题将在下面介绍。
bull; 在多用户虚拟环境中实现精确和协调的移动通常非常困难。在正常的电视节目中，参与者的位置和动作受到严格控制，以支持其演示和时间安排。在虚拟环境中，运动通常比较笨拙和不受控制。所以对于真人（未受过训练的公众成员）甚至是表演者来说，在适当的时候都很适合。
bull; 虚拟环境（现在存在）和电视之间的自然节奏存在巨大差异。通常情况下，电视会严格编写脚本，并提供强烈的观看体验。另一方面，通用多用户虚拟环境趋向于更加稳重的交互步伐。当交互是基于文本的时候，尤其如此，就像“Heaven＆Hell-Live”中的情况一样（这里我们忽略了专门的快速反应游戏环境，例如第一人称射击游戏或虚拟赛车，因为我们希望探索更广泛的流派和更丰富的社交互动形式）。
bull; 相机控制和导航存在重大问题。 特别是Heaven＆Hell-Live和The Mirror使用普通的用户导航界面来控制虚拟摄像机;这是一个“以身体为中心”或飞行器控制的隐喻[19]。这意味着虚拟相机难以跟上行动，偶尔会迷路，甚至会拍摄空白空间。他们在遇到遮挡时也遇到了困难-在维持镜头的同时还要调整镜头以避免例如过往的居民会非常困难。
这些问题结合在一起产生了最终的广播，这种广播往往是不连贯的，有时难以理解为正常的观众。这些问题在Heaven＆Hell-Live中展现得最清楚，因为它将真正的现场直播与相对复杂和人口密集的世界结合在一起。
如本文所述，我们试图通过使用三种技术来缓解这些问题：恰当的世界设计（第4.1节）; 管理真人和表演者的运动（第4.2节）;和一个新的面向性能的虚拟摄像头控制界面（第5节）。
3 相关工作
多用户虚拟环境，电影和电视各有各自独特的文学体系。然而，在本文中，我们将重点放在两者之间的边界上：塑造和增强来自共享3D音频图形环境的实况视频输出。
在这种情况下，我们采用非自动化的方式进行相机控制和混合，依靠已建立的人的技能和工作模式，即导演和相机操作员。通过这种方式，我们可以探索这些活动如何受到技术和媒介变化的影响，而不是简单地重新创建和自动化现有技术，这些技术可能不适合3D虚拟世界。
这可能与尝试自动化整个演示过程（包括相机工作，方向和混音）形成对比。 例如，He，Cohen和Salesin[12]创建了“虚拟电影摄影师”，也用于实时多用户虚拟世界。但是，在他们的情况下，照相机放置和切割是完全自动化的。他们的虚拟环境也使用一套有限的高层行动（例如“走向酒吧”），而我们的世界主要基于自由导航和互动。这种方法可能适用于某些情况，但它需要从更原始的活动（例如自由导航）中提取可能的语义。
随着我们对真人电视的理解日渐成熟，将有可能以原则性和知情的方式整合自动化。这将使我们能够借鉴德鲁克等人的工作。[7]定义了表达镜头和整合其他技术的程序界面，然后在[8]中扩展到使用约束满足，包括路径规划。 Seligmann和Feiner[9]提出了摄像机的自动布局和镜头组合，以便在语义特定的情况下传达信息。他们没有提到实时性能问题，虽然他们表明他们的方法可以与交互操作相结合。
所有这些方法都可能用于增强或自动化（或许部分）真人电视的摄像机操作。然而，媒体的实时性和性能特性将会被仔细考虑（这些论文中未涉及这一领域）。
其中一些和其他人（特别是Karp和Feiner[14]和He等人[12]）已经考虑了电影原理（例如[1]）如何应用于计算机图形学。在这项工作中，我们正在探索的真人电视和3D图形环境可能实际上与现实世界中的经验不同。
在更概念层面上，这项工作可以与交互式数字艺术作品和装置进行比较，它们将计算机图形与现场表演的各个方面结合起来（例如，参见[17]）。 尽管人们对非互动（传统电视）观众的体验越来越关注，但这些相同的作品可能通过真人电视媒体获得。
4 OUT OF THIS WORLD
考虑到第2节中强调的问题（以及有关真人电视的其他方面的问题），可以将Out Of This World活动视为“Heaven＆Hell-Live”的后续活动。Like Heaven＆Hell - Live，Out Of This World是一个在多用户虚拟世界中进行的现场游戏节目。该游戏节目被“广播”到剧场空间中，并投射到大屏幕上，如图3所示。
该节目的特点是两个小组（“外星人”和“机器人”）之间的竞赛，以逃避注定的空间站（图5）。每个团队都由一位身穿身临其境的VR耳机的专业演员领导，并使用电磁跟踪器追踪（头部和双手）。在图3的主投影屏幕两侧可以看到团队领导。每个团队包括四名公众成员（来自进入影院的成员）坐在后台制作区域的联网电脑中，如图4所示。在“真正的”真人电视中，这些人会在家。这些人可以使用标准的PC游戏杆在地面飞机上导航，并参加了四场合作游戏。本节目由在现实中的一个大的虚拟屏幕上作为视频纹理的虚拟主机所展示（如图6所示）。 真人和表演者都戴着麦克风耳机，并且能够使用分组网络音频（c.f.IP电话）与对方进行对话。主持人还配备了麦克风，音频点效果在游戏中的各个点自动触发。 使用的多用户虚拟环境是MASSIVE-2[11]。
为了给剧院创建实时音频/视频馈送，我们使用了标准的外部广播（现场制作）方法。包括导演在内的后台区域的一部分如图1所示。与此相关的视频组件如图2所示。有四台虚拟摄像机，每台摄像机都有自己的操作员。这些视频输入到一个视频混音台（带有输入，预览和传输监视器），以及主机和录像带（VT）播放器的直接视图以获取更多连接素材。一位经验丰富的电视导演负责导演和视频混合。另一名技术人员操作VT，音频由音频工程师通过房子功率放大器分别混合。所有这些人都在有线回声电路中，以便他们协调他们的行为。
通过这种方式，我们试图在新的环境-三维虚拟世界中利用既定的工作方法和人的技能（例如导演和相机操作员）。
在节目的结尾，剧院观众能够使用受Loren Carpenter的CINEMATRIX互动娱乐系统[6]启发的互动系统“挽救”失败的居民之一，挥舞彩色卡片投票给他们最喜欢的玩家。
在三天的时间内总共进行了四场彩排和四场演出，每场演出持续约40分钟。
图1 展会期间，导演，VT运营商和世界经理在工作
图2 OOTW的视频制作基础设施。
图3 剧院的前面
图4 真人在生产区的“家中”
4.1 世界设计原则
在创建OOTW的世界和游戏时，我们试图提高虚拟相机的易读性，展示性和有效性。为此，我们采用了以下原则和指导原则：
bull; 使用简单的表示，并尽可能简化游戏和概念;
bull; 利用系统的实时音频功能进行交互和产生效应;
bull; 使用开放式的世界设计，几乎没有视觉障碍，没有外墙（便于概览和背景镜头，如图6），并使用重要的虚拟间隔来建立不同的演奏场地（如图5所示）;
bull; 将大部分行动置于地面;
bull; 使用依赖邻近性的游戏互动方法，以便参与者将接近其在环境中的效果（例如，在一场比赛中-如图9所示）-真人必须跑到“太空青蛙”，以便将他们对准队长;在另一场比赛中，真人都必须站在“喷气式赛车”中，并集体引导他们穿过赛道），而不是在远处或拍摄时进行选择。
在更受限制的应用程序或流派中，部分或全部这些可能是不适当的。 我们预计，随着真人电视的技术和共同理念的发展，许多启发式技术可能会放松，或者通过额外的自动化帮助得到补偿。
图5 虚拟世界，回顾过去最后的舞台
图5显示了虚拟世界的规模和线性形式。照相机正在回顾最后竞技场中的主持人/记分牌（准备离开太空船），朝向竞技场，前一个（测验）竞技场仅在远处可见。图6显示了问答游戏（第三个游戏竞技场）的鸟瞰图。主持人可视为视频纹理，监督事件。当球队正确回答问题时，他们的领导者会通过世界经理人的提振。图7显示了正在进行的鱼类游戏（第二个游戏竞技场）。真人们通过竞技场合作引导他们的团队领导，让他们从天空中钓下“太空鱼”。
全文共16396字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[10415]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
