An Interactive Multiview 3D Display System
Zhaoxing Zhang, Zheng Geng, Mei Zhang, Hui Dong
State Key Lab. of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China.
ABSTRACT
The progresses in 3D display systems and user interaction technologies will help more effective 3D visualization of 3D information. They yield a realistic representation of 3D objects and simplifies our understanding to the complexity of 3D objects and spatial relationship among them. In this paper, we describe an autostereoscopic multiview 3D display system with capability of real-time user interaction. Design principle of this autostereoscopic multiview 3D display system is presented, together with the details of its hardware/software architecture. A prototype is built and tested based upon multi-projectors and horizontal optical anisotropic display structure. Experimental results illustrate the effectiveness of this novel 3D display and user interaction system.
Keywords: autostereoscopic, multiview, interaction, 3D image, visualization, multi-projectors, anisotropic display, display system
1. INTRODUCTION
1.1 What is a 'perfect' 3D display
True 3D display is the 'holy grail' of visualization technology that can provide efficient tools to visualize and understand complex high dimensional data and objects. 3D Display technologies have been a hot topic of research for over a century[1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16][17][18][19][20][21][22][23].
What is a 'perfect' 3D display? A perfect 3D display should function as a 'window to the world' through which viewers can perceive the same 3D scene as if the 3D display screen is a transparent 'window' to the real world objects. Through this window, viewer is able to perceive 3D scene with correct 3D cues, without needing to special eyewear or tracking the locations of eyes. Figure 1 illustrates the 'window to the world' concept. In Figure 1a, a viewer looks at 3D objects in the world directly. We now place a 3D display screen between the viewer and the 3D scene. The 3D display device should be able to totally duplicate the entire visual sensation received by the viewer. In other words, a perfect 3D display should be able to offer all depth cues to its viewers (Figure 1b).
Figure 1a. A viewer looks at 3D scene directly (left) and Figure 1b. A perfect 3D display should function as a 'window to the world' through which viewers can perceive the same 3D scene as if the 3D display screen is a transparent 'window' to the real world.
1.2 Depth cues provided by 3D display devices
Computer graphics enhances our three-dimensional sensation in viewing 3D objects. Although an enhanced 3D image appears to have depth or volume, it is still only 2D, due to the nature of the 2D display on a flat screen. The human visual system needs both physical and psychological depth cues to recognize the third dimension. Physical depth cues can be introduced only by true 3D objects; psychological cues can be evoked by 2D images.
There are four major physical depth cues the human brain uses to gain true 3D sensation (Figure 2):
Figure 2. Illustration of four major physical depth cues
- Accommodation is the ability for the eyes to focus on 3D objects and to perceive the 3D depth by measuring how much the eye muscle forces eye lenses to change shape a focused image of a specific 3D object in the scene.
- Convergence is to measure the distance the eyes have to cross to see the 3D object in the scene simultaneously. Based on triangulation principle, the closer the object, the more the eyes must converge.
- Motion parallax offers depth cue by comparing the relative motion of different elements in a 3D scene. When a viewers head moves, closer 3D objects appear to move faster than those far away from the viewer.
- Binocular disparity (stereo) refers to differences in images acquired by the left-eye and right-eye. The further away a 3D object, the further apart are the two images.
Some 3D display devices could provide all of these physical depth cues, while other autostereoscopic 3D display techniques may not be able to provide all of these cues. For example, the 3D Movie based on stereo eyeglasses may have difficulty in providing the accommodation or convergence, since the displayed images are on the screen, not at their physical distance in 3D space.
Human brain can also gain 3D sensation by extracting psychological depth cues from 2D monocular images[2]. Examples include (Figure 3):
Figure 3. Illustration of psychological depth cues from 2D monocular images.
- Linear perspective is the appearance of relative distance among 3D objects, such as the illusion of railroad tracks converging at a distant point on the horizon.
- Occlusion is the invisible parts of objects behind an opaque object. Human brain interprets partially occluded objects as lying farther away that interposing ones[2].
- Shading casted by one object upon another gives strong 3D spatial-relationship clues. Variations in intensity help human brain to infer the surface shape and orientation of an object.
- Texture refers to the small-scale structures on an objects surface and can be used to infer the 3D distance of an object in the scene. The farther away the object, the coarser its texture appears to be. Parallel lines
- Prior knowledge of the common structures of objects – the way light interacts with their surface and how they behave when in motion – can be used to infer its depth using the other psychological cues.
Human vis
剩余内容已隐藏，支付完成后下载完整资料
交互式多视图三维显示系统
Zhaoxing Zhang, Zheng Geng, Mei Zhang, Hui Dong
State Key Lab. of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China.
摘要
三维显示系统和用户交互技术的发展将有助于更有效地实现三维信息的三维可视化。它们生成了一个真实的三维对象表示，并简化了我们对三维对象的复杂性及其空间关系的理解。本文描述了一种具有实时用户交互功能的自立体多视图三维显示系统。介绍了该自动立体多视图三维显示系统的设计原理，详细介绍了系统的软硬件结构。建立了基于多投影仪和水平光学各向异性显示结构的样机，并对样机进行了测试。实验结果验证了该三维显示与用户交互系统的有效性。
关键词: 自立体、多视图、交互、三维图像、可视化、多投影仪、各向异性显示、显示系统
1. 介绍
1.1 什么是“完美的”3D显示
真正的三维显示是可视化技术的“圣杯”，它可以提供有效的工具来可视化和理解复杂的高维数据和对象。一个多世纪以来，三维显示技术一直人们研究的热点问题。[1][2][3][4][5][6][7][8][9][10][11][12][13][14][15][16]
[17][18][19][20][21][22][23]。
什么是“完美”的3D显示?一个完美的3D显示器应该是一个“通向世界的窗口”，通过这个窗口，观众可以看到同样的3D场景，就好像3D显示屏是一个通向现实世界物体的透明“窗口”。通过这个窗口，观众可以用正确的三维线索感知三维场景，而不需要佩戴特殊的眼镜或跟踪眼睛的位置。图1说明了“通向世界的窗口”概念。在图1a中，查看器直接查看世界上的3D对象。现在，我们在查看器和3D场景之间放置一个3D显示屏。3D显示设备应该能够完全复制观众所接收到的整个视觉感受。换句话说，一个完美的3D显示应该能够向它的观众提供所有的深度提示(图1b)。
图1 a。查看器直接查看3D场景(左侧)和图1b。一个完美的3D显示器应该是一个“通向世界的窗口”，通过它，观众可以看到同样的3D场景，就好像3D显示屏是一个通向现实世界的透明“窗口”。
1.2三维显示设备提供的深度提示
计算机图形学增强了我们在观看三维物体时的三维感觉。虽然增强后的3D图像似乎具有深度或体积，但由于平面屏幕上2D显示的性质，它仍然只是2D的。人类的视觉系统需要物理和心理的深度线索来识别第三维度。物理深度线索只能由真实的三维对象引入;二维图像可以诱发心理暗示。
人类大脑用来获得真正3D感觉的四个主要物理深度线索(图2):
图2。说明四个主要的物理深度线索
- 调节是眼睛聚焦于三维物体的能力，通过测量眼球肌肉迫使眼球透镜改变特定三维物体在场景中的聚焦图像的形状，从而感知三维深度。
- 收敛性是测量眼睛同时看到场景中三维物体所必须经过的距离。根据三角测量原理，物体离得越近，眼睛就必须越集中。
- 运动视差通过比较三维场景中不同元素的相对运动提供深度线索。当观看者的头部移动时，较近的3D物体似乎比远离观看者的物体移动得更快。
- 双眼视差指左眼和右眼获取图像的差异。三维物体越远，两幅图像的距离就越远。
一些三维显示设备可以提供所有这些物理深度线索，而其他的自动立体三维显示技术可能无法提供所有这些线索。例如，基于立体眼镜的3D电影可能难以提供调节或收敛性，因为所显示的图像是在屏幕上，而不是在三维空间的物理距离上。
人脑还可以通过从二维单眼图像[2]中提取心理深度线索来获得三维感觉。示例包括(图3):
图3。说明心理深度线索从二维单眼图像。
- 线性透视是三维物体之间相对距离的表现，如铁轨在远处地平线上汇聚的错觉。
- 遮挡是物体在不透明物体后面的不可见部分。人类大脑将部分被遮挡的物体解释为躺在较远的地方，中间是[2]。
- 阴影是由一个物体投射到另一个物体上的阴影提供了强烈的三维空间关系线索。强度的变化有助于人类大脑推断物体的表面形状和方向。
- 纹理是指物体表面的小尺度结构，可以用来推断场景中物体的三维距离。物体越远，它的纹理看起来就越粗糙。
- 对物体共同结构的先验知识——光线与物体表面的相互作用方式以及运动时物体的行为——可以用来利用其他心理线索推断物体的深度
人类视觉系统通过对三维物体的各种特征进行采样，通过动态眼球运动的潜意识分析来感知三维场景。所有的视觉线索都有助于这一动态和自适应的视觉感知过程。
3D显示设备通常很难同时提供所有的物理和心理深度提示。例如，由于显示体素固有的透明特性，一些体素三维显示技术可能无法提供阴影或纹理。一些三维显示技术，如立体显示，提供了对焦距离和聚光距离的相互冲突的深度线索，这通常被称为调节/收敛故障。
1.3前视功能
1991年，爱德华·阿德尔森提出了全视功能[26]的概念，用来描述视觉系统能够感知到的视觉刺激。全光函数是一种基于观察者的光在空间和时间上的描述。阿德尔森对全光函数P最一般的公式依赖于几个变量:
- 光正在查看的位置在空间或由一个三维坐标(x; analyzed, 描述y;z);
- 方向光的方法查看 location, 由两个角度给出 (?, ?);
- 光 的 波长 ?, 观察 t; 和 时间t;
图4。单目视功能:目视功能的球面坐标系用于描述观察者和场景之间的视线。
前视函数从而可以用以下方法:?(?、??,?,?,?,?)。单查看器,如图4所示,位置的瞬时观察C可以被描述在一个简化的函数形式:??(??,??,?)。
3D显示器模拟来自物理对象的光的全光功能(图4)。这种模拟的准确性是空间显示设备背后技术的直接结果。显示向查看者显示的视图信息的数量和准确性越大，显示就越像一个物理对象。另一方面，更多的信息也导致更复杂的显示和更高的数据传输和处理成本。
1.4定向发射器
到目前为止，这个讨论只包括对空间中发射特定颜色光的孤立点的描述。这些光源看起来就像在太空中发光的星星，无论从哪里或以何种方式观察，它们都不会呈现出不同的亮度或色调。这种全向发射的光照模型足以描述发射和扩散材料。许多自然物体是由材料构成的，当从不同的角度看时，它们的外观会发生变化。这类材料包括有光泽或镜面或微观结构的物体。
这种材料的单个理想点称为定向发射器(图5):它们似乎发射出方向变化的光。这个定义包括表面上反射、折射或传输其他光源光的点;这些点的辐射取决于它们周围的环境。
图5。在一个真正的三维显示中，每个元素(体素或hoxel)都应该由多个方向发射器组成:如果微型投影仪辐射捕获的光，那么显示器的全光功能就近似于观察者看到的原始场景。
要使用显式深度表示对定向发射器进行建模，需要向模型中添加额外的信息来描述点的辐照度函数。每个点发出的光必须由方向的另外两个维度参数化。由于一个方向一个方向的参数化对于许多应用程序来说是不必要的详细和昂贵的计算和存储，所以这个函数通常用更少的参数来近似。高光表面[27]的Phong光模型可能是最常见的定向发射体近似。
2. 多视图显示作为一种有效的三维信息表示
2.1利用多视图近似光场
在形式上，光场[7]表示在场景中所有可能方向上流过所有点的辐射。对于一个给定的波长,可以代表一个静态光场作为一个五维(5 d)标量函数L (x, y, z,theta;,ϕ)出光辉的函数位置(x, y, z)在三维空间和方向(theta;,ϕ)光旅行。注意，这个定义等价于全光函数的定义。典型的离散(即。)光场模型将亮度表示为红、绿、蓝三种颜色，只考虑与时间无关的静态光场数据，从而将光场函数的维数降为五维三色分量。因此，光场的建模需要处理和存储一个5D函数，该函数的支持是三维笛卡尔空间中所有光线的集合。然而，计算机图形学中的光场模型通常将光场函数的支持限制在四维(4D)方向的线空间。提出了两种四维光场表示方法，一种基于平面参数化，另一种基于球面或各向同性参数化。
当观察者在现实世界中看到一个场景时，不同的图像由左右眼(立体视差)看到。当观察者改变他的观察位置(例如移动他的头部)时，会看到不同的图像集(运动视差)。观众可以看到一个潜在的无限多个不同的场景图像(连续分布的光场)。光场三维显示的一个实际实现策略是取连续分布光场函数的子样本，用有限数量的“视图”近似连续光场函数。
图6。使用有限数量的视图(多视图)来近似由连续分布的光场生成的无限数量的视图。
图6说明了使用有限数量的“视图”来近似连续分布的光场的概念，理论上该光场在两个方向上都有无限数量的视图。这种近似是可行的和实用的，如果有限数量的视图足够高，超过了人类视力的角分辨率。
图7。一个多视图HPO自动立体三维显示系统的实例。.
此外，还可以实现“仅水平视差(HPO)”多视差显示装置，只产生水平方向的视差效果，让观者的左右眼看到不同的图像，当观者头部位置水平移动时，可以看到不同的图像集。即使视图数量少得多，并且受HPO限制，自动立体三维显示系统仍然可以生成多视图，以唤起观看者的立体视差和运动视差深度线索，从而向观看者传递一定程度的3D感觉(图7)。
2.2显示的三维信息表示
根据三维显示机制的类型，有几种不同类型的表示方法来表示三维场景的三维几何模型信息。例如,在一个容积三维显示系统[14],显式三维几何模型必须建立,这样每个体素的三维坐标值表示和它的颜色组件(x, y, z, r, g, b)。在每一个刷新周期的(x, y, z, r, g, b)所有体素需要更新信息。全几何三维模型表示方法通常计算量大。对于每个维度上有1024*768*1024个元素的3D卷，我们将为每个3D图像帧拥有约10亿个体素。实时更新这么大的数据集(例如每秒24帧)需要大约20 GB/s的数据速率。这样的数据速率可能对现有的计算硬件/软件体系结构提出技术挑战。
Figure 8. An illustration of various 3D model representation methods for 3D display systems.
另一方面，光场/全息三维显示机制并不明确要求三维场景的三维几何模型。相反，这些显示机制试图复制场景中三维物体产生的整个光场分布或干涉模式。可以生成高保真度的三维显示效果，但计算量巨大。设计一个能够实现连续光场分布或复制整个干涉图样的实用三维显示系统是一项非常具有挑战性的任务。迄今为止，还没有人能够实现这一最终目标。
多视图3D显示机制可以在不需要巨大计算能力的情况下，为观众提供足够的3D感觉(图8)。利用连续光场分布的离散近似，可以构建成本相对较低的多视图系统。例如，更新速率为24Hz的64视图XGA多视图系统的数据速率为1.2GB/s(1024*768*64*24)。这个数据速率是现有硬件/软件技术所能达到的。
多视图三维显示的另一个优点是其数据格式与现有的基于视图的电视信号传输基础设施兼容，而不是基于几何模型的基础设施。在可预见的未来，多视图三维显示将是一种很有前景的三维显示和三维电视应用策略。
2.3多视图图像形成机理
多视图显示的效果是由两个功能模块组合而成:(1)图像生成:广义上从图像生成的角度来看，有两种基本类型:基于项目的vs .基于平板的多视图显示系统;(2)具有所需光学性能的屏幕:将每个视图的图像传送到对应的方向。有多种屏幕可以方便地进行多视图3D显示。例如透镜、视差屏障、垂直扩散器、全息板、微透镜阵列(整体成像)屏幕。
multview 3D显示的视场或“观看区”被定义为一个空间区域，在这个空间区域内，观看者可以看到完整的3D图像显示在屏幕上。对于多视图三维显示系统，视区被划分为K个“视图”。在每个视图方向内，评审员只能看到多视图3D显示系统生成的一个图像。不同视图的图像对应于要显示在屏幕上的3D场景的不同3D透视图。这些图像通常有相似的大小。邻域视图中图像之间的重叠应该最小化。在HPO系统中，相邻视图之间的水平距离不应大于观测者所在位置的人眼瞳孔间距(通常为62毫米)。否则，观看者无法从不同的角度看到不同的图像，因此无法感知基于立体视差(双目视差)的三维深度感。当观看者改变观看位置时，从不同的角度向他们的眼睛呈现不同的图像集，从而产生运动视差。
在本文中，我们主要讨论HPO类型的显示器。基于投影的多视图系统使用多个投影器生成对应于多个视图方向的图像，然后将这些图像投影到三维图像形成屏幕上。图9显示了使用多个投影仪创建仅水平视差(HPO)多视图3D显示器的两种最简单方法。这些投影仪分别为一个视图创建图像。在图9a中，投影在透镜反射屏幕上形成图像。在垂直方向上，投射的光向各个方向扩散。在水平方
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[18691]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
