日常生活中我们所听到的立体声是来自于左右声道,声音效果可以很明显的是我们感到来自我们面前的平面,而非像有人在我们背后喊我们时,声音来自于声源,且能准确判断出其方位。显然现在的立体声是不能做到的。而三维虚拟声音就是要做到听其音辨其位◆◆■■◆★,即在虚拟场景中用户可以听声辩位,完全符合现实环境中的听力系统的要求,这样的声音系统就称之为三维虚拟声音★★◆。
虚拟现实系统中,对真实绘制技术的要求与传统的真实感图形绘制不同,传统的绘制只要求图形质量和真实感◆◆◆■,但是,在VR中,我们必须做到图形显示的更新速度不小于用户的视觉转变速度◆★◆■★,否则就会出现画面的迟滞现象◆◆。故在VR中,实时三维绘制要求图形实时生成,每秒钟必须生成不低于10到20帧图像。同时还要求其真实性,必须反映模拟物体的物理属性。通常为了使得画面场景更加逼真和实时性强,通常采用纹理映射、环境映射和反走样的方法★◆★◆◆◆。
该项技术目前的研究与人们的期望效果还相差较远★■,但是去研究成果去展现了其魅力所在★◆。这项技术一般分为三个步骤,首先是面部表情的跟踪,利用摄像机记录下用户的表情,再通过图像分析和识别技术达到表情的识别。其次是对面部表情的编码,研究人员利用面部动作编码系统(FACS)对人的面部表情进行解剖,并对其面部活动进行分类和编码。最后是面部表情的识别,通过FACS系统可以构成表情识别的系统流程图★■■◆◆★。
截止2015年4月24日索尼宣布停产HMZ系列产品时,该系列一共推出过三代产品,2011年的HMZ-T1、2012年的HMZ-T2以及2013年的HMZ-T3/T3W。HMZ-T1显示分辨率只有720p★◆◆■★,耳机则是虚拟的5.1声道■★★★■,还要拖一块大大的集线盒■■◆◆★■。首先它采用的是两块0.7英寸720pOLED屏幕◆◆,佩戴HMZ-T1后这两块0■■★.7英寸屏幕的显示效果就像在20米的距离观看750英寸的巨屏一样。
眼动跟踪技术(Eye Movement-based Interaction)也称之为实现跟踪技术。它可以补充头部跟踪技术的不足之处,这样即简单有直接。
基于图形绘制(Image Based Rendering★★◆◆■◆,IBR)不同于传统的几何绘制方法,先建模型,在定光源的绘制◆■★★。IBR直接从一系列图形中生成未知角度的图像,画面直接进行变换、插值和变形,从而得到不同视觉角度的场景画面★◆★。
在光学仪器中,以光学仪器的镜头为顶点,以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角■★■,称为视场角。视场角的大小决定了光学仪器的视野范围■◆★★,视场角越大,视野就越大,光学倍率就越小。通俗地说,目标物体超过这个角就不会被收在镜头里★◆★■★。在显示系统中,视场角就是显示器边缘与观察点(眼睛)连线.近眼光场显示器
由NVIDIA研发的新型头戴显示设备名为★◆◆■“近眼光场显示器”(Near-Eye Light Field Displays)■◆★★◆■,其内部使用了一些索尼3D头戴OLED显示器HMZ-T1的组件,外围结构部分则是使用3D打印技术进行制造。近眼光场显示器采用焦距为3★◆★★.3mm的微镜头阵列来取代以往同类产品中所使用的光学透镜组,这样的设计成功将整个显示模块的厚度由40mm减少到了10mm,更加便于佩戴■★◆◆。同时配合使用NVIDIA最新的GPU芯片进行实时光源光线追踪运算,将影像分解成为数十组不同的视角阵列,然后再通过微透镜阵列重新将画面还原显示在用户的眼前,从而使观赏者能够如同身处真实世界中一样◆★■■,通过眼睛来从不同角度自然观察立体影像★◆■◆★。由于近眼光场显示器能够通过微透镜阵列重新还原画面中环境,因此只需要在GPU的运算过程中加入视力矫正参数,便可以抵消近视或远视等视力缺陷对观看效果的影响,这意味着“眼镜族”们也可以在裸眼状态下利用这款产品享受到线.微透镜阵列显示技术
在日常生活中人们已经建立了一定的物理习惯,如固体之间不能彼此穿透■■◆◆■,物体高空坠落做自由落体运动,抛出去的物体做平抛运动等等★◆■,同时还要受到重力和空气流速的影响等等。为了在虚拟现实系统中完全的模拟现实环境,且防止发生穿透现象,就必须引入实时碰撞检测技术。Moore提出了两个碰撞检测算法,其一处理三角剖分的物体表面■◆◆◆■,另一个处理多面体环境的碰撞检测■■★★。为了防止穿透有三个主要部分。首先◆★★,必须检测碰撞★■★。其次,为响应碰撞应调节物体速度。最后,如果碰撞,响应不引起物体立刻分开,必须计算和施加接触力◆■◆★■★,直到分开。
语音合成技术(Textto Speech,TTS),是指人工合成语音的技术。达到计算机输出地语音可以准确、清晰、自然的表达意思。一般方法有两种◆★★:一是录音/重放,二是文-语转换。在虚拟现实系统中,语音合成技术的运用可以提高系统的沉浸感,同时弥补视觉信息的不足。
为了生成在三维计算机图形环境中的可见图像,光线跟踪是一个比光线投射或者扫描线渲染更加逼真的实现方法◆★◆◆■◆。这种方法通过逆向跟踪与假象的照相机镜头相交的光路进行工作,由于大量的类似光线横穿场景■★★,所以从照相机角度看到的场景可见信息以及软件特定的光照条件★★◆◆,就可以构建起来。当光线与场景中的物体或者媒介相交的时候计算光线的反射、折射以及吸收■★◆◆■。光线跟踪的场景经常是由程序员用数学工具进行描述,也可以由视觉艺术家使用中间工具描述■◆■★■■,也可以使用从数码相机等不同技术方法捕捉到的图像或者模型数据。
通过对微透镜阵列结构进行深入研究★◆★■,揭示了微透镜阵列对微图形的放大原理■◆◆★◆◆。并在此基础上,找到了微透镜阵列结构参数、微图形结构参数与微图形阵列移动速度、移动方向以及放大倍率之间的关系,利用微透镜阵列实现了对微图形放大★◆◆★、动态、立体的显示◆★■。
通过数据手套(Data glove)或者深度图像传感器(如leapmotion kinect等)来精确测量出手的位置和形状◆■■■◆■,由此实现环境中的虚拟手对虚拟物体的操纵。数据手套通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器,确定手及关节的位置和方向,而基于深度传感器的手势识别则通过深度传感器获得的深度图像信息进行计算■★,进而获得掌★★■■★、手指等部分的弯曲角度等数据★◆。
2012年10月◆★■★◆,索尼发布了HMZ-T1的小改版本也就是HMZ-T2。相比HMZ-T1降低了30%的重量◆■★◆◆■,同时取消内置耳机设计,允许用户使用自己喜欢的耳机搭配■★★◆■■。屏幕虽然保持0.7英寸720pOLED的参数不变,但引入了14bitRealRGB3×3色变换矩阵引擎和全新的光学滤镜,画质上其实也有增强。2013年的HMZ-T3/T3W升级幅度不小,首次实现了无线信号传输,允许你戴着无线W进行有限的小范围移动★◆■,不再受线D★★■■★★,就是利用人两眼具有视差的特性,在不需要任何辅助设备(如3D眼镜、头盔等)的情况下,即可获得具有空间■■■、深度的逼真立体影像。从技术上来看,裸眼式3D可分为光屏障式柱状透镜技术和指向光源三种。裸眼式3D技术最大的优势便是摆脱了眼镜的束缚,但是分辨率★■■、可视角度和可视距离等方面还存在很多不足。
头戴虚拟显示器的一种,又称眼镜式显示器■★、随身影院■◆■。是一种通俗的叫法,因为眼镜式显示器外形像眼镜,同时专为大屏幕显示音视频播放器的视频图像的■◆,所以形象的称呼其为视频眼镜(video glasses)。视频眼镜最初是军事上需求和应用于军事上的。目前的视频眼镜犹如当初大哥大手机所处的阶段和地位★◆■■★,未来在3C融合大发展的情况下其将获得非常迅猛的发展。
语音识别技术(Automatic Speech Recognition★★★■■■,ASR)是将语言信号转变为可被计算机识别的文字信息,使得计算机可以识别说话人的语言指令和文字内容的技术。要想达到语音的完全识别是非常困难的,必须经过参数提取★◆■◆、参考模式建立■★★★◆、模式识别等若干个过程。随着研究人员的不断研究■★★★■◆,使用了傅里叶转换、到频谱参数等方法,语音识别度也越来越高。
三维全景技术(Panorama)为现在最为流行的视觉技术★★,它以图像绘制技术为基础生成具有真实感图像的虚拟现实技术。全景图的生成■★■,首先是通过照相机平移或旋转得到的一序列图像样本◆■◆◆;再利用图像拼接技术生成具有强烈动感和透视效果的全景图像■■◆★◆;最后在利用图像融合技术使得全景图给用户带来全新的现实感和交互感。该项技术利用对全景图深度信息的提取来恢复实时场景的三维信息建立模型■◆。方法简单,设计周期缩短★■◆◆,使得费用大大降低,且效果更加,故目前较为流行★◆■。
在虚拟现实系统中,我们致力于使得用户可以通过眼睛、手势、耳朵、语言、鼻子和皮肤等等感觉器官来和计算机系统中产生的虚拟环境进行交互,这种虚拟环境下的交换技术就称之为人机自然交互技术◆★■。