星期五 , 10月 29 2021
首页 / 人工智能 / VR / VR离iPhone式大爆发还剩这两个瓶颈

VR离iPhone式大爆发还剩这两个瓶颈

VR长期被低估已经成为一种常态。Oculus Quest的出现,带来了VR的第二春。苹果高管曾在内部会议中提到,VR/AR会在十年内取代iPhone;长期从事VR领域研究的本期嘉宾杨俊睿也认为,5年内,VR会替代计算机屏幕。

但在VR的基础研究中,还有很多根本性的技术瓶颈没有被解决。比起早几代的VR头盔,VR已经解决了人在不移动游戏中的眩晕问题,这是《Beat Saber》这类爆款游戏诞生的前提;但在一个移动的游戏中,眩晕问题至今没有被解决。

VR要迎来iPhone式的大爆发,还需要设计一套更适合VR的交互方式。

本期节目我们请到了斯坦福大学计算机系博士杨俊睿,将从基础研究的角度为我们解答这些问题。

一、我带着VR头盔写程序:VR将取代计算机屏幕

《硅谷101》:你是从什么时候开始花比较多时间来玩VR游戏的?

杨俊睿:大概17年夏天,我有时候也会戴着Oculus Quest,用虚拟桌面,就可以把电脑桌面投射在Oculus Quest上使用。

《硅谷101》:你现在怎么交互?

杨俊睿:就是鼠标和键盘,因为电脑上程序不支持这些新的交互模式。光把VR当一个巨大的屏幕用,其实已经很好用了。

戴一个小时可能会觉得比较累。这个比较有意思,就是你坐在这儿会觉得累,但是你玩一个小时Beat Saber就不会觉得累。

另外一个问题就是分辨率的问题,我用的是第一代的Oculus Quest,第二代Oculus Quest分辨率已经高很多了。最近有一些新的Headset,惠普有一个新的设备,分配率比Quest2还要高,当然PiMax已经接近视网膜的分辨率了。

《硅谷101》:你带VR写程序,你会用多久?

杨俊睿:我不会每天都带着,有时候会试一试。一般用40 分钟就很累了,会摘了用普通电脑写。

《硅谷101》:主要还是因为你现在用的设备它不是最高的分辨率。

杨俊睿:对,还比较重。这两个问题在未来都可以解决。

关于重量的问题,现在有一些设备已经开始这么做了,它把计算功能用一根线连到口袋里,电池也可以放到口袋里,设备本身就轻了。

另外,现在已经有更高分辨率的显示器,只是由于价格问题,所以并没有应用到所有设备上。

不过我认为VR编程是未来的必经之路,VR在将来一定会代替台式机。我们在写代码时,会希望进入到虚拟世界中,不被人打扰,VR可以实现这样的体验。通过VR可以同时显示多个文件,在现实中由于显示屏的限制就做不到。

《硅谷101》:如果说能把计算功能放在口袋里的话,VR可以是一个很轻便的眼镜。

杨俊睿:是,但光学就是另一个问题,现在做的比较好的光学元件是个镜子,后面是一个显示屏,这就使VR眼镜有一定厚度的。

想让镜片变薄,有研究使用类似AR的波导方式,用小投影仪导到镜片上显示图像,这样眼镜就薄,但现在还没有办法让波导做的显示器和人的视网膜分辨率那么高,不一定能实现人眼非常舒服的8K模式。

《硅谷101》:你觉得VR取代计算机这天要多久到来?

杨俊睿:5年之内。

VR的输入和输出都比计算机屏幕更强,它的显示屏可以无限大。VR还提供了完全沉浸式的体验,这就是台式机达不到的。

《硅谷101》:所以你觉得它替代的是台式电脑的显示屏,不是电脑主机,不是笔记本电脑。

杨俊睿:VR是个输入输出设备,它并不直接绑定任何计算设备,你可以使用电脑计算,也可以在VR设备里做计算。

《硅谷101》:你可以把它去连接计算设备,它只是一个显示设备。

杨俊睿:他是一个输入输出设备,控制器也属于VR一部分。

现在更加时髦的就是手势追踪,如果你能把手完全追踪了,就不需要键盘鼠标了。

你有可能需要一个假的键盘鼠标,让你有感觉按了一个键的这样一个键盘,因为它需要给你一个触觉反馈。

VR短期内不能解决的问题是触觉反馈,当你按下键的时候,会有一个力学反馈,当你用手横着扫过键盘时,像打字需要摸J和F键的位置,会感受到纹理。这两个都是比较重要的触觉反馈,但目前VR很难实现。

《硅谷101》:研究VR的输入输出,是在探究怎么用不同的系统去欺骗人的感官认知,它就是骗你的眼睛、耳朵、手,它不停地欺骗你身体的各个器官,让它误以为VR中的物理世界是现实中的物理世界。

杨俊睿:完全没错,整个VR输入输出研究就是研究怎么把你骗得更好,交互研究就是,当你完全被骗了之后处在虚拟世界中时,怎么设计一套完全更加方便的交互方式。

二、如何解决VR的眩晕感?

《硅谷101》:VR刚刚出来的时候,大家会觉得一戴就很晕,但现在VR设备眩晕感已经很大程度上解决了,这是怎么解决的?门槛高吗?

杨俊睿:人耳朵里有类似加速度计陀螺仪这样的器官,我们平时用它来保持平衡,这就是为什么你闭着眼睛也可以站在地上而不摔倒。

产生眩晕的原因是,加速度计陀螺仪设备收到的信息和眼睛看到的信息不符。

举个简单的例子,我们用VR“坐过山车”容易晕,因为我们是坐在原地不动的,但看到的是快速运动和改变角度的图像,脑袋会认为应该收到一些运动的信号,但耳朵里的传感器没有收到这样的信号,就会认为是不是吃了一些不该吃的东西,引起眩晕或呕吐。

现在的设备不容易造成眩晕的一个原因是程序的设计更好了,早期的VR程序设计没那么好。Oculus Rift的第一个开发者版本没有任何侧向追踪,只有三个自由度的追踪。也就是说,图像并不会随着你头的转动而改变。如果你带着VR移动,你的传感器感受到了移动,但看到的图像并没有动,这种不匹配就会直接导致眩晕。

又或者,通过手动推动摇杆来旋转视角,电脑上的射击游戏,比如CS Go就是这样设计的,但现在VR程序几乎不会这么设计,因为旋转是一个耳朵里可以非常清晰感知的运动,现实没有旋转就会眩晕。

技术限制带来的一个问题是,程序不可能只用一个视角,完全不动。如果程序设计一些动视角和你原来的视角不匹配,也会导致眩晕。

另外一个是刷新率的问题。当刷新率低时,图像不流畅,会有一些延迟,这就导致我们的头部往左运动了,但图像需要过几毫秒才动,移动越快,差距越大。对于比较敏感的人,就容易眩晕。

现在有两个比较常用的解决方法:

一是不连续的转,比如在Rec Room游戏里,你转动的时候往右按控制器,就会立刻旋转90度,它并不是根据控制器移动的角度而转动,而是瞬间转动。

这样的好处是,你的眼睛会感觉图像突然发生了切换,脑袋就不会觉得应该拿眼睛的图像和耳朵的比比是否一致,高级认知知道你旋转了90度,但低级认知没有认知到,就不容易眩晕。

《硅谷101》:这就是为什么我玩 Beat Saber 玩一个小时都不会眩晕,但是 Rec Room 我刚进去走到那个世界里,就开始晕了。

杨俊睿:是的,这就是怎么在VR里进行移动的问题,现在还没有人解决得非常好。你的屋子可能只有3米×3米,但VR世界有100米×100米,总要做一个眼睛和耳朵里的传感器感觉不一样的动作。

刚刚提到的是瞬间移动是一种方法,另一个办法是限制可视范围。

瞬间转移传送的方式是一个不平滑的移动,但很多程序希望有平滑的移动,比如说打枪游戏,那么想提供一个很好的交互体验,往往会限制可视范围。

限制可视范围的好处是,人识别自己移动方向很大程度上靠周边的视觉,如果移动过程中,周边的视觉被限制了,你感知到的速度就会变慢,就不容易产生眩晕感。

你刚才提到Rec Room ,我怀疑是因为它默认给你提供的主要是平滑移动的模式,虽然限制了周围的可视范围,有些人比较敏感,会产生眩晕。

图/Rec Room游戏界面

《硅谷101》:Rec Room中的转角,可能就是一个突然切换,但是如果我刚进去游戏的时候,有一段路要自己走到门那边去,我人实际上没有移动,但我用控制手柄移动了,这就是我的认知没有欺骗到我自己。

杨俊睿:对,这就是你的图像和你耳朵里的不匹配。Beat Saber一点眩晕问题都没有的原因是,你只有真的在屋里做移动才会移动自己,而不是通过控制器移动自己,所以你看到的VR世界中物体的移动和传感器感知到的你的移动是完全一致的。

图/ 捷克游戏开发商 Beat Games 2018 年推出VR游戏Beat Saber

《硅谷101》:所以现在VR适合静止类的游戏和运动,并不适合大量跑动的游戏。这是现在VR游戏面临的技术瓶颈。

杨俊睿:可以这么认为,目前移动确实会产生一些适应的问题,但是我觉得也不一定是技术最终就能解决的问题,可能是一个最终会随着时代的发展被解决的问题。比如一些爷爷奶奶辈的家长看特别大屏的电视会产生眩晕感,因为屏幕足够大也会产生“看到的东西在移动,但人静止不动”这样的问题,但这是可以适应的。

《硅谷101》:这让我想起如果我去看电影,坐在前三排就可能就会产生眩晕。当这个电影画面在特别快速前进,我离画面足够近的时候,就产生了眩晕感。

杨俊睿:对,我想强调的就是,眩晕感是可以通过反复尝试而消失的。过20年以后,当所有人小时候都是用VR/AR,就根本不用适应,从小就没有这个问题。

《硅谷101》:还有晕车是不是也是这个道理?

杨俊睿:是这样,就是晕多了就不晕了。我认为现在VR 移动最需要解决的是,不应该通过手部运动来调节腿部运动。有人还做了那种跑步机的VR,让你的腿去做腿该干的事,手做手该干的事。

但实际上还是会有不匹配。在现实中你的头没有动,在虚拟世界中动了,好处是现实中你现在这种脑袋在上下动,你耳朵里面的传感器收到的信息非常复杂,就不那么容易注意到头没有前后移动。所以眩晕的问题不是完全能通过技术解决的。

《硅谷101》:你有玩过 VR Sandbox 吗?玩游戏的时候手和脚都要带上 VR 传感器,它的游戏场景挺多的,但不会眩晕。

图/VR游戏 Sandbox

杨俊睿:正好提到了另一个VR 移动的方式。前面提到的VR移动方式是快速不连续的传送,或者说连续用推杆方式移动。还有一种可以认为是像Beat Saber一样,是没有特殊移动的方式。

具体来说,虽然只有一个有限的3米×3米范围的区域,但我可以通过复用空间的方式,让你感觉好像去了很多地方。如3X3米的房间被规划成4个不同的房间,而每次你绕回原来那个房间的时候,房间已经发生了变化,这就意味着可以把无限多种类的空间,叠加在有限的空间之内。

这样做的好处就是完全不眩晕,因为在任何位置,你的眼睛里看到的和感知到的移动是一致的,但你的高级认知会有一点混乱。

在现实世界里,你往前走三米,往左走三米,往右走三米,再往后走三米就回到原地了;你可以设计一个VR游戏,往前走三米,往左走三米,往右走三米,再往后走三米,又到了一个不同的地方,一些人称之为“非欧几里得空间”。你可以设计一个“非欧几里得空间”的VR游戏,它可以有很大的空间,但是它的问题是会给人带来一些疑惑。

如果你知道我要去隔壁的咖啡厅,我知道往前走往左走往右拐走100米就到了。但是在这样一个非欧几里得空间里,除非有一个导航一样的东西告诉你该怎么走,否则你的脑袋是很难记住这样一个叠加的很复杂的空间的。

三、VR世界中的交互方式

《硅谷101》:VR现有的交互方式是什么 ,未来可能还有哪些比较新的交互方式?

杨俊睿:第一,语音输入。有人在手机上做过实验,发现语音输入比打字更快,但目前语音输入还有些问题,一是没法输入语料库里没有的词,打字可以强行输入,可语音输入不行。二是很难输入符号,尤其打代码有很多符号,但很难用嘴把这些符号说出来。

我希望未来的程序是既可以说话也可以点击,而且我们每说的一句话都会影响界面,可以自由在两种模态之间切换。如果我需要快速地使用某些很复杂的功能,我就直接用语音,如果我需要非常精确的控制,如调节音量,我就可以直接按下按钮。

《硅谷101》:在学界的研究中还有什么更具有想象力的输入输出方式吗?

杨俊睿:现在有很多人在做眼动追踪的交互方式,它比按鼠标还快,因为人的眼睛是校准过的,我想看左边的一个单词,一瞄就瞄到了。但它还不是特别准,每个人戴上眼镜都需要花一段时间完成校准,而校准之后眼睛一动也不那么准了。

另一个问题是,我们眼睛动是一个无意识的状态,如果强行把它绑定到一个动作上,就会造成不适。比如我只想看一下这个字,并不想点击链接,但如果设定是看5秒钟就会点击,我还没看完字就变成点击链接的动作了。

还有人做的一个交互方式是,眼睛盯着链接旁的一个小球看才会触发动作,这样的好处是,眼睛需要做的是更加有意识的动作,也规避了准确度的问题。

《硅谷101》:你自己在玩游戏的过程中,有遇到过哪些让你比较印象深刻的交互方式吗?

杨俊睿:我玩过RecRoom游戏,在里面加好友就只需要握手就可以了。

在普适计算里,微信扫二维码加好友就是一个很方便的方法,可如果想做到一个人和另一个人握手就可以加好友是非常难的。但是在VR世界里,这就不是一个问题。因为VR系统知道一切情况,能感知到你跟对方握手了,你是想加好友。

《硅谷101》:目前AR/VR还有很多技术上的问题,包括交互以及移动中的眩晕等还没有被解决的问题。

杨俊睿:其实VR硬件、软件技术基本上够用了,虽然眩晕、触觉反馈等问题还没有被很好的解决,但分辨率已经足够高、手势追踪也足够好,是有很好的前景的。

从学术界看,主要问题就在交互,我们需要有足够好的方式去设计适合VR使用的程序,有了这些程序,人们才会真的愿意使用VR设备。AR还处于非常初期的阶段,我个人认为和VR还差了10年发展时间。

四、VR距离iPhone式大爆发有多远?

《硅谷101》:Facebook在2014年收购Oculus的时候,大家对VR的期待值非常的高,但后来也经历了一波技术的低谷期,但今年VR设备好像又火了,关注的人越来越多了,开发商也越来越多了。你觉得为什么今年VR会有一个爆发点?

杨俊睿:有些人可能会觉得VR是新技术,但VR在一九七几年就有了。VR和AR,人工智能,都是每10年会有一波浪出现,我们知道这一定是未来,但技术好像常常实现不了。

设备的运算性能和各种技术都成熟了一点的时候,就会有人开始搞研究,于是有很多进展,出现一波高峰。高峰会慢慢从学术界传到业界和应用。

学术界来讲,至少在人机交互领域AR/VR最近两三年都是非常火的。你去人机交互交互的顶级会议里,至少1/3的论文都是关于或者至少带一点AR元素的。

《硅谷101》:从你的角度,学术会议上,大家对 VR的和新型的交互方式讨论越来越多,这个现象是从什么时候开始的?

杨俊睿:从15年到现在,每年都比去年很多,VR/AR的论文数,类似指数增长的这样趋势。

图/电影《头号玩家》剧照

《硅谷101》:现在VR一个大进展是能提供分辨率足够高的一体机,这就意味着我们不需要再连手机了,上手使用也非常的轻便;另一个进展是在静止状态下解决了眩晕问题。这两个进展,是这一波VR能诞生出一批应用和游戏的原因。

杨俊睿:你说的非常对。这波VR为什么能有一些商业上的动作,就是Oculus Quest做得好。

Oculus Quest基本上可以被认为是,10年前所有的研究者想做,但根本不可能做出来的东西。它不需要连接显示器、电脑这类设备,是个一体的机器,消费者只要买一个设备就可以实现这些功能。

过去做VR的人想实现的一切功能,头戴显示器,两个手都是6自由度追踪的,所以能实现完整的系统功能。从目前来讲,Oculus Quest以及相似的一系列设备都向市场证明了设备硬件是成熟的,只需要开发合适的软件。

现在这一波还没有一个最合适的顶层设计,因为Oculus Quest还比较类似于iPhone之前的智能手机。目前设计VR的人还没有把交互做得足够好,不光头戴式显示器里面的操作系统要做得足够好,还要有足够的程序接口和样例程序。

在手机上,大家做的iPhone程序都一样,是因为苹果提供了一套开发者套件,用这个开发者套件开发出来的程序符合那些最优的设计元素,但VR还没有一套那么成熟的交互元素。

未来可能会有一个公司能够想出一个非常合适的开发框架,可以提供给所有人,让我们能够像开发普通游戏一样容易地开发VR游戏。

我认为这可能会在未来的5年内实现,硬件设备和开发者套件同时作用才能够真正让VR进入每一个人家里。

关于 声波

声波
发现不同的声音

检查

我们是不是真的误解了人工智能?

本文作者 Sangbae Ki …

发表评论

邮箱地址不会被公开。 必填项已用*标注