怎么连接vr游戏手柄(手上戴个「圈」就能玩 VR,这是什么新玩意?)

Posted

篇首语:对于攀登者来说,失掉往昔的足迹并不可惜,迷失了继续前时的危险。本文由小常识网(cha138.com)小编为大家整理,主要介绍了怎么连接vr游戏手柄(手上戴个「圈」就能玩 VR,这是什么新玩意?)相关的知识,希望对你有一定的参考价值。

怎么连接vr游戏手柄(手上戴个「圈」就能玩 VR,这是什么新玩意?)

一说到玩 VR 游戏,想必你脑袋里已经浮现出一个看起来有点奇怪的人 ——

他戴着一个硕大的头戴设备、两手握着厚重的控制器,手臂并不轻松地在空气中张牙舞爪。虚拟游戏中,他的手紧握手柄,变成了哆啦 A 梦一般的圆球,灵活的手指在磅礴奇幻的新世界却毫无用武之处。

不过很快,我们就不用握手柄了。虚拟世界中的手,也将恢复自由。

来自康奈尔大学和威斯康星大学麦迪逊分校的华人科学家,近日联合打造了一副「3D 手环」—— FingerTrak。

戴上这个「圈」,你十指的动作就都能被精准捕捉,而且它在未来的玩法,可能比你想到的还要多。

研究成果已经发表在了 《ACM 互动,移动,可穿戴和普及技术期刊》上。

它的面世,意味着可穿戴传感器技术又迎来了新突破。

一个能读懂你手的「圈」

近年来,精准的手指运动跟踪,已经成了 VR 和 AR 领域研究的热门技术。

如果你是一个动画师,应该就知道捕捉人手有多复杂了,手部每个关节的每次弯曲、伸展,都有着无数种可能。

FingerTrak 的最大特色,就是用了一种新技术,来准确预测每根手指的位置 —— 热传感器跟踪

这个「圈」看起来就像一个双层的手环,不过重点是手环周围安装的四个热像仪。

这些热像仪非常小,长 5.7mm,直径 9.3mm,就跟豌豆大小差不多。

它们的尖端都有一个低分辨率的红外摄像头,指向手指的一面。虽然分辨率较低,只有 32 x 24 像素,但它们能够精准地跟踪佩戴者手的运动。

研究里呈现的红外热像仪图像中,可以看到手指橙色和黄色区域在随着指尖移动不断变化。

再通过系统中专门设计的深度神经网络(DNN),就能准确地根据手腕轮廓,预测 20 个手指关节的位置。

最后,将各个轮廓的图像连结在一起,就能以 3D 方式重构整只手。

接着,重构的手势信息就能在虚拟模型甚至是机器人的手上再现。

在研究人员的测试中,设备能够准确地仿生人类动作。

学会翻书:

拿笔写字:

拿杯子喝水:

玩手机:

热传感器跟踪的新方式,极大改善了手部动作的识别能力。

因为设备不再是通过摄像头直接捕捉手指位置,而是结合热成像和机器学习技术来「隐形」获取。摄像头拍不到的地方、检测不到的细微运动,将都可以被「看到」。

这也是第一个基于手腕轮廓来重建全手姿势的系统

在对 11 位受试者的测试中,研究结果表明识别角度误差为 6.46° 至 8.06°,而且背景越均匀,错误率就越低。

不能说已经实现了高精度跟踪,但是至少实现了一种更好的手指跟踪解决方案。

玩 VR 不用手柄了,但不止于此

研究中的 FingerTrak 原型,是连接 Raspberry Pi 进行的运作。但研究人员表示,未来升级的版本,将可以与智能手机连接,与 VR 眼镜连接,甚至可以无线连接。

连上之后,你戴着手环就可以玩 VR 游戏了,手指也能在游戏中进行更自然和多样化的操作。

在日常生活中,它的用处就更贴近每个人了。

FingerTrak 将能像智能手表一般,监测我们的健康状况,但比智能手表厉害的地方在于,只要你动动手,它就能传达你的身体状态好坏。

这对于老年人尤其受用,特别是通过老年人日常生活如何使用双手,从而监测帕金森氏症和阿尔茨海默氏症等疾病的早期征兆。

在人机交互方面,你还能通过 FingerTrak 介入,让的家里的机器人模仿人类的动作,更好地为我们服务。

研究人员还指出了一个最有希望的潜在应用:翻译手语。

毕竟当前的手语翻译技术,要不是需要用户戴手套,要不是需要使用到相机,这两者体验都比较麻烦,而 FingerTrak 将能让手语翻译变得直接、快速、人性化。

但是,FingerTrak 现在仍处于早期的研究阶段,商业化可能还需要几年时间,毕竟上述所说的任一场景实际使用都不简单。

比如说,如果要和 VR/AR 应用匹配,替代设备中的手柄控制器,首先就得考虑精度问题,以及手指之间的配合问题。

毕竟在现实中,少了一根手指,偏移一点位置,我们手中的东西可能都会掉在地上,所以精度和现实稍有偏失,虚拟世界中的真实体验就会错乱。

不过,研究人员表示该设备采用的组件价格都很实惠,而且数据已经能实现相当高的准确度,这是未来商业化前值得庆幸的一件事。

而且小荷才露尖尖角,虚拟现实也仍处于起步阶段,FingerTrak 的出现已经为我们带来了新的可能性,也让人看到了它在未来的巨大潜力。

据悉,FingerTrak 预计将在今年 9 月中旬的 ACM 普适计算国际会议上发布。

我们离理想的手部跟踪还有多远?

如果只是监测整只手,其实智能手表就可以了。

我们生活中常见的可穿戴设备,使用陀螺仪和加速计等传感器就能监测手部运动,比如抬起手腕,屏幕就会自动点亮等。

但是,未来要在虚拟世界逼近真实体验,必须得检测到每根手指的运动,智能手表的监测还做不到。

▲ Google Project Soli 计划,一种基于雷达的手势识别技术

手指是表达人类感情的重要一环。手部跟踪技术的研发其实已经走很长一段路了,各种新兴技术每年都纷繁显现。

比如深度感应摄像头或红外传感器 —— 普渡大学的科学家就利用深度感应摄像头来捕获手部动作,然后利用深度学习网络来了解数百万种手势,然后将它们在虚拟世界中准确显示。

有人还使用运动感应手套 —— 加利福尼亚大学洛杉矶分校(UCLA)的研究人员公布了一种手套式设备,通过机器学习辅助的可伸缩传感器阵列,能够将手语转换为语音对话,并在手机上播放。

甚至还有使用电磁传感器 ——Oculus 研究部门的成员在 2015 年开发过一种电磁传感器系统,通过安装在用户指尖的电磁体和四个磁力计来跟踪指尖运动,人们就可以在 VR 游戏途中停下来,用指尖选择弹钢琴或画画。

但它们都有着相同的弊端:要不就是设备太大太笨重了,要不就是需要高性能 PC 支持、反应滞后,大部分都无法商用

近年来,随着 AR/VR 等领域的发展,设备舒适度和视觉逼真度方面都在升级,研究人员一直在开发比手持控制器更自然的方案,因此手部跟踪技术也更新换代极快。

这种进步主要体现在两个方面:一是跟踪手指运动的准确性提升,二是设备尺寸减小及重量减轻

前者譬如索尼在今年 5 月份发布了 「可高精度追踪手指运动的下一代 VR 游戏控制器」原型,这个握柄根据电极感应来确定手指运动,已经能跟踪到手指的细微动作了,可以做出握拳、弯曲手指,上能比「耶」,下能比「666」,11 种姿势任君挑选。

研究模拟中,玩家可以用手拿起虚拟空间的积木,并一个个搭建起来,只是手指姿势识别依然有限,很多人无法比出的下面这个手势,这个设备也无法识别:

后者譬如今年 2 月份,华盛顿大学的研究人员开发出一个名为 AuraRing 的戒指,它利用新型的电磁跟踪系统,能够进行高分辨率的光学跟踪,人们只需要在食指套一个 3D 打印的电线线圈,加上遍布传感器的腕带,手指就能在虚拟世界书写、敲击、轻拂、挤压物体等。

轻是轻,小是小,但它的问题就在于,戒指是腕带感应能力的扩展,要在虚拟世界全盘操作,恐怕得戴满整只手才行。

而在 VR 市场,作为代表的索尼、Oculus、HTC 三家厂商中,Oculus 在头戴式设备 Oculus Quest 上也使用到「手势追踪」的新技术,它甩别家几条街的地方就在于,可以完全不用任何实物就实现手部跟踪

玩家戴上头盔,双手就会映射进虚拟空间,然后你就可以用双手在里面做你能做的任何事。

这都是基于 Oculus Quest 顶上那 4 颗外置摄像头。它不仅能扫描周边空间,确认玩家所处的位置,还能在你望向手指操作时,细化分析每根手指的运动,并延伸到虚拟世界中。

Oculus Quest 已经做到了脱离手机和电脑的一体式设计,再加上手部跟踪技术,就能更让玩家沉浸感更强,它还可能作为 Facebook AR 头戴设备的开端,将真实世界的物体带入 VR 世界。

不过也因为计算机视觉和定位技术的局限,Oculus Quest 的手势应用在实际中还是会受到一些限制。

回过头看,FingerTrak 的设计虽然要带「手环」,但是最大的优势就在于「手环」轻便、小巧、可自由移动。

研究团队表示通过进一步的工程设计,它的尺寸还能变得更小。

总而言之,手部跟踪要在虚拟世界变得自然无形,必然还有一定距离,但这个距离并不远。

扎克伯格坚信,VR 和 AR 会在 10 年内,成为继移动设备之后的下一代主要计算平台,直接改变我们的工作与生活。

调研机构 Gartner 也指出,在 5G 和 AI 的驱动下,从现在到 2028 年,VR 和 AR 将让用户体验将在两个方面发生巨大变化 —— 用户对于数字世界的感知,和用户与数字世界的交互方式。

这意味着我们与数字世界的交互不再只局限于二维屏幕,而是在 VR 和 AR 中充分发挥人类完整的能力,让数字和现实完全无缝融合。

Oculus 首席科学家 Michael Abrash 在 2020 年计算机视觉和模式识别大会指出:

未来的 VR 头显能够实现 200 度视场,视网膜分辨率,可变焦距,逼真音频,而 AR 眼镜则是「超级时尚」,完全可以取代智能手机,并赋予佩戴者感知超能力。

这也需要同等水平的技术升级,包括光学系统、界面、触觉、虚拟化身、人体工学等,而手部跟踪,就是其中至关重要的一环。

▲ 图片来自:Project Soli

当然,对我们来说,最理想的情况,是根本不需要特定方式来跟踪手部。

不过 VR 和 AR 就像一块崭新而巨大的拼图,所有可能性都摊落在这片未来的蓝图之中。

人人都知道新面貌终将面世,但在这之前,我们还得继续寻找答案,我们也正努力填充答案。

相关参考

游戏机好玩简单(买过最便宜的VR游戏机?999元的NOLO Sonic开箱体验)

...礼物不能太一般。这次浩南给大家分享一个刚刚入手的VR游戏机,名字叫NOLOSonic,1999元价格还凑合,可以打开返半价活动,折合下来999元左右,好像性价比有点高。我们可以看到一个简约包装,打开以后,一个VR主机,两个手柄...

投影仪一体机(体验两周后发现1个缺点,但他依旧是最值得买的VR一体机)

因为从事游戏行业,2015年我有过一段玩VR游戏的体验。犹记得,我当时体验VR游戏是利用手机当显示主机,配上简单的VR光学镜片和游戏手柄来使用,非常不方便且佩戴时感觉整个设备笨重难耐。近两年,随着硬件和软件逐渐发...

无人机摄像头连接手机(便携影音画质天花板,GOOVIS 酷睿视 G3 Max体验)

GOOVISG3Max是一款头显设备,首先先科普一下,GOOVIS酷睿视G3Max不是VR不是VR不是VR。看到这类头戴产品,很多人第一反应就是VR,但用过的都知道,这是一款头戴式高清显示器,从大类来说它是XR设备的一种。目前VR设备面临的更多...

手柄长期不用发粘怎么办(利润渐薄、忙于售后,VR设备这门生意越来越难做)

题图来自:视觉中国对于多数VR体验者来说,头显及VR设备上手真不算容易。在体验店或展会,经常会出现,顾客已经坐在设备上,却被告知设备出现故障,可以看到工程师匆忙赶来调试。有头显的小伙伴经常会遇到正在观影,...

开发一款游戏软件需要多少钱(【VR玩乐】这个国产VR游戏单Quest商店收入破千万美元)

...载老师,今天给大家分享一个喜讯,咱们国产VR多人射击游戏《雇佣战士Contractors》,单单在QuestVR一体机商店的收入,已经突破1000万美元。这毫无疑问是国产VR游戏的历史性里程碑,在依然小众的市场,同时也是在最卷的射击游...

手柄球(运动游戏不止三大球,不受待见冷门游戏有哪些?)

提到体育游戏,很多玩家第一时间想到的就是三大球,如《NBA2K》《FIFA2022》这些游戏,喜欢拳击的,可能还会想到《UFC4》。总的说来,相比于动作冒险、角色扮演等类型的游戏,体育题材游戏一直是冷门游戏。篮球、足球游戏...

水转印贴纸教程(《DIY手柄》:主机手柄随便选喷涂贴纸任意调你会雕刻不?)

#游戏#原标题:CrazyLabs定制模拟游戏《DIYJoystick》随心所欲做外壳你想拥有一个高端大气上档次的游戏手柄或是主机的外壳么?今天为大家推荐一款由CrazyLabsbyTabTab推出的定制外壳为背景的模拟体验游戏《DIYJoystick》(DIY手柄)。玩...

模拟房屋设计3D一体机(在家也能运动健身,爱奇艺Dream·享版VR一体机体验)

...术在给人们带来便捷的同时也带来了很多的欢乐,比如VR游戏。说到VR游戏其实我第一次接触还是在家附近的商场,家里的小孩子出于好奇体验了几次VR游戏之后,经常缠着我要去商场玩,玩一次就是几十块。我和我老公也都是特...

数字式织物透气量测定(来自万魔战戟的神秘力量,带给玩家无尽乐趣,1More Spearhead VR)

...声音等优势,一直深受用户喜爱;现已发展出诸多门类,游戏耳机是近几年新兴的一类,近些年出于对游戏的正确认识,第九艺术的发展已呈现出蓬勃之势,由于游戏的特殊性(方位辨识要求极高),在游戏中除了要眼观六路之...

手机怎么拍摄vr全景(vr拍摄用的什么设备?vr全景制作方法)

...的作品,我想如今很多朋友都有所接触,2020年微信朋友圈最喜欢年度广告排行榜中前五名有三名都是vr全景的形式,很多用户都被vr全景这种沉浸式更强的展现方式所吸引,有趣的玩法更是使得用户能够自愿参与到广告的传播推...