智能数学运算器(AR关键技术及其在航天航空领域中的应用)

作者说：随着人类的发展，人们和信息世界的关系变得越来越密不可分，从总的技术趋势来看，任何一种与人密切相关的技术的发展都会经历：“人来适应技术”和“技术来适应人”这两个必然的过程。目前VR/AR技术正在进入“人来适应技术”时代的末期，新的技术发展方向已不再是“如何获得更高性能的”系统，而是如何获得“更为适人化”的系统。我们认为VR/AR释放出全新交互方式，未来将成为下一代交互方式。

我们试图描绘出VR/AR所带来的变革并解析其关键技术，但深知，对于更高维度，可畅想描其形，但难辨其细。

本文仅就AR产业作一管窥蠡测，略陈所见，期抛砖引玉。一家之言，以供参考。

人类获取信息的过程经历了从“单向到“双向”，从“一维”到“多维”，从“简单”到“复杂”的过程，物理现实与虚拟现实的交互已成为信息交互技术发展方向，VR/AR技术将不同数据融合，利用透明显示、全息显示、体感触控等技术拓展对真实世界的感知，技术具有工具性。

人类获取信息的过程经历了从“单向到“双向”，从“一维”到“多维”，从“简单”到“复杂”的过程，物理现实与虚拟现实的交互已成为信息交互技术发展方向，VR/AR技术将不同数据融合，利用透明显示、全息显示、体感触控等技术拓展对真实世界的感知，技术具有工具性。

AR是一种将现实世界的信息和虚拟信息整合的技术，即基于现实且保留现实，将现实做信息化增强处理；而 VR（VR），则旨在通过复制现实世界中一切物理的、人体感知的规律，构建一个全新的、沉浸式的、几乎与外界隔断的虚拟空间。我们认为AR 在性价比、技术和功能应用面上优于VR，更易取得爆发，更具发展潜力。

一、行业概述

（一）AR定义

AR技术（AugmentedReality，AR）是借助光电显示技术、交互技术、多种传感技术和计算机图形与多媒体技术将计算机生成的虚拟环境与用户周围的真实环境融为一体，使用户从感官效果上确信虚拟环境是其周围真实环境的组成部分。

（二）AR与VR的联系与区别

AR技术与VR技术的区别主要体现于下列4 个方面：

1.AR技术和VR技术需要的沉浸感不同，AR系统与现实环境联系密切，强调用户在现实世界的存在性并且需要维持其感官效果的不变性；VR系统需要完全沉浸，强调将用户和现实环境完全隔离，通过计算机等设备提供一个虚拟的视觉、听觉、触觉等的感官世界；

2.AR技术和VR技术中“注册”的涵义以及精度要求不同：AR系统中，“注册”技术是指将周围真实环境和计算机所产生的虚拟环境全方位对准，并且要求在用户运动的过程中也能和真实环境保持高度的对准关系；VR系统中，“注册”技术是指呈现给用户的虚拟环境需要和用户的各种感官（包括视觉、听觉等）相匹配；

3. AR技术相比于VR技术在建立虚拟环境时对系统计算能力要求不同：AR技术是在真实环境的基础上对信息进行扩充，而VR技术是对整个环境的虚拟再现。相比之下，VR技术对计算机系统图形处理能力和其它能力的要求要比AR系统更为苛刻。

4.AR技术和VR技术适用的领域不同：AR技术是对现实环境的一种补充，利用附加信息增强用户对现实的感官认识，其应用多在于起辅助作用的场合，例如工厂车间、旅游观光、交通以及日常生活；而VR技术是再创一个虚拟的环境，强调用户在虚拟环境中获得相应的视觉、听觉、触觉等感官的沉浸，带来真实的感官体验，例如模拟驾驶、军事仿真实验等。

（三）AR成本拆解

AR主要由操作系统、处理器、光学组件、摄像头和传感器、存储器几部分构成，作为头戴式设备，光学环节对于AR 眼镜尤为重要，对显示视野、分辨率、刷新率、延时、 眩晕、定位跟踪精度等都提出了较高的要求。

以 Hololens 为例，其主要硬件是全息处理模块、2 个光导透明全息透镜、2 个 LCos微型投影以及 6 个摄像头，其中光学环节(含透明全息透镜和高清光引擎)与处理器的成本达到75%，是整机的核心。

（四）AR硬件类型

（五）VR/AR重要性

可能成为今后计算平台的接口和终端技术的重要形式，对国家及社会的发展起着重要的推动作用。

1. 推动经济快速发展。作为今后的计算平台接口和终端技术，VR和AR技术有可能取代手机成为人们与信息世界交流的主要通道。

2. 推动生活方式演化。VR能够提供前所未有的虚拟存在感和接近真实的虚拟社交，将推动人类生存方式演化的进程，对社会形态发展起到至关重要的作用。

3. 推动意识形态变革。具有更强的沉浸感和临在感，能够更直接地影响使用者的文化接纳、观念接纳和意识形态接纳。

推动工作模式进化。具有自然交互的特点，能够为科研、生产提供全新的仿真、模拟、测试、操作和展现手段，并有效提升沟通效率

通过摄像机采集真实世界图像，人可以通过语音和手势等对设备输入指令，计算机利用计算机视觉技术和人工智能技术实现对周围环境的理解，同时对交互进行识别。再经过渲染引擎处理，最后通过显示技术输出，以达到虚实融合的效果。

二、AR涉及关键技术

（一）AR基本原理

通过摄像机采集真实世界图像，人可以通过语音和手势等对设备输入指令，计算机利用计算机视觉技术和人工智能技术实现对周围环境的理解，同时对交互进行识别。再经过渲染引擎处理，最后通过显示技术输出，以达到虚实融合的效果。

（二）AR 涉及关键技术

AR涉及到头部姿态跟踪、三维注册、显示设备、人机交互、系统评估等技术，目前AR技术的技术难点在于：精确场景的理解、重构和高清晰度、大视场的显示技术，其中涉及的关键技术包括显示、识别和跟踪定位技术等。

1、显示技术

显示技术是将计算机产生的虚拟信息提供给用户的重要技术。设计AR系统的显示装置时需要满足Eitoku 提出的四则标准，即：虚拟信息与现实世界共存；支持协同工作；不给用户增加特殊仪器的负担；支持显示自然的三维图像。主要集中在3种类型：透视式头戴式显示技术、手持式显示技术及基于投影的空间显示技术。

1)、AR按真实环境的表现方式可以分为：视频透视式和光学透视式

2)、显示技术可分为呈现技术和投射技术。

2.1 呈现技术

目前，国际主流企业已采用波导技术，国内厂商仍以第三代技术为主，虽有布局第四代技术，仍无法实现量产。

2.2 投射技术

AR设备目前最需要解决的问题就是用户在观看视频或者游戏娱乐时会容易产生眩晕甚至恶心呕吐等不适感，其中屏幕显示延时是主要原因。降低屏幕显示延时的最简单的方法就是提高刷新率，减少帧内时间，而 AMOLED或Micro-led显示屏的响应时间是LCD的千分之一，是解决屏幕显示延时的最佳技术选择。

投射显示技术包括CRT、LCD、LCOS技术与DLP技术。CRT显像管技术已基本退出历史的舞台。目前，VR/AR设备的主流投影显示技术是LCOS技术、DLP技术，而DLP技术被TI所垄断；当然，也可以选择更高阶的技术：光场技术（Light Field），Magic Leap所采用的技术正是光场技术，可实现对逼真数字化场景的重现，但仍无法量产。

对于AR 设备来说，能够改善聚焦问题的是光场显示技术。光场显示技术主要使用的是微透镜阵列，它是由很多微小突起透镜包裹的透明薄片构成，每个微透镜覆盖着常规显示器上的一小部分像素。光场显示是模拟四维光场的显示技术，真实再现所有方向的光线信息，真实性主要体现在两个方面：(1)使眼球的聚焦距离与双眼的汇聚距离一致，解决晕动症的问题；（2）人眼可以主动聚焦，聚焦的球面清晰、而该球面以外的距离模糊，符合人眼的观看习惯，理论上与人眼观看真实物体没有区别。

光场技术原理：在计算机图形学领域，3D渲染演示技术的演化进程可以大致划分成针孔相机、双目立体视觉、光场、数字全息四个阶段。

光子光场芯片是光场显示最核心的部分，光子光场芯片是一个由多个波导组成的，将光束转变成球面波前的光学部件，可以被看作是将2D光场变换为4D光场的数学运算器，核心技术是纳米级的光学设计和加工技术。

Magicleap采用12层2D平面波导，模拟眼睛和无限远之间的12个焦平面，通过12层平面波导对应人眼的不同焦距，每一层平面波导采用微反射器阵列或波带片衍射光栅的技术使光纤投影系统射入的光束按照规律偏转，形成射入人眼的球面波前，从而在对应焦距的位置成像，同时外表面通过正交光偏振、遮挡掩膜等方式避免外部光线干扰、以及与真实世界叠加。

2、识别和跟踪定位技术

识别和跟踪定位所要完成的任务是实时地检测出使用者头部的位置和视线方向，计算机根据这些信息确定所要添加的虚拟信息在投影平面中的映射位置，并将这些信息实时显示在显示器的正确位置。

跟踪与定位是一个持续的动态过程，目前广泛应用的注册跟踪技术可以分为3类：基于硬件跟踪器(传感器)的定位技术、基于视觉计算的定位技术以及两者混合技术。

其中，基于硬件的跟踪包括惯性跟踪、光学跟踪、超声波跟踪、机械跟踪、电磁式跟踪等；基于视觉跟踪包括基于模板匹配方法和即时定位和地图极建技术（SLAM）。由于SLAM不需要预存场景，跟踪范围大，成本低，精度能依靠算法不断提升，所以目前主要采用是SLAM技术方案。

SLAM（即同步定位与地图极建技术）其核心包括建图、定位，涉及到四个方面：环境描述、获得环境信息、表示环境信息并根据环境信息更新地图、定位。

1）主流SLAM算法主要包括卡尔曼波概率算法和图优化算法

现在的AR和人工智能多是利用图优化的算法，前端进行相邻帧的拼接，后端进行前端累积误差的校正。

2）SLAM 的实现手段主要有两种：

（1）V- SLAM：

V-SLAM技术方案成本较为低廉，在室内、室外短距离可以广泛使用；在实现方式方面主要有：双目、结构光、TOF三种技术实现方式。

综合来看，结构光方案更加适合消费电子产品前置近距离摄像，可应用于人脸识别、手势识别等方面，TOF方案更加适合消费电子产品后置远距离摄像，可应用于 AR、体感交互等方面。

总体而言，VSLAM是一种机器视觉导航定位系统，其技术难点在于两方面：①特征点提取与匹配；②匹配点图像坐标与空间坐标是非线性关系。VSLAM精度相对较低，但其优势在于纹理信息的丰富性，相同外形的障碍物VSLAM可以识别出内容上的不同，这带来了场景分类上的优势，适用于动态复杂的环境。

（2）激光雷达LDS

激光雷达有两种原理：三角测距离法和TOF激光法。其中三角测距法主要适用于短距离（20m以内）测量，成本低，目前主流通常采用TOF脉冲激光法，距离可达到 200-300m。

目前阻碍LDS大规模推广的主要还是价格因素，通常线束越高，价格越高。随着终端用户的产品放量，激光雷达的产业化将会带动价格打破瓶颈区域。

两种技术方案而言，LDS和VSLAM都具备独特的优势，单独使用均存在局限性。现实中SLAM系统往往会配备视觉里程计、GPS等辅助定位系统，实现多传感器融合。

三、AR产业链简析

（一）产业链长，国内与国外有较大差距

在硬件方面，尚处于初级阶段，面临诸多技术瓶颈亟待克服：硬件、图像技术、数据等方面的技术缺陷使得AR进一步突破变得困难重重，难以量产，成本居高不下；在软件平台方面，性价比和本地化服务欠缺；在产品应用推广方面，产品同质化、缺乏场景落地、主流生态参与度低等问题；

从技术知识专利方面分析：根据国家知识产权局中国专利信息中心主办的专利之星上关于AR(Augmented Reality)的所有专利（截止2016.4.27），总计世界专利7142条，国内专利832条，其中，技术类和硬件类专利数量最多，分别占比39%和28%，技术类专利爆发最快，数量最多，其次是硬件，应用领域最少。

（二）未来五年年均复合增长率将超过70%

2018年全球终端出货量将超过1200万台，市场规模超700亿元，增长126%，预计2020年出货量约4000万台，市场规模超过2000亿元，其中，航空领域VR/AR将超过50亿[1]，预计到2025年，基于标准预期之下，VR/AR市场规模将达到800亿美元，硬件占56.25%，软件占43.75% [2] ；在应用领域方面，预计到2025年2C市场的影视、游戏、直播等领域占市场60%，军事、工程、医疗及教育等2G/2B等领域占市场40%。

（三）B端将会先于C端爆发

在爆发节奏来看，相对于C端，B端具有价格耐受度高、注重价值产出、行业壁垒较高等特点，B端注重产品投入与产出比，若该新技术将带来正流入，使用意愿强烈，Upskill就是最好的案例。AR B端市场巨大，但是不同行业之间的差异度较大，拓展速度较慢，但是客户对价格耐受度高，盈利能力强，我们判断ARB端将会先于C端爆发，尤其增速高、持续性好、刚需强劲的航空航天、消防、电力、汽车等工业及特定领域（如消防/公安）。

鉴于AR是少有的在C端与B端都具有巨大应用价值的产业，除了谷歌、苹果、微软等软件巨头外，波音、通用等传统制造业巨头也纷纷加入。

世界专利申请数排名前五的是微软、高通、三星、 Magic Leap和索尼。除Magic Leap外都是上市的互联网巨头，都在已有的智能硬件生产过程中把握关键环节。

（四）AR主要问题是无法解决眩晕感，且沉浸感不足

目前，AR主要问题就是无法解决眩晕感，且沉浸感不足，这跟硬件的技术指标不达标有直接关系，这些指标主要至包括设备重量、屏幕分辨率、屏幕刷新率、延迟和视场角度以及交互感差等。

四、AR在航空航天领域中的应用前景

AR具有第一视角、解放双手等特点，可应用于几乎所有行业。在制造领域，AR打破二维平面桎梏，在研发、装配、检修、培训等多方面加速制造业效率提升；从应用实践分析，航天、航空、汽车等高端制造领域已应用了VR/AR技术。

AR最早起源于飞机制造领域，下面主要介绍AR技术在航空航天的应用：

航空研制过程是技术密集的大型复杂系统，航空产品内部结构复杂，制造精密、拆装维修困难，对人员技术和工具设备要求极高。目前，航空产品研制都是依靠纸质或电子手册，效率低下，差错难以控制。AR技术将虚拟物体和真实环境相结合，其目的是为真实的场景提供信息扩展。在航空维修和航空制造领域，AR技术研究取得了许多成果。20世纪90年代初，美国波音公司首先将AR技术应用于飞机制造中电力线缆的连接和接线器的装配，其研究成果最为引人注目。2003年，德国Starmate系统和同期Arvika系统的研制成功。据公开资料，传统方式设计飞机需要建造两个实体模型，每个约60万美金，采用AR方式之后，可以显著的节省研究经费、缩短研制时间，且能够保证对接的一次成功；波音Boeing已应用于777和787飞机的设计上，通过VR/AR技术，完成了对飞机外型、结构、性能的设计，所得到的方案与实际飞机的偏差小于1‰英寸，设计错误修改量减少90%、研发周期缩短50%、综合成本降低60%。

基于AR技术的航空产品研制系统是建立在增强现实辅助系统、训练系统与专家系统的基础上，可适用于飞行员、设计师、生产技师与维修技师等飞机研制各环节作业人员。

（一）飞机员

下图是一款美国罗克韦尔柯林斯公司为F-35战斗机驾驶员开发的AR头盔，该AR头盔借助安装在飞机上不同位置上的多个摄像机组，来实时拍摄飞机所处环境周围各个方向上的景物信息，并通过三维重建技术，重建飞机模型并通过HMD进行显示（红色圈住的是飞行员驾驶的飞机）。使驾驶员不仅能够看到飞机周围场景，还能完整的看到所驾驶飞机的结构，在驾驶舱内提供3D 360度体验，有利于飞行员对飞机战斗状态做出评估。通过多种传感器捕捉到的信息，将大气温度、湿度、能见度，地形地貌，海拔高度等信息实时地显示在驾驶员最舒服的视野范围内，能够简化飞行员信息获取的流程，节省其信息获取的时间，有利于更好地把握战机，取得胜利。

下图是一款德国慕尼黑理工大学研制的搭配LiDAR（Light Detection And Ranging，即激光探测与测量）系统的AR设备，直升机等飞行器在低于800米飞行时，飞行员视野极易被云雾遮挡，但是激光具有极强的穿透力，在人眼能见度较低的情形下，激光探测与测量系统仍能继续工作，通过视频渲染，将获取的数据信息进行实时显示，使得即使在大雾等能见度较低的天气条件下，指示飞行员进行正确避障，避免事故发生。

辅助空中监视：从图中可以看到，AR技术在原始航拍图片上叠加了众多关于地面场景的信息。比如标记出公路，公路上汽车的速度等信息。飞行员驾驶直升机辅助路面交通管理时，AR设备能够借助计算机视觉技术对道路、车辆信息进行实时地跟踪与识别，对可疑车辆进行报警。在犯罪打击方面，AR技术能够利用多种传感器搜集情报，并通过图像图形实时地展示在驾驶员视野范围内。传统的交通管制需要借助人眼进行主管识别和判断，难度大且错误率较高，借助AR技术之后，信息获取量更大，种类更全，有利于更好地完成监视任务。

Aero glass ：视频主要介绍了这款眼镜的功能，能够在飞机起飞和降落等难度较高环节对飞行员提供详细的指导，并在飞行过程中实时显示预定飞行轨道。并将飞机自身飞行状态和飞行环境信息实时显示在飞行员视野范围内，给驾驶员提供充足的飞行信息以帮助飞行员更加安全平稳地完成飞行任务。

（四）维修技师

在一些危险的维修工作中，缺乏经验的维修工人会因经验不足而使维修失败，甚至因此而受伤，但是借助AR技术，对维修工人进行实时指导，对一些危险操作提出警告，能够解决这一问题。

维修人员配备头戴式显示设备进行维修。维修过程中，AR系统对所维修部件进行识别，并实时地为维修工提出指导意见，当维修工操作失误时，AR系统会及时进行报警提醒。维修人员通过配备这样一套AR设备，能够降低工作难度，提高工作的效率。

还有一种就是手持式AR维修设备，操作简单，成本较低，但使用起来不很方便。

传统的维修教学，需要有经验的师傅进行指导，且教学过程中，由于师傅和学员的视野不同，容易导致学员与师傅的指导思路脱节，从而使教学任务失败。但是利用AR进行维修工人培训，能够对飞行器重点部件进行突出显示，将维修知识的要点和重点实时地显示在视野范围内，各学员能够在同一角度获得重点部位的图像信息，降低学习的难度，提高学习效率。通过预先记录的数据和信息，学员可以在无师傅指导的情形下进行多次自主学习，直至掌握维修时的知识点。

五、风险投资动向及投资机会展望

根据映维网(www.yivian.com)公布了AR/VR行业最新的风险投资事件报告，截至9月底，全球2018年AR/VR行业已公布风险投资事件总共119起，涉及总额达到101.5亿人民币。

投资地域方面，在国外的投资力度在持续加强，而在国内的投资力度在大幅度下降，其中，美国仍为主要的VR/AR投资地点，中国紧随其后并产生了许多独有的投资机会；

行业领域方面，大部分资金流入头显厂商、企业/垂直行业的软件开发商以及硬件元器件技术厂商中，极少部分流向了硬件相机厂商、渠道分发服务提供商，（软件）影视内容发行制作商以及（软件）教育内容开发商，我们认为，企业/垂直行业的融资成为投资人最活跃关注的领域；而在游戏和娱乐等内容行业，投资者态度则变得更为谨慎。

投资展望：

由于硬件出货量低于预期，可从早期的硬件和内容（较依赖消费者渗透率）转向具长期投资价值并能跨内容和平台应用的工具与底层技术，以及能够快速验证产品价值并产生收入的企业/垂直行业领域。我们判断潜在的新兴投资机会包括：

1）行业应用：航空、汽车、电力等解决方案等;

2）底层技术：Slam技术、压缩/流媒体、语音识别、计算机视觉等技术；

3）硬件环节：光学器件、感应元件（摄像头/ VCSEL）；

4）软件内容：AR OS、SDK、平台和开发工具。