本文共字，预计阅读时间。

文/中信证券股份有限公司总工程师、信息技术中心行政负责人宋群力，中信证券股份有限公司信息技术中心项目经理武超，上海境腾信息科技有限公司CEO张力，中信证券股份有限公司信息技术中心总监代慧明

（本文为“证券机构数字化转型与证券科技创新”征文活动入围文章。）

第一章 金融科技背景

就全球来看，金融科技浪潮已经扑面而来，社会各界无论是金融行业的从业者，研究者，还是新科技技术的引领者，无不关注着金融科技的发展。与互联网金融相比，金融科技更关注金融本身这个话题，更关注新兴技术与金融的融合，为金融本身服务。

金融相关技术的演进从IT技术的发展，到后来与互联网结合的互联网金融的发展，到最近与更多新技术如大数据，人工智能，区块链技术等相结合的智慧金融。新技术对金融的影响，已经触及了各个方面。

证券行业作为金融行业里的重要组成部分，科技应用也在飞速发展。中国证券市场相比于欧美日韩等证券市场，起步虽然相对较晚，但是却因较少的历史包袱，相反表现出很强的后发优势，在很短的时间内就完成了信息化的改造，并构建了一套完整稳固的信息技术架构体系。但随着时代的发展，证券行业的信息系统也面临着更多的问题与挑战，比如业务创新和IT响应速度的匹配，业务种类和系统数量繁多，并发需求高，业务流程长，用户需求量大而多样，新技术的到来为证券行业面临的挑战带来了解决的机遇，大数据、云计算、人工智能和区块链技术在证券行业内不断摸索和应用，尤其是一些成功案例的落地，促使证券行业的金融创新稳步向前。

但同时我们也看到，对某几个热点技术的过度关注，也使得一些本有较强落地可能性的新技术有可能被低估或者错过。本文中涉及到的混合现实技术相对大数据，人工智能，区块链等热点技术来讲热度值不是最高，但这个技术所体现的更人性化、本能交互的特点可能会从一个新的维度为证券行业带来一些思考。

第二章 混合现实技术

近几年，计算机视觉技术发展非常迅猛。虚拟现实VR、增强现实AR、混合现实MR三代技术各有特点。最新的混合现实MR技术通过在现实场景中引入虚拟环境信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的临场感，具有真实性、实时互动性等特点。

VR虚拟现实技术发展时间较长，具有较高的技术成熟度，设备价格相对低廉，但由于其全封闭的工作模式，导致使用者容易产生难以克服的生理障碍，如头晕、呕吐等，因此无法长时间使用，且应用场景局限在游戏、影音等娱乐领域。相比于VR技术来讲，混合现实MR技术采用了非沉浸式设计，用户可以直接看到真实和虚拟环境的融合，从而从根本上解决了VR技术带来的生理障碍和应用场景问题。

AR增强现实技术实现了在真实环境中叠加虚拟信息的能力，从而实现了对真实环境的信息补充，增强了用户的体验效果。但现有AR技术无法实现虚拟影像内容和真实场景的互动。而混合现实MR技术通过SLAM技术（即时定位与映射构建技术）将虚拟物品融入真实空间并与真实场景产生物理互动。

微软公司作为混合现实技术的引领者，已将混合现实技术作为未来公司发展的三大引擎之一，另外两项技术为人工智能和量子计算。微软将混合现实技术作为新一代的人机交互界面，摆脱了PC时代的2D屏幕、键盘和鼠标的束缚，也超越了移动互联网时代手机设备以触摸屏幕为主的交互模式，这种新的方式将以人类最为自然和本能的方式，即：以人的手势、语音、眼动等方式与现实世界中出现的虚拟信息或虚拟物品进行交流和互动。人工智能将赋予混合现实更多的交互识别能力，比如图像、语音、手势等，而量子计算将为人工智能的能力提供更强的计算力。

Facebook、Google、Apple、Magic Leap、PTC等国际一流的软硬件企业也将混合现实技术作为未来的主要关注点和投资重点。国内众多优秀的企业如联想、Nreal、影创等企业也开始投入到混合现实的设备研发当中。一大批国内外的混合现实设备、软件正在逐步走入市场。

2019年末，微软推出了最新一代的MR混合现实眼镜设备HoloLens2。微软在2019年2月宣布了HoloLens2的消息并于11月份正式向市场推出了该设备。HoloLens2设备的佩戴舒适度提升，视野扩大了2倍，交互的方式从原来的双指夹击变成了更为自然的手势、语音、眼动相结合的交互方式。基于HoloLens2设备的便捷特性，虚实结合的混合现实特性展示，这将给沟通交互带来全新的全息体验，也使得混合现实技术在金融领域的应用成为可能。

新一代MR眼镜设备在性能上也提升了很多，CPU由于使用了高通的850，计算和渲染能力基本上达到了和当前旗舰手机类似的水准，比一代设备更容易做到双目60帧全息3D物体渲染。在SLAM能力上，新一代MR眼镜依然采用的是左右各两个可见光摄像头，以结构光为主、IMU为辅进行定位。由于计算能力、传感器精度和算法的提升，新一代MR眼镜的SLAM能力强了很多，稳定性更好，持续性强。

随着MR眼镜硬件能力的提升，新的底层MRTK工具包的完善程度也有大幅提高，并改善了在MR眼镜上的手部交互体验，增加手部物理扩展服务，为手部交互提供了更准确真实的物理交互体验。其他在交互操控方面的能力提升包括键盘交互能力、手部指示、单手指触碰、手掌滑动等，以及一代设备主要的交互方式双手指拿捏，其拿捏方向和精准度也大幅提升，使得与虚拟对象的交互更加自然逼真，较为充分的从软件系统层面体现了硬件的基础能力。

基于这些硬件和软件的能力提升，混合现实技术将有可能把更多生动的内容以更稳定的方式呈现在使用者的空间当中，并且能呈现的内容将比上一代混合现实设备更为生动和丰富，这将会为信息接受者的体验度带来极大的提升。

第三章 中信证券混合现实技术上研究

中信证券以卓越的创新业务为驱动力，不断丰富业务结构、提升综合服务能力；以领先的国际业务为突围，开拓海外市场，打造国际化投行。中信证券的业务创新能力领先，并且公司愿意付出时间与成本培育新业务，作为混合现实技术在金融市场的先行者有利于公司新业务的培育，并在技术创新中获得先发优势。

中信证券信息技术中心于2018年就已经开始进行MR技术调研工作，尝试过在证券业务各阶段使用混合现实技术的可能性以及现有混合现实设备与业务流程的匹配性。但由于当时混合现实设备在交互便捷性及性能等方面的问题，当时的混合现实技术主要应用于远程教学和沙盘演示领域。

经过1年多的的市场调查和技术论证，中信证券决定使用技术成熟度更高、易用性更好、开发生态更为健全的微软MR混合现实眼镜及微软混合现实计算平台实现交互性、实用性更强，与券商业务结合更为紧密的应用场景。

首先考虑的应用场景是VIP投顾场景。高净值客户的理财服务需求，通常涉及投资咨询、家庭理财、资产配置等价值交付，需要与投资顾问服务人员有超强的信任感，以及高频次的沟通。而在高端金融服务资源短缺的情况下，借助基于混合现实技术的全息交互，提供了一种全新客户服务解决方案，既能解决现场上门服务面临的时间成本问题，又消除了电话交流的沟通障碍，让金融机构有限的服务资源，高效服务更多的客户，有效解决资源分配和供需平衡的问题。并且在突发状况如疫情期间，避免了人与人的物理接触，减少了疫情传播的风险。

第二个关注的场景是客户的自助金融服务场景。目前的金融服务场景，要么是现场沟通办理，要么通过PC、手机等传统客户端进行，而混合现实技术的引入，实现远程协同的同时提供更多动态化、立体化、场景化的服务内容，让客户获取信息的方式更加多元、直观、立体，带来超出单纯文字、图片、视频介绍的体验，在现场丰富的展示信息以及远端客服代表视窗或虚拟形象交互协助下，客户可以实现便捷的自助服务，从而一个全新的金融服务入口将被打开，未来的想象空间无可限量。

在VIP投顾和自助服务空间的基础上，引入了第三个场景MR会议。网络视频会议在疫情期间被广泛的使用，也帮助人们养成了网络视频会议的习惯。但是基于PC和手机的视网络视频会议，只能通过2D的屏幕互动，缺少现场的临场感和交互感。混合现实MR会议为在线会议交互提供了一种全新的方式，位于不同位置的参与者通过Internet互联网或5G接入混合现实会议空间，除了传统在线会议的音视频交流外，通过数字化身在混合现实空间中的呈现并同步混合现实设备佩戴者的动作，犹如真人在现场一样。在线混合现实会议将应用在年度投资分析，投资者大会以及小型金融策略会等多种会议形式中，将为物理分割的各位参会者带来身临其境的参会体验，也便于会议组织者吸引更多参会者，增强自身品牌影响力。

这三种场景的呈现代表了客户服务的三个主要的沟通方式，这三个应用场景都强调了如何在远程本能自然地向客户传递完整生动的信息，就宛如中信证券工作人员与客户在同一环境中。以往通过现场物理面对面的交互方式，通过混合现实的方式，将形成虚拟的面对面交互，从而大大地降低服务交付成本，缩短客户获取服务的时间，并大幅提升客户感知。

第四章 中信证券混合现实技术应用实现路径

实现混合现实的交互应用场景，就像是将科幻片中的场景搬到现实中来，初想下来难度很大，但是硬件、软件、开发生态的进步让这一切有了可能。

首先是混合现实设备的发展加速了混合现实技术应用落地，新一代MR眼镜设备的佩戴舒适度、更宽阔的视角、更灵活的交互体验，以及硬件计算能力和SLAM能力的提高，从硬件层面为整个场景的现场感带来极大的助力。

混合现实软件应用的复杂程度不亚于研发一个混合现实硬件，如果在应用中体现所有的虚拟元素，最大化的发挥硬件的能力和特点，规避硬件的一些瑕疵，需要对硬件有较深的了解，更要对场景中的混合现实虚拟呈现对象有深入的把控。这三个场景适用的业务形式不一，但从呈现对象上可以归纳为三种主要元素：人、物、空间。所有元素的呈现都将结合混合现实技术以及混合现实设备所提供的基础能力：

人：对于人来讲，场景1“MR-VIP投顾”中最主要的就是投顾（中信证券员工）和客户，其中人将以全息形象的方式出现；场景2“MR客户自助空间”中的人也可以设计得较为丰富，除了可以提供虚拟形象的机器人以外，客户服务人员（中信证券员工）也可以视频窗接入，数字3D建模形象，3D全息扫描形象等多种人物形态出现；场景3“MR会议”中的人除了展示形象以外，可以设置现场和远程两种维度，演讲者与观众两个角色同时出现。如此多的人物表达方式和技术实现方式的不同，将会是此场景中实现的一个难点。

物：在几个场景中，除了人以外，最重要的就是交互的“物”以及物所代表的信息。这里涉及到多种文档格式及PC投屏的呈现，牵涉到的会议讨论对象的呈现，各种金融相关数据的呈现等，如何能真实呈现这些数据，对数据对象的自然交互，并能满足前端MR眼镜硬件的需求将会是一个难点。

空间：混合现实的特点是虚实结合，不同的场景将有不同的元素，将元素以合理的方式配置在空间中，场景中虚拟内容与物理场景的虚实结合，会给客户带来不一样的体验。空间中将会要辅助场景主题的表达，如何实现高效的现实场景匹配也将会是一个难点。

除了以上混合现实的相关技术要将众多的虚拟元素如实呈现以外，因为要跨越空间的全息交互，对于网络通讯的技术要求也远高于普通的混合现实程序。稳定的通讯协议提供了低延迟高质量的数据传输（当然也要有稳定的物理网络支持，5G技术的应用将解决传输速度和稳定性的问题），才能带给身处不同地域的双方以如临现场的感觉。

此外，基于业务场景的复杂性，需要开发完备的业务逻辑管理程序，比如会议管理系统，账户管理系统等。让程序逻辑完整地与业务逻辑匹配，并从交互上增加便利性，提升交互的愉悦感。

所以整个解决方案需要从混合现实技术，网络信息技术，多平台应用程序开发技术等等多个方面来进行综合性开发。

在综合考虑整个解决方案的框架以后，中信证券将整个实现架构分成了四层（由下至上）：

1、基础架构层：云+端。提供云端计算（私有化部署）和设备终端设备应用的硬件架构支持；

2、平台层：此平台将从软件层面提供全息、低延迟、安全、高效的音视频沟通，全息数据的传输方法和用户管理；

3、组件层：提供基本的组件要素，根据分析，主要包含人、物、场景三个要素；

4、应用层：根据业务逻辑编写程序逻辑，并调用相应的组件完整提供服务。

整个应用平台的框架如下图所示：

通过这样的技术框架，整个系统可以做到更好的模块化管理和开发，对于未来应用的稳定性，可扩展性，可复用性等都会带来很多益处。

1. 基础架构层

基础架构中云服务架构将为应用提供稳定安全的云架构，在设计上不仅可以在公有云上搭建，更可以按照金融系统的要求以私有化方式进行部署。

在提供面向用户的端设备中不仅包含了混合现实设备,更加考虑了用户在不同环境中使用系统的灵活性，加入了对Windows视窗系统的支持，可支持Windows PC，Surface平板等，加入了对iOS和ARKit的支持，从而可支持苹果平板和手机设备。通过对跨操作系统的多设备的前期设计，也为未来更多新设备的支持提供了可扩展性。中信证券已经注意到国内已经有更多的厂商在研发混合现实设备并推出了第一代产品如Nreal, 即墨等等。这些产品现阶段在功能上还无法与微软HoloLens设备媲美，但是综合考虑价格，应用场景，下一代更新等因素，未来仍有可能在某些场景中用到这些设备。

2. 系统平台层

系统平台层主要解决了多设备支持互联的问题。该平台底层协议基于业界先进的WebRTC音视频传输协议，可以支持市面上多种移动设备和混合现实眼镜，实现低延迟和高清晰度的前端人员和后端专家的音视频通讯，这也是远程交互平台最基础根本也是最为复杂的部分之一。该平台允许以多人直播的方式把参与人员的音视频广播给更多的观众（参观者），实现多人远程同步的目的，这将为多人MR混合现实会议的场景提供底层的技术支撑。同时还可以在服务器端把前端人员的混合现实设备视角的音视频保存为视频文件，以供事后检查和查看。所有数据通过DTLS加密传输，保障了数据传输的安全性。

该平台在音视频传输的基础之上拓展至更为复杂的全息数据传输及空间位置的同步（空间位置同步功能需要依赖设备能力，不同设备的实现方式可能不一样，本研究中将用到的HoloLens2设备具有此能力）。

此平台保持高度的开放性和模块定制化能力，可进行客户私有化部署，免去客户对数据安全性的担忧，并可针对客户的实际业务情况匹配适当的硬件扩容。平台提供了一整套的账号管理功能，基于平台的高度开放性和模块化功能，也可以较为轻松的同使用者生产环境的业务系统的账号系统打通。

3. 组件层

基于对现有业务的描述，以及对未来扩展性抽象提炼的基础上，在平台与应用中间设置了一个中间的组件层。组件层的设立将业务逻辑剥离开来，提供最基本的内容组件的全息呈现，跨网络互联，以及跨空间的位置信息同步。

将组件层归纳为三大元素：人、物、场景，这样每一个组件都有相应的实现方法并被上层应用根据业务需求实时调用。通过模块化组件的开发，将通用组件与上层应用的具体业务逻辑分开来，我们可以做到更高效的开发进度，更易于问题排错，也有利于在不影响业务逻辑的情况下扩展更多虚拟对象的引入和呈现。

4. 应用层

应用层是用户感知的直接界面，也是业务逻辑实现的主要部分。根据中信证券研究需求，当前需要关注的将有三个主要的应用:

1、MR-VIP投顾（较为正式的投顾服务场景）

2、MR客户自助空间（继PC、手机后的下一代客户全息操作终端）

3、MR会议（现场/远程演讲者及现场/远程观众打破时空壁垒进行混合现实交互）

基于前面对应用架构的划分和组织，应用程序将结合底层架构提供的支持及业务逻辑梳理，逐步完成相应的应用开发。

第五章 中信证券混合现实技术应用实现效果

从整个交互实现的逻辑上我们充分利用混合现实技术带来的手势、语音、眼动等多种交互方式，让用户用最小的学习成本可以轻松本能的使用系统提供的功能。另外通过混合现实提供的虚实结合的空间展示方式让用户可以不受约束地与虚拟的人、物、场景对象进行交互。本章对三个场景中主要的一些交互界面做一个概要性的展示及描述，随着技术的发展和研发的渐进，这些场景都将逐步实现并为客户所使用。

1. 场景引导界面

在MR眼镜中打开应用程序后，有一个较短的中信证券Logo展示动画，接着进入用户面对的第一个需要选择的场景引导界面。包含了中信证券“VIP投顾”、“自助空间”、“MR会议”三个场景选择。

每一种场景都以立体的展现方式直观的告诉用户可选择的应用场景，用手触碰相应场景即可完成场景的选择。

2. VIP投顾

在此场景中，投顾人员可根据与客户的沟通频率建立一个VIP投顾会议。在此会议中，投顾可以以视频、绿幕全息、或者数字化身的形象出现在客户的头戴式混合现实设备中，双方除了建立音视频连接以外，可以根据需要调取展示的虚拟内容。双方共享信息甚至在数字人协同场景下共享视角，宛如大家身处一地，实时交流，并能与虚拟内容进行交互，极大的提升了沟通效率和客户的交互体验。

3. 自助空间

客户也可以随时根据需要通过混合现实的自助服务空间查询相关信息和获取进一步的客户服务。客户佩戴混合现实设备进入此场景，可以选择与陪伴机器人进行语音问答，对接中信证券已有的语音识别和语音合成系统，就像是和真人对话一般。

客户也可以看到多种信息的呈现如行情、资讯等信息。基于混合现实技术不受物理空间限制的特点，可同时展示多屏信息。如遇到问题，客户可以随时召唤一名或多名客服坐席或客户经理，服务人员通过手机、PC、或者佩戴MR眼镜设备进入客户所在的全息空间，实时的解答客户问题并提供服务。客户可根据自己的需要展示需要给到服务人员看到的信息，以此增强自己信息的保护和私密性。

4. MR会议

超越传统的电话会议、电视会议、在线视频工具会议，MR全息会议将会是一个超前的应用也必将影响未来金融行业会议的形态甚至影响其他行业的会议形式。通过MR会议，现场的主持人和观众，以及远程的嘉宾和观众，将打破时空壁垒进行混合现实交互。

混合现实MR会议为在线会议交互提供了一种全新的方式，位于不同位置的参与者通过Internet互联网或5G接入混合现实会议的虚拟空间，除了传统网络视频会议的音视频交流外，通过数字化身在虚拟空间中的呈现并同步混合现实设备佩戴者的动作，犹如真人在现场一样。不论是小型的圆桌会议，还是大型的直播式会议，都能以在线混合现实会议的方式进行，将物理分割的各位参会者虚拟地连接在一起，聆听、讨论、提问、切换会场以及对演示内容的操控等会议动作都可以通过混合现实提供的交互能力带来现场的会议感，并能提升参会者的会议效率。对于已结束的会议，区别于传统的视频播放，佩戴混合现实设备，还可以对已结束的会议，以虚拟参会者的身份进入其中进行观看，同样具备混合现实的临场感。

第六章 展望

虚拟现实技术经历了VR（Virtual Reality 沉浸式虚拟环境），到AR（Augmented Reality 2D增强现实），再到MR（Mixed Reality 3D混合现实）的发展历程。就像我们曾经经历过的PC时代，互联网时代，移动互联时代一样， 混合现实MR技术将最有可能成为下一代技术平台，将对未来的交互模式、服务模式产生深远的影响。综合其他技术的发展如人工智能、大数据技术、5G技术、物联网技术等，混合现实技术也将获得更强的视觉、音视频交互的能力，数据服务的能力，以及稳定高速的数据传送和呈现能力。

我们深知技术不能离开业务场景单独存在，中信证券在混合现实技术初始调研阶段的尝试将使得混合现实技术的发展更为扎实，可以以更快的速度转化它的技术价值、客户价值和商业价值。

同时我们也知道，受制于技术生态如软硬件的发展和业务需求发展之间的不同步，落地实现之路也必将充满了荆棘，但我们坚信科技是国家强盛之基,创新是民族进步之魂，我们也必披荆斩棘，将混合现实技术的无限可能融入到金融创新之中，为行业创新发展贡献自己的一份力量。

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。