本文共字，预计阅读时间。

文/光大证券股份有限公司 沈波、孙伟

（本文为“证券机构数字化转型与证券科技创新”征文活动入围文章。）

1. 引言

随着金融科技的快速发展，运维人员管理的系统越来越复杂，系统间的管理度越来越紧密。在日常运维过程中，运维知识点非常多且分散，运维人员往往需要处理来自业务人员大量简单、重复、繁琐的提问，造成运维效率低下。如何打破人力资源瓶颈，智能化地提供一线IT服务支持成为了运维工作方向转变的关键。

为适应数字化转型的要求，充分发挥大数据、人工智能等金融科技手段提高公司运维服务水平，光大证券以“科技赋能”为工作目标与指引，结合ISO20000国际标准建设的IT服务管理体系，基于NLP和人工智能建立了智能服务台。通过热线、QQ、微信、ITSM平台等多渠道统一受理来自各方的服务请求，通过智能问答引擎实时回答各类问题，实现了IT服务7*24小时的能力，强力提升信息服务质量和服务形象。

智能服务台核心包括知识库的构建以及智能问答模块，具体为知识点的收集，问题梳理，模型优化，渠道推广等全流程的问答服务。在此基础上，结合公司智能运维平台建设，智能运维平台产生的告警事件，通过企业运维总线与智能服务台对接，智能服务台智能语义识别后，根据机器学习等算法进行置信度匹配知识库中的操作建议实时返回给用户，或调用运维调度系统的RPA流程自动进行相关应急操作。智能服务台在整个故障处理中发挥重要作用。

2. 设计方案与收益

我司基于现状分析并且调研多种前沿运维科技及算法，依托于AI基础平台建设中的智能问答，建立起以NLP和人工智能算法为核心的智能服务台，为构建公司统一业务问答服务能力迈出重要一步。

2.1 智能服务台定位

图1

(1)AIOPS产生事件告警时，发送到运维总线，智能服务台通过NLP自然语言处理，识别意图。

(2)智能服务台通过智能意图识别后，根据机器学习等算法进行置信度匹配知识库中的操作建议实时返回给用户，或调用运维调度系统的RPA流程自动进行相关操作。

(3)任务调度模块定时检查ITSM和CMDB系统中的工单，超时工单也将通过QQ机器人，企业微信等多种渠道提醒用户。

2.2 智能服务台功能设计

图2

智能服务台主要分为问答引擎、知识库、知识图谱、机器学习、日志管理、任务管理、数据同步、爬虫等模块。其中，问答引擎可以对接多个渠道终端，通过实体识别、意图识别、会话管理、场景交互引导和多渠道多答案支持等功能提供应答服务；知识库提供分类、知识点、动态知识库、渠道、和话术等管理功能；知识图谱承载动态知识库，是实体识别的基础；机器学习模块提供问答分析、样本标注和再训练等功能；日志管理模块记录其他业务操作日志和批量导入日志；任务管理模块负责定时任务调度；爬虫模块用于爬取公共的知识点；数据同步模块用于同步第三方知识库的内容。

2.2.1 自然语言处理

(1)研究内容：

主要的研究内容包含了词法分析、句法分析和语义分析

词法分析：第一层面的词法分析（lexicalanalysis）包括汉语分词和词性标注两部分。

句法分析：对输入的文本句子进行分析以得到句子的句法结构的处理过程。

语义分析：语义分析的最终目的是理解句子表达的真实语义。

(2)自动问答：

对一个自然语言的表达的问题，由问答系统给出一个精准的答案。需要对自然语言查询语句进行某种程度的语义分析，包过实体链接，关系识别，形成逻辑表达式，然后到知识库中查到可能的候选答案并通过一个排序机制找出最佳的答案。

2.2.2 语义解析过程

智能服务台语义分析流程

图3

(1)基于字符串的匹配

又称机械分词方法，他是按照一定的策略将待分析的汉字串与一个“充分大”的机器词典中的词条进行配对，若在词典中找到某个字符串，则匹配成功，即找到识别出了一个词。

(2)基于理解

通过让计算机模拟人对句子的理解达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。

(3)基于统计

在给定大量已经分词的文本的前提下，管理员统计机器学习模型学习词语切分的规律（称为训练），从而实现对未知文本的切分。

在实际的应用中，基于统计的分词系统需要使用分词词典进行字符串匹配分词，同时使用统计方法识别一些新词，即将字符串的频率统计和字符串匹配结合起来。

(4)关联语义

基于资讯、知识点、问答记录使用词嵌入算法，训练了证券行业的词向量。

(5)问题相似度计算

• 基于带权重的词向量计算模型
• 基于券商预料先行训练词向量
• 通过关键词发现+人工审核确定关键词
• 通过词向量计算发现相关语义词，人工审核确定。
• 通过每个知识点需要配置扩展问，即不同的问法，问句向量以后和系统扩展问进行相似度计算。

2.3 效益

智能服务台的智能问答面向各分公司，营业部，各业务部门提供7*24小时的问答服务，实时高效解决问题，目前通过业务系统CMDB分类，形成209套知识分类体系，现有标准知识1473条，扩展知识12101条，用户通过QQ、微信、OA平台等渠道提问，智能服务台通过智能语义识别后，根据机器学习等算法进行置信度匹配，并将置信度高的答案实时返回给用户。目前在云桌面等常见系统问题解决率在83%以上，月均服务访问次数在800次以上。若未匹配到符合要求的答案，智能服务台则会做通用引导，转人工接入，确保IT服务的有效性与闭环性。始终坚持为一线人员提供“贴心、暖心”服务，是智能服务台的核心发展宗旨。

运营方面：智能服务台将服务时间从工作时间推向7*24小时，提升了服务效率和服务体验的同时，也一定程度解决了一线运维人员的压力，降低了成本。

运维方面：通过对知识的收集，归纳，扩展，对于应用系统的知识总结有了进一步的提升，知识点间的关系更加清晰，运维工作得到巩固和提高。同时智能服务台通过一系列的任务型场景的推广，取代部分人工流程，极大提升用户体验。在知识传承上，已构建的知识库，在知识标准化后，对于ISO20000中流程的建设以及优化也至关重要。

3. 核心技术算法应用

3.1 BERT算法

BERT模型（BidirectionalEncoderRepresentationsfromTransformers）在语言模型中属于一种新型的模型，通过联合调节每一层中的双向Transformer来训练并且构造了一个多层且双向的Encoder网络。

BERT是一个预训练算法，在语言模型预训练（Pre-training）中，通过大量无监督语料来进行，然后再使用较少的标注语料来进行部分微调（Fine-tuning）来完成具体机器学习的任务，包括分类、序列标注、句间关系判断和机器阅读理解等。如下图所示：

图4

3.2 FastText分类算法

FastText是Facebook于2016年提出的，在词向量计算和文本分类算法有着很大的优点：文本或者问题分类任务中，FastText往往可以比深度网络快多个数量级。在标准的多核CPU上，在训练10亿词级别语料库的词向量往往只需要0分钟，在30万多类别的包含50多万句子分类只需要1分钟。

词嵌入算法会为每个词语生成一个向量，这可能忽略了词语内部的形态特征，比如:“光大”和“光大证券”，两个单词有较多公共字符，即它们的内部形态类似，但是在传统的词嵌入中，这种单词内部形态信息因为它们被转换成不同的id丢失了。FastText使用了字符级别的n-grams来表示一个词，这样因为n-gram可以和其它词共享，对于低频词生成的词向量效果会更好。同时，FastText在输出时采用了分层Softmax，大大降低了模型训练时间。

下图是FastText算法的模型架构：

图5

3.3 实体识别及知识图谱

知识图谱（KnowledgeGraph）“在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。”

智能服务台调用CMDB数据，对各类关系数据以及知识点等进行综合梳理，生成知识图谱，为智能问答场景提供数据支撑服务。

图6

4. 生产建设分享

生产实践中，在我们在建设智能服务台过程中，我们以应用系统为单位，通过CMDB来划分知识库，再通过渠道管理，引用不同的渠道来对接我们现有的知识库，并通过不同的报表来跟踪我们现有的知识问答体系。

4.1 模型建设

分类模型算法非常多，包括传统的机器学习算法、深度学习算法等，既能保证准确率，又能减少训练时间和提升预测性能是选择分类算法的重要考量。在服务台建设过程中，尝试了IF-IDF，BERT，TransFormer，TextCNN，FastText等5种算法。基于个股名称训练样本(4000余条)，我们用各个模型进行了实验，下表是回归测试的准确率。

大体来说，除TF-IDF以外，各个模型效果都非常不错。textCNN，transformer，BERT均为深度学习算法，语料少的情况下容易过拟合，训练时间相对较长，并且对硬件要求较高(GPU);而FastText在短文本处理上效果好，收敛快，预测快，并且对硬件没有特别的要求。综合考虑到样本集的数量要求、硬件要求、和训练时长，简单的分类情况，均采用FastText算法。

4.1.1 情绪分析模型

情绪分析模型用于识别用户提问问题的情绪，在正面和中性的情况下，通过服务台提供问答服务，在负面的情况下，通过情绪安抚话术并提示转人工，提升客户满意度。

4.1.1.1 样本准备

抽取历史问答记录进行标注。在本场景下，通常来说中性样本较为常见，正面或者负面的样本较少，因此仅选用部分中性语料，保持样本的均衡性。

下表为标注的方式说明：

4.1.1.2 模型训练效果

基于标注后的样本，正面：负面：中性=200：198：203。考虑到语料较少，训练集和测试集做了8：2切分后，通过fastText模型进行了模型训练，测试集准确率86.3%。

4.1.1.3 模型应用

考虑到样本数量较少，该准确率效果可以接受，但为了提升在应用中的准确率，减少误判，考虑集成情绪分析模型，和句法分析的方式。

(1)分析模型预测结果在不同概率情况下的准确率。如下图：

上图中，横坐标表示概率，蓝线该概率以上预测正确的个数，橙线是该概率以下预测错误的个数。

可以看出，在概率>0.53以上后，正确率有了显著上升，而错误率变化不大，而在0.90左右，正确率曲线非常陡峭。为了在保证正确值不被抛弃太多的情况下最大限度的纠正错误值，预测结果的置信概率设为0.7左右较为合适。

(2)0.7以下的预测结果不被采用，因此使用句法分析的结果。句法分析方式基于对输入语句的否定词、程度副词、和正负面词进行运算，是一种先验方式，因此只能处理在否定词、程度副词、正面词、负面词这4中词库范围内的情况，用作对情绪分析模型结果的补充。

4.1.2 知识库分类模型

在智能服务台问题收集过程中，前期试运行时出现较多未给出答案的问题，因该部分问题没有定位到对应的系统，没有办法集中的将问题给到对应的系统管理员来做相应的处理，也无法查出对应系统的问答准确率。

为了更好解决这种情况，需要一个分类预测模型识别用户提问问题的业务类型。当智能服务台无法给出答案，这时候通过预测分类模型，识别出问题对应的系统。

4.1.2.1 样本准备

现有业务知识点的标准问和扩展问标注为业务，聊天问法和历史聊天记录，根据知识点和问答记录进行标注，例如：

在我们现有的业务库中标准问数量在：1820，扩展问数量：17433，问答记录数量：17943。

4.1.2.2 模型训练效果

基于标注后的样本，cmdb系统209个，样本数量37696。通过fastText分类模型进行了分类预测模型训练，测试集准确率99.1%。

4.1.2.3 模型应用

业务类问题和聊天类问题特征较为明显，因此模型效果非常好。

图7

如图所示，选取了部分的系统的系统命中率，蓝色的柱状图是使用前的，橙色的是使用后的，在使用模型后，平均提升了三个点。大大的提升了业务分类的准确率。

4.1.3 意图识别模型

4.1.3.1 样本准备

（1）语料选择

用于BERT训练的语料主要来自两部分，一部分是来自智能服务台知识库的标准问和扩展问，第二部分是智能服务台的整个问答记录中系统标注正确以及运营人员人工标注正确的问句作为训练样本。

（2）样本清洗

机器在训练和学习过程中，因为知识点在不断的变换，不论是增，删或者改任何一种都会有受到影响，所以语料清洗需要去除重复、失效、标注量少和修改的数据。包括但不仅限于：

• 删除重复标注的语料
• 删除失效的问题及其标注问法
• 删除标注量过少的标准问题
• 更新已修改但是意图不变的标准问题

（3）样本均衡

数据不平衡是机器学习任务中一个常见的问题，在智能客服中分类不均衡的情况下，影响最终问答匹配。

图8

如上图所示，问答数量分布不均衡，大多数问答数量集中在某一些分类中，如果不做数据处理和均衡的情况，直接进行模型训练的话，会造成多数类的学习效果较好，少数类的学习效果较差。

（4）均衡的方法

图9

如上图所示左边的下采样，所以我们在多数类的中选取一些数据，而使用少数类作为所具有的示例数据。右边的是上采样，所以我们要在少数列中创建多个副本，从而使多数类和少数类的数据达到平衡。在做分析处理数据的时候，对类别多的数据进行下采样，对类别少的数据进行上采样，形成最终的训练样本。

4.1.3.2 模型训练效果

从测试的结果可以看出，第二种通过数据均衡之后对命中结果还是有影响的。所以在才有了第二种的训练方式。

4.1.3.3 模型应用

如下表格所示，利用模型后，问答通过原有的逻辑计算出的相似度（Dasem）和模型（BERT）推荐出来的问题做一个比较，选择出正确的问题和答案，大大提升了问答准确率。

策略1：berttop1在dasem相似问题列表中且dasemtop1相似度比berttop1在dasem相似度超出阈值则采用dasem回复，否则采用策略2.

策略2：dasemtop1在bert推荐的候选列表中，采用dasem回复，否则采用bert回复。

4.2 业务场景建设

4.2.1 通过CMDB构建知识库

最初我们采用的是分库分渠道的方式来进行知识库分类，划分知识库，聊天库，协同库等。经过试运行以及实际的应用场景建设来看，我们选用CMDB中的业务系统来区分知识库，并同时增加一些业务分类，比如通用类，集中交易类，网上交易类等大类知识类，取消不同的库，同时根据知识点的属性，划分临时性知识和永久性知识属性。通过不同的渠道来对接不同的知识库方案。这样更加灵活，也满足业务发展需求，无需建立多个库，通过业务系统类即可区分知识点。知识库的收集和构建主要包括以下几个方面：

1、现有运维系统的QA知识总结，通过数据清洗，提炼，形成标准问答知识体系，并丰富扩展问答，提高知识多样性。

2、数据模型训练，通过机器学习和训练，生成具有不同属性和标签的知识模型，提高知识储备。

3、爬虫方式获取开源类的文章，常见问题解决方法，纳入知识库。

4、基于问答记录和运营人员提供的训练语料，进行定期自动机器学习，发现新词及新的关联语义，供管理员确认后加入到词库中，丰富业务关键词库、自定义词库以及同义词库。

5、知识点开启生命周期管理，包括提交，审批，通过，删除。同时，知识点默认是永久，若为临时性知识点，可以设置临时周期。

6、知识点可以增加修改扩展问，丰富问法，因为知识点的类型不同，可以设定不同的回答方式，根据置信度60%以下，80%以上，95%以上等不同的情况，设置不同的话术回答。

图10

4.2.2 对接QQ、微信、H5不同渠道问答

通过对实际业务场景的需求调研，我们发现各类QQ群或微信沟通渠道大多具有专一性，群的目的是交流讨论某一类问题，针对上述情况，我们实现了不同的QQ群可以灵活对接不同的知识库，可专门分析和解答相关联的问题，提高问题准确度。同时我们也开放了协同平台H5页面，企业微信等自定义功能场景，对各类问答都可以通过不同的渠道满足用户需求。

图11

4.2.3 运维总线对接

光大证券智能运维平台可通过对海量业务日志进行异常发现，异常定位，相关异常告警信息可以直接通过运维总线传输智能服务台，智能服务台通过算法识别，定位问题，再通过智能问答系统以QQ，邮件，短信的方式对接客户本身。实现异常发现，异常定位，异常分析，异常处理的全流程覆盖。并通过多维度的告警通知，消息全方位触达。

智能服务台通过对接第三方接口，可以实现日常的工作需求，比如实时查询通讯录、预定会议室、常见的流程办理等工作。

4.2.4 语音和图片识别

基于现有的语音识别技术，应用在智能服务台，可以实现更加便捷的智能问答。语音技术在智能服务台的主要实现方式，优先获取语音文件，上传语音文件并且实时调用公有云语音识别，返回的结果调用智能服务台问答接口，从而快速获取客户问题的答案，实现智能服务语音问答。为了进一步提识别的准确率，通过在公有云上面对智能服务台业务数据做语音模型训练，这样不仅在专有的业务词也可以做到精准的识别。大大提升了语音识别的准确率。

如下图所示，在企业微信自建应用中，实现了语音问答。

5. 未来展望与心得体会

未来，随着智能服务台的落地，运维人员服务渠道得以拓展，效率将大幅提升。同时，由于本领域在证券行业尚处于探索阶段，高解决率智能问答以及场景覆盖还有很长的路要走。在管理方面，现有知识库的构建以及更新还需要专人运维，如何加强运维人员主动贡献和运营知识库，需要优化维护渠道包括从管理考核等方面予以强化。在技术方面，对于各种告警事件的语义解析，如何将事件准确识别为标准的知识库，这是目前智能服务台的难点所在。

光大证券在运维词库，知识干扰，机器学习和监控方面进一步研究的基础上，将不断拓展运维场景，提高智能服务台的服务能力。光大证券在系统建设过程中，总结了一些经验，包括：在知识的确认方面，新知识点维护需要大量依靠专业运维人员的审核才能保障准确性；在应用场景方面，智能服务台在问题解答领域以外，还可以发挥智能问答功能，补充传统服务台人员服务能力不足的情况。

[Source]

本文系未央网专栏作者发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文为作者授权未央网发表，属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！

本文版权归原作者所有，如有侵权，请联系删除。