业务洞察产品

业务洞察产品


业务洞察产品

  企业在数字化转型过程中,IT 部门的角色越来越重要,逐步从 IT 运维转向IT 运营, 不仅要保障企业的业务系统稳定、安全和可靠地运行, 而且要提升客户的用户体验和引领企业的业务创新。企业在 IT 运营中会积累大量的数据资产,充分地挖掘这些数据资产的价值, 不仅可以发现 IT 系统和应用的运行规律和异常行为,也可以洞察企业产品、服务和用户的特征习惯和变化趋势。

  随着数据量和数据多样性的增加,针对复杂和快速变化的数据集,使用传统基于规则的分析方法和仪表盘不可能获得实时的分析结果,需要将大数据和人工智能技术相结合。国际著名的 IT 咨询与分析机构 Gartner 定义了“用户和实体行为分析是基于一系列分析方法提供对用户和其他实体(主机,应用程序,网络流量,数据资料库等)的分析和异常检测,通常使用基本分析方法(例如,利用签名,模式匹配和简单统计的规则)和高级分析方法(例如,有监督和无监督机器学习)。”

产 品 特 点

  华青融天公司在多年应用性能管理和业务交易监控、 下一代安全运营中心产品与实践的基础上,推出用户行为分析和业务洞察产品 EZUBA, 基于 IT 运营大数据和机器学习方法,帮助客户实现用户行为可视化、实时异常检测、业务分析与预测,和业务风险管控。

  基于网络流量真实数据、各类日志源实时采集的数据和第三方数据,在大数据平台之上运用机器学习算法,在海量数据中发现业务运营模型和用户行为习惯;

  通过实时异常检测,发现网络行为异常、用户行为异常,和业务交易异常等,快速识别内外部攻击和金融欺诈,从而实现安全事件预警和业务风险控制;发现业务变化趋势,实现智能运营和业务预测。

产 品 架 构

  在 IT 运营过程中,会产生和获得大量数据,这些数据是重要的 IT 资产,蕴含着巨大的价值。其中主要有两类数据:一是网络流量的数据,用户所有的操作都会产生网络流量,比如银行的核心业务系统、手机银行应用,电商的交易和支付系统,制造企业的 ERP 系统、政府的对外服务门户等, 运维部门可以从网络旁路获得这些流量的真实数据;第二类是日志数据, 或者称作机器数据, 机器自动产生的数据,包括主机、网络设备、存储、数据库、各种安全组件和应用系统的日志。除了这两类数据之外,还有直接来自于业务部门和业务系统的数据,对这些数据的实时采集、多维关联分析、深度挖掘,并结合人工智能、机器学习的算法和模型,可以提供 IT 运维、安全分析和业务洞察等领域有价值的分析结果。

  针对不同的数据特征和分析目标, 可以选取不同的机器学习模型和算法,也可以结合多种模型和算法去发现潜藏在数据中的规律和价值:

1、可用时间序列来描述的数据:机器(泛指信息系统各种组件)随时间变化的行为特征数据,如:CPU、IO、网络流量、交易量、交易分布、响应时间等,用于发现机器和应用系统的行为习惯和异常,并通过历史数据的学习做周期性和趋势性预测,可以采用时间序列模型;

2、可用点来描述的数据:人(或实体)的属性和独立行为数据,如:管理员对系统的操作指令、 用户的系统登录、银行柜员每天的操作行为、客户在电商平台的交易、信用卡的刷卡记录、资产的属性等,用于发现人或实体的行为习惯或者异常,可以采用基于点的聚类和分类模型;

3、可用图来描述的数据:人(或实体)之间的关联性行为数据,如:管理员访问某个数据库、用户操作某个文件、设备 A 访问设备 B、一个人向他人转账等,用于发现人-实体之间、人-人之间、实体-实体之间的行为习惯和异常,可以采用图谱模型。

适 用 场 景

EZUBA 在 IT 运维、安全态势感知、业务分析领域有很多适用场景:

1、智能运维基线和告警

  传统基于阈值(无论是静态阈值还是动态阈值)和规则的告警往往不有效,因为它忽视了运维监控指标的周期性和趋势,会产生很多的误报和漏报。一个时间序列通常由 4 种要素组成:趋势、季节变动、循环波动和随机波动。前三种称为确定性变化主要由业务本身的特点决定,第四种称为随机性变化,又可分为系统内由于惯性产生的干扰和来自系统外部的干扰。在平稳时间序列的情况下,指影响数据变化的因素都是可统计,呈现统计规律的,根据历史数据特征,判断影响数据的各因素,形成时间序列模型,基于模型来预测未来数据。

  通过对历史数据和当前数据赋予不同的贡献度,针对数据的特点选取不同的模型, 有些模型对周期性数据效果较好,有些模型对趋势性数据效果较好,并尽可能消除异常数据噪声和毛刺的影响,计算性能指标的基线和合理的偏移量,自动产生智能告警,可以减低告警设置的复杂性,也可以解决传统告警误报率高的问题。

2、安全风险评分

  面对当前日新月异的外部攻击手段和越来越隐蔽的内部违规行为,基于规则的分析已经远远不能胜任对准确性和时效性的要求,特别是对于类似 APT 攻击这类复杂、长期的攻击行为。这类攻击必须从分析人的行为模式入手,需要从比较长的历史行为中提取行为模式特征,继而发现其中的异常。以下是采用了机器学习算法,对业务操作人员行为风险指数的实时评分结果。

  通过风险指数和风险指数的变化掌握内外部用户风险等级和异常行为,主动地实现安全态势感知。通过上述方法也可以应用于电商平台反欺诈和银行支付系统风险防控等业务场景。

3、用户特征分析

  使用机器学习特征提取和分析引擎进行人或实体的特征画像,同时根据多个维度对监控对象建立种群模型,使得同一种群的成员具有相同的行为模式。通过对实时用户和实体行为数据的分析,实现离群数据和种群跃迁的的自动发现。将其中的显著变化定位为异常。

  EZUBA 使用无监督基于密度的聚类方法进行种群分析,使用 Naïve bayes 模型等对异常的种群变化进行检测。

4、业务预测

  基于运营大数据平台和机器学习模型也可以实现业务预测,以业务交易量的预测为例,从时间跨度 12 个月的历史数据中学习,根据时间序列数据 4 个因素(长期、季节、循环、不规则)的变化趋势,预测未来 12 个月的业务量情况。