随着数字化转型在各行各业深入推进,“数据即资产”成为企业共识,数据价值挖掘成为企业关注的重点。金融机构作为数据密集型行业,其数据应用正沿着从记录到统计、从统计到分析、从分析到预测、从预测到决策智能的路径快速发展。金融机构在数字化转型过程中,呈现出一切业务数据化、一切数据业务化的趋势,即整个数智化过程需要将数据要素作为生产资料,打造基于数据的“挖掘-治理-应用”一体化技术服务能力。
复杂信息、海量数据向我们展示了联系的复杂性和多样性,碎片化的字符之间相互连结、影响、作用和转化,能衍生出各种维度的数据指标,最终引导我们探究出隐藏在数字背后事物的本质和价值。在此背景下,传统的离线批处理和通用的实时流处理技术均无法满足大数据、高并发、高吞吐、低延时的要求,业务事件的复杂性、动态事件的时序性加剧了数据挖掘和计算挑战。金融机构更加依赖“快、准、稳”的实时数据处理及指标计算能力保障。
为支撑并满足金融机构未来的业务发展趋势,同盾科技正式推出基于超融合计算理念的一体化指标平台——极溯V4.0。该平台旨在成为决策智能一体化信息中枢,支撑实时指标计算、离线批量决策、图指标集成应用以及面向人工智能的特征研发等全场景应用。
传统指标计算的挑战
近年来,银行不断深入数字化发展的同时,数据量的爆发式增长也带来了新挑战,每天上千万笔交易量、千亿的指标计算量、PB级数据规模,但留给交易系统的决策响应时间往往只有几毫秒。如何最快时间计算模型的结果,反馈精准的结果,并且在整个过程中保持系统的稳定性,成为众多银行持续探索的方向。
传统的指标计算方法底层逻辑一般是采用实时采集、异步计算的方式,无法实现快、准、稳的统一,存在以下几大痛点:
· 分散无序,管理成本高:指标分散在各业务系统,研发人员和业务人员割裂明显,无沉淀、难复用、效率低,造成资源浪费和低效率。
· 研发周期长,业务响应慢:指标开发涉及多个部门及人员,从指标设计到指标上线,整个指标周期长,无法快速响应业务需求。
· 大规模计算性能低:当碰到大数据量,热点客群,多维度,长时间片等情况时,指标计算性能低。
· 缺乏运营和监控:缺乏对指标持续的质量监控和效果分析,难以发现指标异常情况,避免数据腐化。
打造快、准、稳的一体化指标平台
针对银行业务发展需求及传统指标平台的痛点,同盾科技打造了基于超融合指标计算理念的一体化产品“极溯V4.0”,围绕指标对接、指标管理、指标计算、指标服务、指标运营五个维度,攻克了冷热数据融合、存算一体化、流批一体化、跨领域指标融合等难题,满足业务全场景多模式的决策智能应用。
首先,极溯将海量的原始数据高效加工成指标资产,汇聚成信息中枢,形成一个统一的平台;其次,通过指标全生命管理一体化平台,提供指标管理、计算、服务和运营能力,覆盖指标管理全周期,解决指标管理无序,口径不统一,计算性能慢、上线周期长等问题;通过极溯指标平台的搭建,支撑实时决策、离线决策、决策调优、模型训练、模型预测等场景,覆盖交易反欺诈、信贷全生命周期等业务流程。
依托高性能的实时指标计算引擎以及一体化融合计算引擎,极溯4.0实现了指标计算“快、准、稳”的统一,能够为金融机构提供高性能、高并发、低时延指标计算和服务,有效支撑包括实时事件决策、离线批量决策、策略仿真调优等业务场景。
· 快:实时指标支持超高并发量的请求,可达百万级/秒实时指标计算,平均延时10ms内;
· 准:指标结果精准有效,支持指标初始化、指标回溯计算、指标验证等;
· 稳:分布式架构确保指标服务高稳定性,接口99.99%可用性。
贴合并高效响应业务
经过6年多时间的持续研发和打磨,同盾极溯产品性能已达到行业顶尖水平,并已服务超200家金融机构,支撑智能决策多场景应用。
【案例一:某国有大行全行级指标中心建设】
项目背景:该行决策引擎依赖的指标分布于不同的数据中心,且数量较多。实时指标计算在决策引擎,离线指标计算在数据中台、各地研发中心的预计算完成的离线指标、以及三方外部数据的相关指标等,需要通过指标平台实现统一管理。
项目效果:同盾科技通过与该行共建指标中心,对交易数据进行实时加工计算输出指标策略结果,实现交易场景风险全覆盖。在三方快捷支付风控场景,实现全渠道日均2亿的实时指标计算,且保证决策平均响应时间11ms以内;在稳定性方面,15ms内响应达到99.995%,降低原来因性能问题造成的交易失败数量94%。
【案例二:某大型股份制银行指标计算平台建设】
项目背景:随着该行零售交易业务的不断发展,其反欺诈系统监测范围需要延展,将聚合支付、电子支付、网贷业务等纳入实时反欺诈范围。而该行原决策引擎无法满足业务数据全部接入后指标快速计算处理的底层支撑能力要求。
项目效果:同盾科技通过极溯平台对该行原有指标计算平台进行了升级改造,平台升级后,日均交易量达到3000万、系统配置指标超1000条的情况下,系统平均响应时间降低至20ms,大大的提升了指标计算时效;原有系统平均响应超时率5%,上线后系统平均超时率降低至0.01%以下;此外,平台升级后还较原系统节省了约50%的服务器硬件成本。
以极溯4.0为一个新的起点,同盾科技未来还将围绕指标知识资产体系、指标运营等维度继续投入研发,同时将极溯-指标平台与天策-决策引擎等产品深度结合,形成从线上实时决策分析、离线模型训练部署到智能模型应用的全面配套支持,让数据形成资产、让数据驱动决策、让决策驱动业务流程。
