QCon2018不容忽视的力量：甜橙金融从0到1大数据平台架构

10月18日~22日期间，一年一度的全球综合性技术盛会“QCon2018全球软件开发大会”在上海举办。今天是会议专题演讲的最后一天，来自国内外45位技术专家分别围绕微服务实践、大数据系统架构、国际化互联网业务架构、AI、智能制造等10个主题分享了行业最前沿的研究和实践经验，现场科技狂热气氛爆至顶峰!

在近年最热的大数据、人工智能和区块链三大科技中，人工智能和区块链虽然被誉为最具潜力技术，但大数据绝对是其中发展最快、技术突破最多、应用性最强的技术。事实上，对很多公司来讲，对大数据技术的需要更为迫切----业务的增长带来大量数据，如何搭建大数据平台来提高数据分析和处理能力，对企业决策和发展至关重要。

大数据系统架构专场，6大技术专家火力全开

今天，大数据系统架构的专题正是关注大数据平台技术选型、搭建、系统迁移和优化方面的经验，来自甜橙金融、Dell EMC、eBay、阿里巴巴、百度、腾讯的资深架构师、技术专家就大数据架构做了精彩分享，整体来看，今天的分享内容兼具前沿性和实用性。

上午，甜橙金融大数据总监谢巍盛就传统互联网企业如何进行企业大数据体系建设做了分享，包括如何进行数据体系建设与应用、企业自助BI分析平台、数据科学平台与流计算系统建设等;DELL EMC软件开发总监滕昱对其支持实时流数据和分析的开源平台Project Pravega存储平台进行了介绍;eBay大数据架构师俞育才分享了将MPP DBMS数仓迁移至Spark的经验。下午，阿里巴巴资深技术专家王绍?分享了阿里如何基于Apache Flink打造大数据计算引擎Blink来支持复杂的运算，并服务各种BI和AI业务;百度资深研发工程师程怡介绍了百度自研的DStream3流式计算系统，搜索广告和建库、信息流等应用时提高时效性、数据准确性和数据流的稳定性;腾讯T4专家、资深架构师彭渊分享了腾讯自研bitmap技术的大数据系统“锋刃”和 olap全新驱动模式的架构战略如何突破大数据分析架构瓶颈，做到秒级实时查看每分钟指标、全维度的用户olap自助分析、闭环的动态运营体系。

(大数据系统架构专题会议现场)

实用至上，甜橙金融从0到1建设企业大数据全案例分享

技术研发创新固然值得称赞，技术应用创新的成功经验也应得到重视和传播。

在这些分享中，需要特别引起注意的，是来自甜橙金融大数据总监谢巍盛的分享，他详解了甜橙金融从0到1构建企业大数据的过程并对各部分实践中的技术痛点进行剖析与解答，对于国内目前正在进行或尝试向数据驱动转型的公司来说，是一次全面可借鉴的经验分享。

谢巍盛分享了甜橙金融在开源基础上自主研发大数据体系建设的经验。甜橙金融是中国电信旗下金融科技公司，是三大运营商中移动支付业务做的最突出的，目前注册用户突破5亿，月活用户超过4000万，业务的增长带来了海量的数据，为大数据平台带来了严峻的挑战。

(甜橙金融大数据总监 谢巍盛)

自主研发的甜橙BI分析平台面向大数据分析, 融合了多个SQL计算引擎, 支持短时, 交互式及长时批量查询, 满足多用户高并发量查询需求并做到百亿数据秒级查询, 20亿＋数据毫秒级计算的能力; 基于业务部门在模型开发上的痛点----模型开发人员编码能力弱、人员间协调度低及大数据量化分布式计算工程量高，甜橙金融自主研发大规模分布式数据科学平台，实现从数据清洗、特征工程、模型训练及验证上线一站式拖拽式服务，真正做到“平民化”机器学习，以最低门槛赋能业务人员进行业务模型开发与应用。同时，甜橙金融将流计算应用于实时业务监控、实时交易风控监测等场景支持千万级秒并发与秒级/毫秒级计算延迟，利用复杂网络进行精准营销及团体反欺诈等。

此外，谢巍盛还分享了甜橙金融在诸如集群规划建设，作业调度优化，权限中心建设，标签体系构建及AI算法模型落地等方面的经验与建议。

作为国内金融科技领域重要成员之一，甜橙金融非常重视基础技术自主研发和应用，无论研发资金还是人才引进都做了重点布局。本次受邀出席演讲的甜橙金融大数据总监谢巍盛，正是甜橙近年为大数据平台建设引进的一流技术人才。谢巍盛此前供职于Intel，在亚太研发中心大数据部门负责大数据开源工作, 专注分布式机器学习模型与优化算法，也是Apache Spark 及 Hadoop生态的贡献者。

新技术的兴起需要更多企业的尝试与落地才能实现真正意义上的“技术普惠”，推动社会发展，相信这也是主办方将甜橙金融演讲放在第一位置的用心所在。未来，期待甜橙金融技术团队完成更多创新技术研发与应用，也为业界带来更多高实用性的案例分享，推动互联网圈技术生态均衡化发展。