导读:在业务快速迭代发展的过程中,为了让大数据更好地赋能业务,高效地为用户提供具有业务价值的数据产品和服务,百度爱范范的数据团队搭建实时、线下大数据基础平台的心路历程,包括如何应对业务、技术、组织等方面的挑战,解决实际痛点的思考和实践。
全文9911字,预计阅读时间24分钟。
#一、前言
1.1 名词解释
- | -
#三、实践及经验分享
# #3.1 数据架构
3.1.1 什么是数据架构
3.1.1.1 Lambda架构
####内森
Marz提出的Lambda架构是目前常用的实时和离线处理的架构。其设计以低延迟处理和离线数据处理为目标,支持线性扩展和容错机制。
3.1.1.2 Kappa架构
3.1.2 架构选型
3.1.2.1 全面系统的梳理
3.1.2.2 快慢齐驱
# #3.2 业务诉求及架构演进
3.2.1 追求时效性
3.2.2 BI场景需求
# # #
###
3.3.1 分层ETL
###
3.3.2 模型选择
# #3.4 数据治理
###
3.4.1 数据资产治理
3.4.1.1 主题管理
####
3.4.1.2 基础信息及血缘关系
####
3.4.1.3 权限控制及自助化
###
3.4.2 数据质量治理
##
# #3.5 易于扩展
3.5.1 营销效果分析
3.5.2 实时能力提升
3.5.2.1 Palo原理介绍
3.5.3 构建指标体系
# #3.6 数据分析体系全景
##
# #3.7 数据分析体系建立的收益
#四、总结与展望
* * * * * *引入中国式思路和服务能力、在实地实施数据标准、量化数据健康评分、提高可重用性等智能评分系统,将实现降本增效的最终目标。