大数据之路 读书笔记 Day1 阿里巴巴大数据系统体系架构图 1. 数据采集层 两大体系 WEB端:Aplus.js APP端:UserTrack 传输:TimeTunnel(TT),支持实时流式计算和时间窗口批量计算数据同步工具:DataX 2. 数据计算层 两大体系 数据存储及计算云平台 离线计算平台-Maxcompute 实时计算平台-Streamcompute 数据整合及管理体系Onedata 以天为单位,凌晨处理上一天数据 实时处理数据,双11 数据仓库 离线数据仓库 实时数据仓库 数据加工链路 数据加工链路 操作数据层,ODS 明细数据层,DWD 汇总数据层,DWS 应用数据层,ADS 元数据模型整合,面向数据发现,数据管理,用于存储、计算和成本管理 3. 数据服务层 OneService 以数据仓库整合计算好的数据作为数据源,通过接口方式提供数据服务,提供简单复杂数据查询(用户画像,用户识别),实时数据推送等服务 4. 数据应用层 搜索、推荐、广告等等 附图: 点赞关注收藏,获取更多干货知识~