美柚上云 致力成为最懂女人的互联网企业

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

案例背景

美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人、读懂女人、服务女人的最重要利器。大数据在美柚的应用非常广泛,然而在美柚大数据之路的初期,遇到了不少的困难和挑战:

  • 平台成本高:我们粗略的算过这笔账,数加比我们自建的成本要节省30%左右。
  • 扩展性不好:不仅需求提前预见新业务也需要预估资源的消耗量,从而提前申请足够的资源,而数加则可以随时购买所需的资源,甚至可以按量付费,完全不需要担心资源不足的问题。
  • 运维成本高:自建平台需要自己去做很多的配套,例如权限控制、调度、监控、报警,当任务量和数据量到达一定程度时,复杂度成倍增加,不能很好的集中精力解决业务需求。
  • 易用性:数加提供了数据血缘、任务依赖等实用功能,可以让非数据开发人员(例如数据分析师)快速的找到自己想要的数据。
  • 数据应用:提供机器学习算法平台和推荐引擎大大降低了机器学习的门槛,不必关心代码实现,只需要配置相关的参数即可。

关于美柚

厦门美柚信息科技有限公司,创始于2013年4月,是一家专注为女性服务的互联网公司。秉承“让女人更美更健康”的理念,美柚以经期管理为切入点,为女性提供备孕、怀孕、育儿、社区交流等功能服务。目前,美柚用户超过1.5亿,日活跃用户近千万,拥有约160个高活跃的女性话题圈,社区内用户日均互动量超500万帖,日均浏览量超过1.8亿次。

在艾瑞、易观、TalkingData、QuestMobile等第三方机构发布的研究报告均显示,美柚在总用户数、活跃用户数、日均使用时间等关键指标方面远远领先于同类产品,是国内最大的女性健康管理应用,也是移动端最大的女性社区。

美柚大数据团队在对内服务好美柚女性用户的同时,积极举办和参与大数据技术沙龙, 同时参加各种国内重量级大数据峰会例如在阿里云栖大会上分享美柚的大数据架构和应用,影响和带动厦门大数据圈。

挑战

美柚以让女人更美更健康为己任,致力成为最懂女人的互联网企业;美柚很早就将大数据作为了解女人,读懂女人,服务女人的最重要利器。这就要求我们大数据团队需要做好数据治理这块,将零散的日志和业务数据通过科学的方法,将其规整起来,形成合理易用的数据仓库;只有做好数据仓库,才能方便的提供各种数据服务。

为什么使用数加

美柚创始于2013年4月,而在2014年初就组建了大数据团队。当时也是自建了一套大数据平台,当时面临最大的几个问题:

  • 人手不足,经验不足:当时大数据开发团队就3个人,而且还没什么大数据开发经验,对于hadoop及大数据生态等只是停留在理论阶段,并没有什么实操的经验;
  • 时间紧任务重:由于当时美柚处在高速发展的阶段,对大数据的渴望异常强烈,然而大数据平台处在建设的初期,各方面还不太完善,需要同时应付:数据平台的建设,数据仓库的建设,业务数据需求;
  • 平台不稳定:开源的hadoop系统并没有完善的周边配套,例如代码版本控制,资源权限,任务调度,任务监控,失败报警等功能,往往需要等早上发现数据没出来,或数据有问题的时候再一步一步的排查问题,用户体验非常不好,经常遭到业务部门的投诉。

2014年底,美柚从阿里那边请来了一个产品总监,了解到我们的大数据团队的痛点之后,给我们推荐了数加。经过我们调研试用后感觉能够解决我们的痛点,因此决定转向数加平台。

解决方案及架构

 

image

这是我们DMP的架构,目前数加主要是数据ETL以及数据的导入导出这块。具体ETL的架构如下:

 

image

上图的datax就是数加的数据集成部分

数据仓库MaxCompute内部分层如下:

 

image

收益

  • 几乎零运维,极大的降低大数据的使用门槛。所有的代码管理,调度,监控,报警数加都已经帮我们做好了,我们要做的就是使用它。这样我们可以更专注于数据开发,专业的事要交给专业的人做。
  • 数加的数据集成工具能够很方便将不同的数据源的数据,进行导入导出,基本实现常用数据源的全覆盖,从而实现大数据的全链路打通。
  • 方法论的支持。我们遇到的一些问题,其实阿里云之前也遇到过,他们沉淀了一些解决问题的方法能够让我们有效快速的解决遇到的问题。
  • 云栖大会和云栖社区上有不少解决实际问题的案例,也有不少新技术,新理念的介绍,能够拓宽我们的视野。

云栖号案例库:【点击查看更多上云案例】
不知道怎么上云?看云栖号案例库,了解不同行业不同发展阶段的上云方案,助力你上云决策!

原文链接
本文为云栖社区原创内容,未经允许不得转载。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/516743.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MaxCompute中如何使用OSS外部表读取JSON数据?

一、打开OSS,上传json文件 json文件内容展示: {"id":5644228109524316032,"sourceType":1} {"id":-736866360508848202,"sourceType":3} 二、登录DataWorks,建立外部表 建表语句: CRE…

阿里工程师用 8 张图告诉你如何存储、管理泛内容数据

作者| 阿里文娱高级开发工程师 至德责编 | 王晓曼头图 | CSDN 下载自东方 IC用户在优酷或者其它互联网App上看到的文字、图片、视频等,都可以被称为内容,那么这些内容是如何被生产、管理和组织的?本文将简单介绍阿里文娱是如何利用网状关系组…

nexus3 作为maven 私服配置国内加速以及企业管理内部jar IDEA 实战

文章目录一、nexus3 配置1. 新建仓库概述2. 阿里云代理仓库3. 自己的仓库4. 自己的仓库组二、maven配置2.1. 私服配置2.2. 替换后的配置三、IntelliJ IDEA3.1. 创建项目3.2. 指定配置3.3. 下载依赖四、nexus3 监控4.1. 查看依赖版本4.2. 版本对比4.3. aliyun 仓库地址一、nexus…

大数据上云第一课:MaxCompute授权和外表操作躲坑指南

一、子账号创建、AK信息绑定 如果您是第一次使用子账号登录数加平台和使用DataWorks,需要确认以下信息: • 该子账号所属主账号的企业别名。 • 该子账号的用户名和密码。 • 该子账号的AccessKey ID和AccessKey Secret。 • 确认主账号已经允许子账号启…

程序员的年龄越大编程能力越弱???原来我们都理解错了

大多数人都说程序员是低调多金的代表,但是一旦年龄突破30岁,就容易陷入各种被嫌弃中,无法逃脱三十五岁定律。这让许多已到中年的程序员感觉忽然头上悬了几把剑。一位74岁的数据科学家Gene DAngelo则恰恰相反。他曾在社区提出话题:…

唱吧基于 MaxCompute 弥补自建体系的不足

本文作者:马星显 唱吧大数据负责人 使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。初期这套基于开源组件的体系有力支撑了数据统计、业务报表、风控等业务需求。但随…

1.倒排索引 2.逻辑斯提回归算法

1.倒排索引 https://help.aliyun.com/zh/open-search/retrieval-engine-edition/introduction-to-inverted-indexes 倒排索引(Inverted Index)是一种数据结构,用于快速查找包含某个特定词或词语的文档。它主要用于全文搜索引擎等应用&#…

塑云科技基于 KafKa+OTS+MaxCompute 完成物联网系统技术重构

塑云科技:性能突破,基于KafKaOTSMaxCompute 完成了一次物联网系统技术重构 背景:创业团队,专注于氢能燃料电池生态链的运营支撑,当前主要的业务组成为新能源车整车实时运营监控分析,加氢站实时运营监控分析…

什么是Docker?看这一篇文章就够了

作者 | 码农的荒岛求生来源 | 程序员小灰(ID: chengxuyuanxiaohui)程序员,应该怎样理解docker?容器技术的起源假设你们公司正在秘密研发下一个“今日头条”APP,我们姑且称为明日头条,程序员自己从头到尾搭建…

基于MaxCompute 衣二三帮助客户找到合适自己的衣服

摘要:本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。 衣二三作为亚洲最大的共享时装平台,MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢?程异丁通过衣二三数据体系架构,从用户运营…

Nexus 3.31.1 maven 私服 搭建篇 linux

文章目录1. Nexus 3 下载2. 解压3. 目录调整4. 重命名5. 创建用户6. 调整家目录7. 指定启动用户8. 环境变量配置9. 刷新环境变量10. 修改工作目录11. 指定jdk12. 修改权限13. nexus启动14. 状态验证15. 浏览器验证16. 登录17. 初始化设置软件版本JDK1.8.0_202Nexus3.31.1Disk s…

Typora简介

Typora简介 一、Typora是什么? ​ Typora 是一款支持实时预览的 Markdown 文本编辑器。它有 OS X、Windows、Linux 三个平台的版本,并且由于仍在测试中,是完全免费的。 ​ Typora 首先是一个 Markdown 文本编辑器,它支持且仅支…

基于MaxCompute InformationSchema进行血缘关系分析

一、需求场景分析 在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游…

不要再被 Python 洗脑了!!

Python 作为一种解释型技术脚本语言,越来越被认可为程序员新时代的风口语言。 无论是刚入门的程序员,还是年薪百万的 BATJ 的技术大牛都无可否认:Python的应用能力是成为一名码农大神的必要项。 而作为Python初学者来讲,最大的问题…

Nexus 3.31.1 maven 私服 仓库配置篇 linux

文章目录1. 新建仓库概述2. 阿里云代理仓库3. 自己的仓库4. 自己的仓库组5. 效果图1. 新建仓库概述 总共新建3各仓库 一个是国内开源仓库,加速下载 一个是自己的仓库,用于存放自己公司的jar 一个是子类型的仓库,用于将上述两个组成一个地址 …

Struct复杂数据类型的UDF编写、兼容HIVE的GenericUDF编写

一、背景介绍: MaxCompute 2.0版本升级后,Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型,同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型,以及Writable参数。Java UDF使用复杂数据类型…

如何跨项目工作空间访问MaxCompute资源和函数?

1、背景介绍 同一个主账号下面的两个工作空间,工作空间名称分别为 A工作空间名称:wei_wwww A工作空间子账号:mc_oss B工作空间名称:wei_mc B工作空间子账号:bigdata_wei 现在B工作空间子账号bigdata_wei需要访问A工作空间子账号mc_oss创建的U…

Nexus 3.31.1 maven 私服 仓库和IntelliJ IDEA 2021.2 实战篇 linux

文章目录一、maven配置1. 私服配置2. 替换后的配置二、IntelliJ IDEA2.1. 创建项目2.2. 指定配置2.3. 下载依赖三、nexus3 监控3.1. 查看依赖版本3.2. 版本对比3.3. aliyun 仓库地址一、maven配置 1. 私服配置 在本地的maven 配置settings.xml内容,用下面内容覆盖…

我把这篇文章给女朋友看,她终于明白什么是「数据中台」了

来源 | 智领云科技责编 | Carol封图 | CSDN 下载自视觉中国这几天,女朋友一直忙着为自己挑选情人节礼物,毕竟直男的审美她也觉得不靠谱。就在昨天,她气冲冲地跑过来问我:为什么有些平台总是推荐一些我不喜欢的东西?为什…

发光的二次元克拉克拉 满足年轻用户个性化、碎片化的文娱需求

克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能,满足当下年轻用户个性化、碎片化的文娱需求。随着业务规模增长,海量数据存储与计算的瓶颈也日…