大数据计算服务 · MaxCompute
MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。欢迎加入钉钉交流群11782920。
Learning Path 带你由浅入深玩转 MaxCompute >>
-
降低总体拥有成本
免平台运维,存储和计算分别仅按实际使用付费,总体拥有成本降低 50%以上。
-
简单易用的多功能计算服务
预置多种计算模型和数据通道能力,开通即用。支持直接对外部数据源的联邦计算及数据湖分析。
-
极致弹性能力
无服务器架构,超大规模的存储和计算扩展能力,无需容量规划即可应对规模的快速变化。
-
完善的平台服务
承诺99.9%可用性SLA,支持开放的生态,提供企业级安全管理能力。与天润智力其他大数据服务无缝集成。
-
降低总体拥有成本
免平台运维,存储和计算分别仅按实际使用付费,总体拥有成本降低 50%以上。
-
简单易用的多功能计算服务
预置多种计算模型和数据通道能力,开通即用。支持直接对外部数据源的联邦计算及数据湖分析。
-
极致弹性能力
无服务器架构,超大规模的存储和计算扩展能力,无需容量规划即可应对规模的快速变化。
-
完善的平台服务
承诺99.9%可用性SLA,支持开放的生态,提供企业级安全管理能力。与天润智力其他大数据服务无缝集成。
精心打造的功能
-
数据通道
支持批量/历史数据通道和实时/增量数据通道
批量、历史数据通道
Tunnel是MaxCompute向用户提供的数据传输服务。该服务水平可扩展,支持每天TB/PB级别的数据导入导出。特别适合于全量数据或历史数据的批量导入。Tunnel提供了Java SDK,并且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。
实时、增量数据通道
另一方面,针对实时数据上传的场景,MaxCompute提供了另一套名为DataHub的服务。该服务具有延迟低、使用方便的特点,特别适用于增量数据的导入。Datahub还支持多种数据传输插件,例如:Logstash、Flume、Fluentd、Sqoop等。同时支持日志服务Log Service中的日志数据的一键投递至MaxCompute,进而利用大数据开发套件进行日志分析和挖掘。
-
以二维表格式存储数据
所有数据均以表格式存储,不暴露文件系统。并采用列压缩存储格式,极高的数据压缩比极大节省了用户成本。通常情况下,MaxCompute存储具备5倍压缩的能力
-
计算模型
支持SQL、MapReduce、Graph多种计算模型于一身
SQL
MaxCompute SQL采用标准的SQL语法,兼容部分Hive语法。在语法上和HQL非常接近,熟悉SQL或HQL的编程人员都容易上手。另外MaxCompute提供更高效的计算框架支持SQL计算模型,执行效率比普通的MapReduce模型更高。需要注意的是,MaxCompute SQL不支持事务、索引及Update/Delete等操作。
MapReduce
MaxCompute提供的Java MapReduce编程模型。值得注意的是,由于MaxCompute并没有开放文件接口,用户只能通过它所提供的Table读写数据,因此MaxCompute的MapReduce模型与开源社区中通用的MapReduce模型在使用上有一定的区别。我们相信,这样的改动虽然失去一定的灵活性,例如:不能够自定义排序及哈希算法,但却能够简化开发流程,免除很多琐碎的工作。更为重要的是,MaxCompute还提供了基于MapReduce的扩展计算模型, 即MR2。在该模型下,一个Map函数后,可以接入连续多个Reduce函数。
Graph
对于某些复杂的迭代计算场景,例如:K-Means,PageRank等,如果仍然使用MapReduce来完成这些计算任务将是非常耗时的。MaxCompute提供的Graph模型能够非常好的完成这一类计算任务。
-
安全
MaxCompute是一个多租户的计算平台。默认情况下,各租户间数据不共享,彼此隔离,但用户可以通过MaxCompute提供的授权机制将数据共享给项目组其他人
典型实战场景
-
使用成本低
-
大数据仓库
-
日志大数据分析
-
精细化运营
-
精准化广告营销
-
海量营销数据分析
东润环能
成本低,数据上云周期短
3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上新能源电力数据安全无忧
客户收益 查看详情>
-
让企业更专注于业务
用了不到3个月时间,就将业务全面的交付云端,让云端的海量资源真正为业务服务
-
降低投资、运维成本
极大减少了自建大数据平台的物力投入、人力运维投入和研发投入
-
安全稳定
全方位服务能力及其稳定安全的表现确保数据上云万无一失
推荐搭配使用
-
使用成本低
东润环能
3个月内业务全面交付云端,数据处理时间不到原来自建方式的1/3,并确保云上新能源电力数据安全无忧
客户收益
-
让企业更专注于业务
用了不到3个月时间,就将业务全面的交付云端,让云端的海量资源真正为业务服务
-
降低投资、运维成本
极大减少了自建大数据平台的物力投入、人力运维投入和研发投入
-
安全稳定
全方位服务能力及其稳定安全的表现确保数据上云万无一失
-
-
大数据仓库
小红唇
在云计算、大数据时代,数据仓库的重要性毋庸置疑,其建设也在不断的进化中。小红唇在横向对比之后,毅然决定基于数加MaxCompute强大的计算能力之上进行数据仓库的建设。
面临的挑战
-
数据上云
第一阶段通过DataX和Tunnel向MaxCompute同步数据
-
数据清洗
第二阶段通过内部产品打通在Data IDE进行同步和数据清洗
-
数据展现
Data IDE进行ETL和OLAP的数据通过Quick BI进行产出报表
-
-
日志大数据分析
墨迹天气
墨迹天气日志分析业务迁移到数加MaxCompute后,开发效率提升了超过5倍,存储和计算费用节省了70%,每天处理分析2TB的日志数据,更高效的赋能其个性化运营策略。
客户收益
-
提高工作效率
日志数据全部通过SQL进行分析,工作效率提升了5倍以上
-
提升存储利用率
整体存储和计算的费用比之前节省70%,性能和稳定性也有提升
-
降低大数据使用门槛
MaxCompute提供多种开源软件的插件,轻松完成数据上云
-
-
精细化运营
美甲帮
美甲帮的主营业务在商城方面,截至目前已经拥有百万级别的用户,积累了大量的用户数据,如何更好的服务用户并提升客户体验是美甲帮进行大数据探索的出发点
客户价值
-
提升业务洞察能力
通过MaxCompute计算能力实现了针对百万用户的精细化运营
-
业务数据化
对业务数据分析能力提升并有效监控,更好的业务赋能
-
快速响应业务需求
数加生态满足新业务数据分析需求的“随机应变”能力
-
-
精准化广告营销
汇合营销
基于天润智力数加平台,汇合营销搭建了核心的大数据精准营销平台,所有的日志数据存储在MaxCompute并通过Data IDE进行离线调度和分析
能够解决
-
高效低成本的海量数据分析
对海量日志数据进行统计分析,既要保障高效率,也要降低开发成本
-
数据查询分析的实时性
系统需要在毫秒级响应广告商的查询请求并返回标签的用户量等信息
-
低门槛的机器学习平台
作为精准营销广告提供商,算法模型的好坏直接与最终收益挂钩
-
-
海量营销数据分析
PING++
Ping++当前日交易笔数为百万级,目前已经积累了海量交易数据。如何对海量数据进行数据分析与业务创新从而提高用户黏性,Ping++ 亟需搭建安全、可靠、稳定的大数据平台。
面临的挑战
-
数据创新
一站式大数据平台同时满足存储、计算、BI和机器学习等功能
-
快速、高效、低成本
作为互联网创业公司,需尽可能以最低的成本去实现
-
安全、稳定、可靠
需要严格的数据隐私保护机制,商户的数据只用于自身分析
-
客户评价
天弘基金
小影APP
小鹏汽车
千寻位置
WeGene
衣二三
小打卡
唱吧
人人车
克拉克拉
天弘基金作为国内总规模最大的公募基金, 天润智力 MaxCompute 为我们构建了企业级一站式大数据解决方案。MaxCompute 对于海量数据的存储、运维、计算能力强大且安全稳定,天润智力 MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成清算,同时减少了本地服务器部署压力,显著提升我们工作效率的同时减少了大量开发成本和人力成本,使我们能更专注于业务发展,为用户提供高品质、高价值的金融服务。
客户案例
-
行 业:二手车
客户需求:快速、低成本搭建安全可靠的云上数仓,提升研发效能。
客户收益
MaxCompute提供了完善的数据处理方案、大规模计算储存、细粒度节点依赖管理等功能,为企业节省30%的服务及人力成本,使企业更加专注于业务。
-
行 业:新零售
客户需求:构建企业专属的智能化运营工具,实现精准化运营。
客户收益:
1.数据吞吐量大,查询性能好。
2.可视化编辑界面,易于上手。
3.无需对复杂作业进行运维。
4.使用成本低,且 与天润智力大数据产品生态融为一体。
5.选衣页和相关单品推荐点击率分别提升70%和150%。 -
行 业:泛娱乐
客户需求:自建维护成本高,数据分析遇瓶颈,无法满足业务需求。
客户收益:
1.开箱即用,不需花精力维护各种大数据组件和集群。
2.集成了目前大数据行业最新的架构理念,通过SQL可轻松进行开发。
3.解决PB级数据云上数仓性能、成本问题,让唱吧100%专注业务。
4.可轻松实现上亿用户的精细化运营。 -
行 业:互联网金融
客户需求:构建健壮、可扩展、安全、高效交互的大数据平台。
客户收益:
1.原来至少3个小时完成的任务,MaxCompute仅需1个小时完成。
2.基于MaxCompute提供的API/SDK和一站式数据开发套件,使得项目实施难度极大降低。
3.执行效率更快,相同业务需求下,消耗更少的系统资源,极大降低了成本。