Serverless理念的弄潮儿—— 阿里云数加平台助力大数据普惠

免费开通大数据服务:https://www.aliyun.com/product/odps

阿里云坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非单单而不是卖服务器给客户,这跟今日流行的Serverless 架构理念是一致的。Serverless 理念在数加平台得到了很好的体现,数加平台今天已经可以提供很多业务场景化的计算服务,比如推荐引擎,规则引擎,以及各种人工智能的服务,助力企业在DT时代更敏捷、更智能、更具洞察力。在本文中,班输从数据平台简介、大数据应用特点、数加平台Serverless架构解析和典型案例四部分讲述了数据平台如何利用Serverless 的架构来降低大数据应用的门槛,实现数据普惠。

以下内容根据分享视频和PPT整理。



数加平台简介

数加是阿里云大数据的品牌名,旗下包含一系列的大数据产品及服务,其目的是为大众提供一站式数据开发、分析、应用平台。开发者使用数加平台可以快速构建数据支撑的应用。数加平台的产品具体分为两大部分:基础平台和数据应用。前者包括大数据产品主要有数据开发、机器学习、大数据计算、分析型数据库、流计算等;后者主要包括推荐引擎、人脸识别、数据可视化DataV等应用。

在数加平台,各种计算服务开箱即用,用户不必关心大数据集群的搭建、配置和运维工作,仅需简单的几步操作,用户就可以在数加平台中上传数据、分析数据并得到分析结果。用户不必关心数据规模增长带来的存储困难、运算时间延长等烦恼,数加平台根据用户的数据规模自动扩展大数据集群的存储和计算能力,使用户专心于数据分析和挖掘,最大化发挥数据的价值。

大数据应用的特点

大数据的价值需要借助一些具体的应用模式和场景才能得到集中体现。相比于传统应用,大数据应用具有以下特点:

  1. 流程长,业务逻辑复杂:从数据的采集、存储、分析、挖掘到最终提供数据服务,需要把多种数据源融合入,关联分析,复杂度大大增加。
  2. 场景多样化,不确定性强:大数据相关的应用要产生价值,需要和业务紧密结合。现实中很多场景都具有探索性质,并且要随着业务变化和反馈持续地调整,灵活性要求很高。
  3. 技术门槛高:在大数据应用中存在多种技术引擎,如离线、在线、流式引擎,以及多种计算模型,如SQL、MR、机器学习,很多场景下需要这些工具组合使用。

上述特点使得从头搭建一个完成的大数据应用平台的难度成倍增加,大型公司内需要专门的团队应对开发、维护等工作;对于小型公司几乎是不可能完成的任务。那么如何把企业内有限的数据科学家从基础设施构建和运维的复杂性中解放出来呢?数加平台给出的答案是:Serverless架构。Serverless架构以服务的形式来提供计算能力而不是以服务器形式,让开发者在构建应用的过程中不用过多考虑基础设施的问题。这个理念在数加平台中得到了很好的体现。

数加平台Serverless架构解析

如上图所示,数加平台的输入是大量的数据,然后将数据进行融合,通过特定的计算或算法将其变成对业务有价值的服务,输出给用户;数加平台从底层将整个数据应用链路打通,提供了从数据采集、存储、处理等模块;用户需要做的就是开发、配置业务相关的处理逻辑、业务规则和确定所需算法;此外,数据平台还提供了服务的编排、管理、运维等功能,真正地将开发者从底层技术实现和运维管理以及资源调度方面解放出来,将精力集中于数据价值实现上,完美地诠释了Serverless的架构理念。

下面以数加平台最重要的大数据产品MaxCompute 为例,深入讲解。

 

 

MaxCompute的服务化架构图如上所示,它提供的是大数据计算能力,而不是计算的工具或环境;它向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,并保障数据安全;MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务,其上的全部能力均已通过API的形式对外提供,当数据需要存储、处理时,仅需调用相应的API即可得到目标结果,也就是说用户可以不必关心分布式计算细节,从而达到分析大数据的目的。

目前,数加平台已经在企业界得到了大规模应用:

  •  物联网大数据应用:通过组合使用数加平台提供的Datahub、StreamCompute、MaxCompute、DataV等服务实现物联网数据的分析应用;
  •  预测即服务:组合使用数加平台提供的MaxCompute、机器学习、在线预测等服务实现孩子成绩的预测;
  •  个性化推荐:使用数加平台的推荐引擎快速搭建个性化推荐系统。

典型场景实践分享

接下来,将结合几个具体的应用案例讲解数加平台在各方面的实践经验。

物联网案例:智慧水务

通过IoT 设备对水务设备的流量、水压等数据进行实时采集和监控,再通过简单的配置将数据实时对接到大数据平台的DataHub,通过监控大屏进行实时控制。

上图是通用的物联网大数据应用参考架构。最前端是数据采集模块,然后进行数据存储,通过某些算法、模型发掘数据中的价值,最后变成有效的应用,如:

  •  可视化的展示,将水务整体的运行状态展示出来;
  •  故障预测,通过已有数据的分析,提前对可能发生故障的管道进行预测,提前维护。

在物联网应用场景中,通过数加平台提供的离线存储和计算、流式计算、机器学习模型训练、数据可视化等等大数据服务,有效地解放了使用者,他们只需关注流式计算SQL的开发、业务规则的配置以及偏好业务算法的参数配置,而无需关心底层的平台搭建、不同引擎之间的数据流转等问题,大大提升了开发效率。

个性化推荐案例

 

个性化推荐是目前非常通用的大数据场景,所谓的个性化推荐是指对根据不同的用户喜好,定性地进行产品的推送。在这个过程中,需要对用户和产品的特征进行准确地把握。

利用数据平台提供的服务,可以快速地实现个性化推荐,具体配置包括以下五步:

  1. 添加资源,个性化推荐会涉及到离线模型训练、在线模型修正,以及Key-Value存储、MaxCompute计算等服务,所谓添加资源就是将这些服务添加进来;
  2. 添加业务、配置数据,即将多维度用户和产品的数据添加到个性化推荐引擎中;
  3. 配置推荐场景算法,在数加平台中一些常见的算法也是以服务形态提供的,使用者需要根据不同的应用场景选择合适的算法。
  4. API对接,上述配置完成后,再进行API对接。
  5. 查看效果报表,形成大数据应用的闭环,通过反馈修正算法和模型。

上图是推荐引擎的通用系统架构,中间部分是组合离线计算、在线计算、AB Test等服务的推荐引擎;左侧是用户需要完成的工作,包括早期数据的配置以及最终通过推荐API将结果集成到应用中;右侧是监控以及在线数据存储部分。在推荐引擎中,用户可以通过场景管理配置推荐方法(推荐场景是指客户的APP中使用推荐功能的模块名称),场景隶属于业务,使用到的数据就是业务中配置的数据;同时场景中包含一个或多个算法流程(每一个算法流程都代表一种推荐物品的逻辑,由多个算法拼装组成),支持AB Test;此外,推荐系统还提供可视化编辑算法、支持同一个推荐位同时测试多种推荐算法以及多种算法模版供客户选择。

系统之间的对接通过API方式实现,其中API又分为日志API、推荐API、算法任务API三类:

  •  日志API用于接收业务采集的数据,以行为类数据为主;
  •  推荐API提供推荐的物品列表,用于在业务系统中展示给消费者进行推荐;
  •  算法任务API用于启动离线计算流程的算法任务、查看任务状态等。

总结

自始至终,阿里云从一开始就坚持将计算能力变成像水电煤一样的公共服务,提供给大众,而非单单而不是卖服务器给客户,这跟今日流行的Serverless 架构理念是一致的。

Serverless 理念在数加平台得到了很好的体现,数加平台今天已经可以提供很多业务场景化的计算服务,比如推荐引擎,规则引擎,以及各种人工智能的服务,用户可以实现进行各种数据采集、数据加工、BI商业智能、人工智能和数据创新等操作;此外,通过数加平台的数据市场相关API,开发者可以按需以服务的方式调用所需的第三方数据(如获取各种交通数据、气象数据、海洋数据、水利数据等),并结合自有数据实现大数据分析和应用,以得到数据价值的最大化。阿里云数加平台作为大数据Serverless的典范,将助力企业在DT时代更敏捷、更智能、更具洞察力。

时间: 2017-01-09

Serverless理念的弄潮儿—— 阿里云数加平台助力大数据普惠的相关文章

基于阿里云数加平台的大数据Serverless实践

本文PPT来自班输于10月16日在2016年杭州云栖大会上发表的<基于阿里云数加平台的大数据Serverless实践>. 数加是阿里云大数据的品牌名,其旗下包含一系列的大数据产品及服务,可以为用户提供一站式的数据开发.分析.应用平台.数加提供的服务包括智能语音/图象/视频分析服务.企业级数据仓库服务,地理信息可视化服务,风险预警与管控服务等等.其在基础平台的大数据产品包括数据开发.机器学习.大数据计算.分析型数据库.流计算,在数据应用层的产品包括数据可视化DataV.推荐引擎.人脸识别等等.

2017大数据标准化论坛发布了第一批大数据系统测试结果,阿里云数加获得了大数据系统测试证书。

2017年3月18日, 2017大数据标准化论坛在北京成功召开.本次论坛由工业和信息化部信息化和软件服务业司和国家标准化管理委员会工业标准二部指导,中国电子技术标准化研究院和全国信标委大数据标准工作组共同主办.全国信标委大数据标准工作组组长梅宏院士.工信部信软司李冠宇副司长.国家标准化管理委员会工业二部刘大山副处长.大数据标准工作组高林秘书长.工信部信软司孙文龙处长,贵州.上海.四川.宁夏等产业主管部门领导,以及全国范围内的产.学.研.用300余位代表参加了会议,围绕大数据标准化工作.大数据技术

阿里云数加平台对物联网数据的实时流式分析实践--设备监控应用

前言   阿里云在物联网提供整体的解决方案,包括IoT套件.大数据分析两个场景,解决了数据上云和数据分析的各种问题,如设备入网安全.数据转发.实时分析.离线分析模型等一整套链路贯通的智能方案.   本文以一个设备的监控的例子选择一个链路的实践,目的是演示联物网在阿里云的最上手的实践. 总体框架  通用的物联网解决方案,分为两个大的方面:设备数据上云.云上数据分析.大数据的部分可以通过MaxCompute建立和训练数据模型,应用用于实时数据,比如设备故障预测.          图中较为全面的抽象

小议阿里云&quot;数加&quot;平台对企业有何帮助?

文章讲的是小议阿里云"数加"平台对企业有何帮助,阿里云发布大数据平台"数加",让DT时代不再只是阿里巴巴鼓吹的一个概念,而是实实在在的落地了!通过数据倒推本质,意味着一个新的时代来临,而这对企业和个人开发者又意味着什么? 1月20日,阿里云在2016云栖大会上海峰会上发布了一站式大数据平台"数加",工欲善其事必先利其器,首批亮相的就有多达20款产品,覆盖数据采集.计算引擎.数据加工.数据分析.机器学习.数据应用等数据生产全链条. 阿里云大数据事业

基于阿里云数加平台,袋鼠云助力光伏发电企业进行光伏发电预测

关于固德威 江苏固德威电源科技股份有限公司(以下简称:"固德威")是一家新能源高新技术企业,公司总部位于东方水城苏州高新区,一直专注于太阳能光伏逆变器及其监控产品的研发.生产及销售.固德威产品立足中国,并已大规模销往澳大利亚.德国.英国.法国.荷兰.比利时.丹麦.希腊.土耳其.印度.马来西亚.南非.墨西哥.巴西等三十多个国家,产品被广泛应用于住宅.商用屋顶系统以及光伏电站项目,其稳定的表现和优异的性能得到用户的普遍认可.由于良好的口碑,固德威得到广大客户的认可,公司业务增长迅速. 项目

袋鼠云 | 基于阿里云数加平台,助力知名物流企业进行大数据应用

关于申通易物流 上海申通易物流有限公司是申通旗下的一家集电子商务.仓储.传统物流为一体的服务型公司.公司应电子商务大发展时代需求而生,拥有自主研发的易物流仓内WMS(仓库管理系统).EDI(数据接口平台)及OMS(订单处理系统)等,为品牌.商家提供电子商务仓配解决方案及专业电子商务第三方精细化仓配一体化服务,协助电商解决电子商务供应链的管理. 申通易物流依托于申通快递在快递行业的品牌影响力和全国领先的快递配送网络,以及在电子商务行业的多年服务经验,致力打造成为一个专业的电子商务服务提供商,为客户

【阿里云资讯】如何在阿里云数加平台实践Serverless架构?

导读 移动互联网.物联网和大数据应用的快速发展极大地促进了人们对云计算的需求.但是让应用架构拥有良好的可伸缩性和高可用性并非易事,运维和管控庞大的基础架构更是极大的挑战.近年来,一个新的架构风格Serverless成了热门话题. What is Serverless Serverless是一种基于互联网的技术架构理念.采用FAAS(Function as a Service)架构,通过功能组合来实现应用程序逻辑.该架构能够让开发者在构建应用的过程中无需关注计算资源的获取和运维,由平台来按需分配计

【大数据干货】阿里云数加让企业更专注于业务,助力东润环能高效利用大数据资源

免费开通大数据服务:https://www.aliyun.com/product/odps 为了摸索出一套真正适合中国国情的新能源数据应用服务方案,云计算和大数据技术成为了东润环能创新的重要手段.而经过了各方面测试和挑选,东润环能最终选择了阿里云作为自己的合作伙伴.而让东润环能选择阿里云的原因,除了阿里云强大的云平台能力之外,还有阿里云数加MaxCompute的全方位服务能力及其稳定安全的表现. 关于东润环能 北京东润环能科技股份有限公司(以下简称"东润环能")是一家从事新能源电力领域

阿里云数加合作伙伴-袋鼠云获A轮融资,成立一年半获三轮投资超亿元

创投市场再次风起.2017年7月,袋鼠云宣布,获得来自戈壁创投主投.元璟资本跟投的A轮融资,相对于当前冷淡的投资市场,此举也再次引发了行业对大数据.云计算技术创新企业的关注.据袋鼠云CEO陈吉平(花名:拖雷)介绍,获得的资金将投入到三个方面:数据智能产品研发.高端数据智能人才的引进和培养.袋鼠云品牌打造和市场推广.   袋鼠云是杭州玳数科技有限公司旗下品牌,成立于2016年,是一家由多名前阿里巴巴资深技术人士创立的技术服务公司,主要业务聚焦大数据使用场景研发,深耕DI(Data Intellig