表格存储

Serverless在游戏、电商行业的一个运用场景示例

12-22
Serverless 是一种架构理念,具有自己的独特的优势和适用场景.本文以使用阿里云函数计算为例,构建一个简单具体的microservice为例,看看这种架构是如何达到快速开发和节约运维成本的. 应用场景1 某游戏公司刚开发完一个新的游戏,想要进行一些封闭测试,他们需要一个管理激活码的service来邀请有激活码的玩家来参与封闭测试,同时可能对积极参与封闭测试的玩家,等正式开服后,给予一定的礼包券码 应用场景2 某垂直领域的电商,刚刚起步,流量不是特别大,但发展势头不错.他们需要一个管理优惠码

【阿里云MVP月度分享】如何基于MYSQL做实时计算?

12-22
有时候我们会有这样的场景,在某个接口中,数据已经很规范地存入到一张的MYSQL表中,现在想对这样的数据做一些实时或准实时处理,比如数据多模式存储.异步准实时业务流程.业务实时监控等.接口中处理流程如下: 最原始的方法,是改动业务代码,将这些额外的处理流程作为同步流程,在更新MYSQL数据之后同步执行.如下图: 但是这样的处理流程可能会越来越多,如果一直作为同步流程,整个接口会变得越来越庞大.并且耗时越来越长.出问题的风险越来越高. 所以我会考虑异步处理流程.如果可以改动一下代码,将数据额外写一份

北京Workshop准备条件:《云数据·大计算:快速搭建互联网在线运营分析平台》

12-13
实验背景介绍 了解更多2017云栖大会·北京峰会 TechInsight & Workshop. 本手册为云栖大会Workshop之<云计算·大数据:海量日志数据分析与应用>场的前提准备条件所需.主要为保障各位学员在workshop当天能够顺畅进行动手实操,那么本场需要各位学员再参加之前确保自己云账号已免费开通表格存储TableStore.大数据计算服务MaxCompute.DataWorks和Quick BI. 实验涉及大数据产品 表格存储 TableStore 大数据计算服务 Ma

11月阿里云产品快报发布

12-12
阿里云"黑科技"产品有哪些新发布?降价红利有哪些最新变动?阿里云全球又在哪里发布了新节点?查看阿里云11月产品快报,一目了然. 一.新产品发布:1.Elasticsearch 商业化 发布提供基于开源Elasticsearch服务,致力于数据分析.数据搜索等场景服务.在开源Elasticsearch基础上提供企业级权限管控.安全监控告警.自动报表生成等功能.(1)提供日志数据分析和搜索能力. (2)Kibana和商业化X-Pack提供权限.监控.报表.交互界面.机器学习功能.(3)适用

基于TableStore构建简易海量Topic消息队列

12-11
前言 消息队列,通常有两种场景,一种是发布者订阅模式,一种是生产者消费者模式.发布者订阅模式,即发布者生产消息放入队列,多个监听的消费者都会收到同一份消息,也就是每个消费者收到的消息是一样的.生产者消费者模式,生产者生产消息放入队列,多个消费者同时监听队列,谁先抢到消息就会从队列中取走消息,最终每个消息只会有一个消费者拥有. 在大数据时代,传统的生产者消费者队列模式中的Topic数目可能从少量的几个变为海量topic.例如要实现一个全网爬虫抓取任务调度系统,每个大型的门户,SNS都会成为一个to

日志服务(原SLS)新功能发布(4)-- 使用OSS进行日志存储与分析

12-01
对于大部分开发者而言,经常会面临这样一种场景:"我知道日志数据很宝贵,但今天没有明确需求,能否有一种成本很低的方案先把日志备份起来,不占用空间.有一天有明确需求时,能够快速.方便分析日志". 日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投递到OSS.ODPS等存储类服务,配合EMR(Spark.Hive)等离线计算,以最小成本支撑这类需求. 整体方案 LogShipper是LogHub后续消费者,用以将实时流数据,转化为离线块数据

【技术实验】表格存储Tablestore准实时同步数据到Elasticsearch

11-30
实验背景 图书馆Q是一家大型图书馆,图书馆藏书众多,纸质图书600多万册,电子图书7000多万册,总数有八千多万册,这些图书之前都是人工检索维护的,现在需要做一个系统来存储管理这些图书信息.需求如下: 图书总量目前八千多万册,考虑到未来二十年的增长,需要系统能支持一亿的存储量. 图书信息很重要,不能接受丢失发生. 图书的名字和作者名字需要支持模糊搜索. 每本书的属性最多有一百多个,且不固定,不同类型的图书的属性列差异较大.且未来可能会新增属性列. 根据上面这些需求特点,要完成这个管理系统,需要两

粘合多款产品的微服务架构 阿里云函数计算再次升级

10-13
今年"2017杭州·云栖大会"上,阿里云函数计算再次升级:函数计算打通多个重要云产品线,能够直接对接表格存储.对接API网关.对接日志服务等.用户仅仅需要简单配置就可以灵活方便的组合多种商业场景. 过去十年,云服务深刻的改变了社会获取和使用计算能力的方式,云服务自身也以极快的速度演进,新的服务形态不断涌现,无服务器计算就是其中之一.阿里云函数计算,是一种事件驱动的无服务器计算服务.用户只需要编写并上传代码,函数计算会以可靠.安全的的方式执行代码,并随着访问量增大系统能平滑伸缩,函数计算

表格存储读写资源包增加200亿售卖规格

09-05
信息摘要: 用户可以购买国内节点200亿规格的读写资源包适用客户: 中国站用户使用国内节点版本/规格功能: 在目前已售卖的100亿级400亿规格读写资源包的基础上新增200亿规格产品文档: https://common-buy.aliyun.com/?commodityCode=otsbag#/buy

表格存储金融云包月资源包上线售卖

09-05
信息摘要: 表格存储金融云新增包月资源包售卖适用客户: 国内站金融云用户版本/规格功能: 国内站金融云用户可以以预付费方式购买表格存储金融云资源包产品文档: https://common-buy.aliyun.com/?commodityCode=otsbag#/buy

调查显示40%的管理员使用Word文档存储密码

07-03
据最近的一项安全调查研究显示,40%的管理员使用Word文档存储密码.这项调查研究对象是大约750名 IT管理员和决策者.受访者中,79%的人确信他们已经吸取了重大网络攻击的教训,但是,只有67%的受访者认为公司有强有力的安全反应机制和领导,57%的受访者表示,他们觉得公司在安全方面有点令人担心. 根据这项研究显示,40%的受访者表示,他们会使用微软的Word文档或电子表格存储各种访问级别的密码和管理密码.另有28%的受访者使用共享服务器或U盘.此外,近一半的受访者承认,他们允许第三方供应商访问

老司机带你用MaxCompute和表格存储玩转车联网数据

06-01
"自动驾驶汽车"在近两年频频出现于各大科技新闻头条,自2012年谷歌获得美国首个自动驾驶汽车许可证以来,国外各大知名汽车厂商如奔驰.沃尔沃.大众.通用.丰田.日产.特斯拉等也纷纷宣布自己的自动驾驶汽车验证开发计划.自动驾驶依托于人工智能技术的发展,而对于一个人工智能平台来说,重要的不光是算法和平台,更重要的是数据!今天我们暂且不聊自动驾驶,我们先聊聊最基础的车联网数据的存储与处理. 初始方案 出于对两客一危监管的需要,车联网很早就开始起步,彼时大家的车联网方案都长这个样子:   将车辆

表格存储实时数据流:Stream的技术揭秘和应用场景

05-30
在2017云栖大会-成都峰会上阿里云存储服务专家周赵锋做了题为<表格存储实时数据流:Stream的技术揭秘和应用场景>的分享.面对应用开发的新挑战和数据库新需求,基于共享存储的高性能.低成本.易扩展.全托管的表格存储能更好支撑互联网和物联网数据的高效计算与分析,并从特性.数据模型和高可用架构方面对表格存储进行简介.表格存储应用场景有即时通讯.安全风控.时序数据,使用表格存储的应用场景可以挖掘数据高附加值,实现存储对接计算.

使用MaxCompute访问TableStore(OTS) 简明手册

03-10
关系数据库已经存在半个世纪,有非常广泛的使用场景,但是在快速迭代的互联网领域其扩展性和 schema 灵活性被诟病颇多,因此类似 TableStore/BigTable/HBase 等强调扩展性和灵活性的NoSQL数据库逐步流行起来,这些 NoSQL 数据库只提供 API 接口,不提供 SQL 访问,这就导致很多熟悉 SQL 但是不喜欢写代码的用户没法很舒服的使用此类NoSQL数据库.基于此,表格存储开发团队联合 MaxCompute(下文中 ODPS 与 MaxCompute 同义)团队打通了

超级快递——如何用系统来保证快递准时送达

03-08
去年,一部<超级快递>给大家带来了不少欢乐,除了欢笑,我们也看到了准时送达作为一种增值服务或者高端服务在快递物流行业中可能性和市场.而每天上亿的快递数量靠人肉来保证已经几无可能,在这里,我们从系统的角度来看看如何搭建一个保证快递能够准时到达的系统. 要保证快递能准时到达收件人手里,就需要能够主动及时的发现那些可能会迟到的快递,并在第一时间进行查看和处理,比如联系到快递小哥确认状态等等. 在这里,我们将快递在整个流转的过程进行拆分,当快递达到一个状态之后,确定下一个状态以及达到时间,在规定的时间

我们是如何在阿里云上搭建人全基因组数据分析与解读流程

02-09
本文正在参加"最佳上云实践"评选,来给我们投票吧:https://yq.aliyun.com/activity/158(编号14) 公司成立于2014年,取名基云惠康,立志通过基因来惠及大众健康,公司的口号是知基因,惠健康.惠健康的第一步就是要知基因,知基因就要对基因数据进行分析与解读.要知道人全基因组测序的原始数据一般在300G左右,压缩为fastq格式也要60G左右,怎么快速低成本的分析这些数据是一个比较棘手的问题. 公司成立之初,原打算是自己购买服务器搭集群,后来由于种种原mei

如何搭建亿级社交信息分享平台?

12-08
由于移动互联网的兴起,人与人之间的交流.信息分享能够以电子信号的速度传递在各个终端设备之间,每个人也都能够成为一个信息发布平台和信息接收平台,像朋友圈.微博.Twitter等社交平台的出现,大大方便和丰富了人们的日常生活.人人分享.人人参与也必然要求社交平台能够具有大规模.高并发.低延时的能力.通过本文,我们来看看如何搭建一个能够承受亿级活跃用户的社交信息分享平台. 一个最基础的方案 我们先来定义一个社交平台的基础的功能: 用户能够发布自己的状态.心情.照片.小视频等信息 用户能够关注自己的朋友

表格存储新手指南:如何实现分页查询

06-22
本篇文章会介绍如何在表格存储上实现分页查询. 有别于传统关系型数据库支持的翻页查询,在NoSQL的数据模型和API上,实现分页功能会有以下的限制,需要特别注意: 不支持获取整个范围的行数,即无法计算总的页数. 不建议使用设置offset来跳页,因为offset的过滤是在客户端做,服务端不管如何,都会扫描读出那么多的数据.若offset设定过大,则可能导致本次查询时间过长. 最佳实践是只提供顺序翻页的功能,一页一页顺序往下翻. 下面是一个实现分页读接口的示例代码,提供offset过滤以及读取指定页

基于表格存储的高性能监控数据存储计算方案

06-12
概述         随着软件架构的愈发复杂,了解系统现状.调查问题的困难度也增加了很多.此时,一套完善的监控方案能够让开发和运维工程师快速排查问题,更好的维护系统的稳定性.        开源监控方案中,Zabbix.Nagios都是不错的监控软件,可以针对数十万的设备监控数百万的指标,强大的功能让开发和运维都很赞叹.但是,网上经常看到的抱怨是其写入和存储能力的不足,以Zabbix为例,文章[1]提到使用NoSQL方案(HBase.Cassandra.Riak)比利用传统RDBMS方案(MyS

表格存储数据模型和查询操作

05-05
摘要        本篇文章主要会详细聊一下表格存储的查询操作,以及如何根据业务的需求来设计表结构以支持特定条件的查询.        在理解查询操作之前,会简单描述一下表格存储的数据模型,以加深对查询操作的理解. 数据模型 表格存储(TableStore)的数据模型可以简化为使用下面这个数据结构来表示: 表格存储数据模型: SortedMap<PrimaryKey, List<Column>>        逻辑上理解表格存储的数据模型,就是一个SortedMap,只不过这是一个