分布式存储

6倍性能差?POLARDB重新定义数据库标准!

12-29
2017云栖大会•北京峰会阿里云高级产品专家贺军做了题为POLARDB性能揭秘的分享.POLARDB是阿里云数据库团队研发的全新一代商用关系型数据库,贺军在POLARDB产品架构,产品特性,性能方面做了详细介绍,产品创新方面亮出了"兵器谱",一起了解下吧~ # polardb6倍超高性能的奥秘如今随着用户流量大,业务量增加导致的数据的增长,对数据库的性能要求也越来越大,阿里云自主研发的POLARDB解决了传统数据库暴露的问题,与传统数据库不同,技术方面,POLARDB采用了一写多读的架

2017双11技术揭秘—阿里数据库计算存储分离与离在线混布

12-27
作者:吕建枢(吕健) 背景 随着阿里集团电商.物流.大文娱等业务的蓬勃发展,数据库实例以及数据存储规模不断增长,在传统基于单机的运维以及管理模式下,遇到非常多的困难与挑战,主要归结为: 机型采购与预算问题在单机模式下计算资源(CPU和内存)与存储资源(主要为磁盘或者SSD)存在着不可调和的冲突:计算与存储资源绑定紧密,无法进行单独预算.数据库存储时,要么计算资源达到瓶颈,要么是存储单机存储容量不足.这种绑定模式下,注定了有一种资源必须是浪费的. 调度效率问题在计算与存储绑定的情况下,计算资源无法

直击阿里新一代数据库技术:如何实现极致弹性能力?

12-27
阿里数据库技术团队负责人张瑞 张瑞:双11是一场技术大练兵,是互联网界的超级工程.需要做到支撑尽可能高的零点峰值,给用户最好的体验:也要做到成本尽可能低,要求极致的弹性能力:还要做到整体系统的稳定. 数据库如何实现极致弹性能力? 数据库上云 大家都知道,数据库实现弹性能力是比较困难的,一方面是因为数据库对性能要求非常高,另一方面是需要进行大量数据的搬迁,成本很高.数据库弹性的第一个方向是数据库上云,通过云的弹性能力来解决数据库的资源问题. 数据库上云面临以下几个难点: 数据库如何快速上云,构建混

大型高性能ASP.NET“.NET研究”系统架构设计

12-21
大型动态应用系统平台主要是针对于大流量.高并发网站建立的底层系统架构.大型网站的运行需要一个可靠.安全.可扩展.易维护的应用系统平台做为支撑,以保证网站应用的平稳运行. 大型动态应用系统又可分为几个子系统: Web前端系统 负载均衡系统 数据库集群系统 缓存系统 分布式存储系统 分布式服务器管理系统 代码分发系统 Web前端系统上海企业网站设计与制作n lang="EN-US">  为了达到不同应用的服务器共享.避免单点故障.集中管理.统一配置等目的,不以应用划分服 务器,而是将

Google的系统工程师(SA)如何工作,互联网营销

12-21
本文根据系统管理领域知名博客 Thomas A. Limoncelli 的 What is system administration like at Google 整理而成,添加了部分笔者观点. Google的系统工程师(System Administrator)如何工作 由于Google的服务已经集群化,系统工程师并不大量接触硬件比如做安装服务器等事情.另外大部分工作也已经自动化了,比如架设LDAP, 负载均衡等.对照而言,国内目前大部分互联网公司SA仍然要做大量重复的底层工作,比如拿一个业

浅谈大型网站动态应用系统架构,互联网营销

12-21
动态应用,是相对于网站静态内容而言,是指以c/c++.php.Java.perl..net等服务器端语言开发的网络应用软件,比如论坛.网络相册.交友.BLOG等常见应用.动态应用系统通常与数据库系统.缓存系统.分布式存储系统等密不可分. 大型动态应用系统平台主要是针对于大流量.高并发网站建立的底层系统架构.大型网站的运行需要一个可靠.安全.可扩展.易维护的应用系统平台做为支撑,以保证网站应用的平稳运行. 大型动态应用系统又可分为几个子系统: 1)Web前端系统 2)负载均衡系统 3)数据库集群系

Velocity China 2010大会回顾,互联网营销

12-21
Velocity China 2010 北京之行收获良多,选择的几个session都很有料,当然也有个别还是比较虚. 这次大会主题是web性能和运维,主题也基本分为两大块:web前端性能,分布式. 接下来就把我参加的session逐个回顾一下: <Facebook网站的Ajax化.缓存和流水线 >Changhao Jiang(Facebook) 在这个报告中,我将介绍在Facebook网站前端性能优化中采用的最主要的一些技术.这些技术不光降低了服务器的开销,而且同时极大地提高了Facebook

新一代数据库技术在双11中的黑科技

12-19
分享嘉宾: 张瑞:阿里巴巴研究员,阿里集团数据库技术团队负责人,经历阿里数据库技术变革历程,连续六年作为数据库总负责人参与双11备战工作. 双11是一场技术大练兵,是互联网界的超级工程.需要做到支撑尽可能高的零点峰值,给用户最好的体验:也要做到成本尽可能低,要求极致的弹性能力:还要做到整体系统的稳定.   数据库如何实现极致弹性能力 数据库上云 数据库实现弹性是比较难的,数据库对性能要求非常高,因此,必须实现数据库上云,但是如何上云呢? 数据库上云面临以下几个难点: 1.         数据库

构建云上企业数据库架构分为哪五步?

12-18
阿里巴巴高级数据库架构师黄欢欢在2017云栖大会苏州峰会上与大家分享了云上企业数据库架构之路.主要分享了构建企业级数据库架构包括异地多活.数据库容器化.混合云架构.计算存储分离和数据库与离线混布,其中包含X-DB.HDM等重要云产品.以下是精彩视频内容整理:做数据库架构需要满足三个基本需求.第一个问题是扩展,业务高速发展,单地资源容量受限:第二个问题是弹性,双十一对弹性扩展和收缩的需求:第三个问题是成本,在尽可能小的预算成本内完成业务目标.为了满足这三个需求,阿里巴巴在数据库架构上做了很多探索和

Hadoop The First Day!!!

12-15
Hadoop :内部工作机制非常复杂,是一个集分布式系统理论.实际工程理论和常识于一体的系统.提供用于构建分布式系统的每一个工具(用于数据存储.数据分析和协调处理)都非常简单.这些工具都非常抽象,对偶尔有大量数据需要存储的程序员.有大量数据需要分析的额程序员.有大量计算机需要管理的程序员等时期利用Hadoop构建基础平台,满足需要. 我特么才发现,需要点java基础,如果要看Hadoop的话.学前篇:2006年数字世界(digital universe)项目统计的出全球数据总量为0.18ZB并预

大数据学习之路(持续更新中...)

12-05
在16年8月份至今,一直在努力学习大数据大数据相关的技术,很想了解众多老司机的学习历程.因为大数据涉及的技术很广需要了解的东西也很多,会让很多新手望而却步.所以,我就在自己学习的过程中总结一下学到的内容以及踩到的一些坑,希望得到老司机的指点和新手的借鉴. 前言 在学习大数据之前,先要了解他解决了什么问题,能给我们带来什么价值.一方面,以前IT行业发展没有那么快,系统的应用也不完善,数据库足够支撑业务系统.但是随着行业的发展,系统运行的时间越来越长,搜集到的数据也越来越多,传统的数据库已经不能支撑

大数据时代下的生活

12-04
最近几年IT都成长在一个大数据的环境下,大家动不动就要分布式,想想就搞大数据.有的网站明明访问量几台普通的服务器就可以搞定,非要弄分布式,挂着云计算的名字,却做着屌丝的事情. 虽然,大环境如此,但是为了沾上这种高大上的气息,也着手看一下这方面的书. 刚刚看完<大数据时代>这本书,感觉收获也蛮多的.习惯性的整理了一下书籍的思维导图 这本书是国外人写的,但是内容上还比较符合国内目前的环境,毕竟国内的大数据发展起步还是要晚一点的. 个人吐槽 就从法律这方面来说,感觉国内的个人隐私方面法律就不怎么看重

你真的会 snapshot 吗? - 每天5分钟玩转 OpenStack(163)

03-15
​这是 OpenStack 实施经验分享系列的第 13 篇.   instance snapshot 操作可用于备份或者将 instance 保存为新的 image.如果在生产系统中执行 snapshot 操作,必须确保此操作快速且安全.这里有两个关键点: 快速. 为保证数据的一致性,snapshot 时需要 pause instance,操作完后再 resume.在这个过程中 instance 是无法对外服务的,为了减少对业务的影响,我们希望 snapshot 越快越好. 安全. 即数据一致性

这三种分布式存储文件系统你造吗?【转】

11-18
转自:http://f.dataguru.cn/thread-694434-1-1.html 随着云计算在全球范围内的高速发展,谷歌.亚马逊等企业的崛起,特别是"互联网+"深入融合背景下的业务云化需求,传统企业在数据中心建设中被动地徘徊在传统存储阵列与分布式存储两种体系存储架构之间.这两种存储结构并没有绝对的优劣之分,而大数据的繁盛让分布式存储架构近几年中获得了前所未有的关注. 传统存储与分布式系统传统SAN以高度的可靠性.稳定性和功能丰富性,在应用实践中获得了广泛认可.随着数据量不断

几种分布式存储系统的分析【转】

11-18
转自:http://blog.csdn.net/stanjiang2010/article/details/6108502 分布式文件系统设计主要关注几个方面: 设计特点.分布式能力.性能.容灾.维护和扩展.成本   分布式文件系统主要关键技术: 全局名字空间.缓存一致性.安全性.可用性.可扩展性   其他关键技术: 文件系统的快照和备份技术.热点文件处理技术.元数据集群的负载平衡技术.分布式文件系统的日志技术     一.GFS(google file system) GFS与过去的分布式文件

【转】Git如何Check Out出指定文件或者文件夹

04-16
[转]Git如何Check Out出指定文件或者文件夹http://www.handaoliang.com/a/20140506/195406.html 在进行项目开发的时候,有时候会有这样的需求那就是:我们只希望从Git仓库里取指定的文件或者文件夹出来.在SVN里面,这非常容易实现,因为SVN基于文件方式存储,而Git却是基于元数据方式分布式存储文件信息的,它会在每一次Clone的时候将所有信息都取回到本地,即相当于在你的机器上生成一个克隆版的版本库.因此在Git1.7.0以前,这无法实现,但

写在最前面 - 每天5分钟玩转 OpenStack(1)

02-29
<每天5分钟玩转 OpenStack>是一个 OpenStack 教程,这是第 1 篇. 这个教程有下面两个特点: 系统讲解 OpenStack 从架构到各个组件:从整体到细节逐一讨论 重实践并兼顾理论 主要从实际操作的角度带着大家学习 OpenStack.   为啥要写这个? 简单回答是:因为OpenStack 学习难度大,但如果掌握了价值会很大 先做一个自我介绍吧. 本人网名CloudMan,在 IT 这个行当已经摸爬滚打了十多年,05年之前是搞上层应用开发的,那时候 Java 比较火,所

一:集中式向分布式系统过度

02-17
一:集中式向分布式转变---->大型主机(IBM),稳定快速.但扩容性差,价格昂贵.存在单点问题.---->小型微机,pc等服务器成本低,随着技术发展性能提升.---->互联网业务成井喷式快速发展,访问量暴增,计算机系统规模扩大,单一大型主机上运行系统的扩容比较困难.企业放弃原有的大型机,使用小型机和普通pc服务器搭建分布式的计算机系统. 二:集中式系统---->部署结构简单.---->大型主机(IBM),稳定快速.但扩容性差,价格昂贵.存在单点问题. 三:分布式系统----

一天能学会的计算机技术

12-27
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明.谢谢!   在Quora中看到一个有趣的问题,题目是"What are some useful computer related technical skills I can learn within a day?",哪些有用的计算机技术,是一天能够学会的?后面的回答很高质量,最受欢迎的答案拿到了2000多个赞.提问人最后将这些有趣的回答收集在一起.简直是程序员"周末

MongoDB阅读精要

08-22
部署:MongoDB服务端可运行在Linux.Windows或IOS平台,支持32位和64位应用,默认端口为27017.推荐运行在64位平台,因为MongoDB在32位模式运行时支持的最大文件尺寸为2GB.64位系统就没有最大文件限制.32位系统最大限制2g的原因为:32位系统下,所有地址必须能用32位系统访问到(超过2g访问不到了).所以针对32位操作系统下的mongod最多只能处理2g的数据. 一个数据库的数据存储方式:比如数据库test分别会有如下文件:testabc.0,testabc.