淘宝技术发展 —— 前言

光棍节的狂欢

“时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动—— “淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝——某品牌的雪地靴,飞快的点击购买,付款,一回头发现3000双靴子已被抢购一空。

小美跳起来,大叫一声“欧耶!”

小美不知道,就在11日零点过后的这一分钟内,全国有342万人和她一起涌入淘宝商城。当然,她更不知道,此时此刻,在淘宝杭州的一间办公室里,灯火通 明,这里是“战时指挥部”,淘宝技术部的一群工程师,正在紧盯着网站的流量和交易数据。白板上是他们刚刚下的注,赌谁能最准确地猜中流量峰值和全天的交易 总额。他们的手边放着充足的食物和各类提神的饮料。

一阵急促的电话声响起来,是前线部门询问数据的,工程师大声报着:“第1分钟,进入淘宝商城的会员有342万”。过一会工程师主动拿起电话:“交易额超过 1亿了,现在是第8分钟。”接下来,“第21分钟,刚突破2亿”。“第32分钟,3亿了”。“第1个小时,4.39亿”。这些数据随后出现在微博上,引起 一片惊呼。

“完蛋了!”突然有人大喝一声,所有的眼睛都紧张的盯着他,只见他挠挠头,嘿嘿的笑道“我赌的少了,20亿轻松就能过了,我再加5亿”,他跑去白板边上把 自己的赌注擦去,写上25,接下来有人写上28,有人写上30,有人跑到微博上开下盘口,同事们纷纷转载下注。接下来的这24个小时,战时指挥部的工程师 们都不能休息,他们盯着网站的各种监控指标,适时的调整机器和增减功能。顶住第一波高峰之后,这些人开始忙里偷闲的给自己买东西,大家互相交流着哪家买的 移动硬盘靠谱,哪家衣服适合自己的女朋友,不时的有人哀嚎宝贝被人抢了、信用卡额度不够了。同时,旁边白板上的赌注越下越大。

11月11日,这个棍子最多的日子被网民自我调侃的变成了一个节日——“光棍节”。而淘宝网又用疯狂的折扣促销给它赋予了另外一个意义——“购物狂欢 节”。2011年11月11日这一天,淘宝商城与淘宝网交易额之和突破52亿,这个数字是“购物天堂”香港一天零售总额8.5亿的6倍。

网民感受到的是疯抢的喜悦,而网站的技术人员感受到的却是“压力山大”。就如同你家办酒席,宴请左邻右舍,这个办起来容易。倘若宴请十里八乡所有的人,吃 饭的人自然开心,但却不是一般人家能够办得起来的。能办得起来如此盛宴者,需要强大的财力物力、组织能力、技术实力(例如做这么多菜,你的炒锅一定要是 “分布式的”、“可复制的”、“可扩展的”,洗菜切菜要有“工作流引擎”,上菜的路径要用图论来计算出来,甚至连厨房的下水道都要重新设计)。

淘宝能够举办如此盛宴,网站的技术实力可见一斑。淘宝网拥有全国最大的hadoop分布式计算集群之一,日新增数据50TB,有40PB海量数据存储。分 布在全国各地80多个节点的CDN网络,支持的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索,另外还拥有自主研发的文件存 储系统和缓存系统,以及java中间件和消息中间件系统,这一切组成了一个庞大的电子商务操作系统。另外从商业数据上来看,AMAZON的财报显示 2011年完成了大约 480亿美金的交易额,EBAY2011年财报全年完成了大约600亿美金的交易额(不包括其独立的汽车交易平台)。不管从交易额、商品数量、同比增速等
指标上看,淘宝网均远超于此,是目前全球最大的电子商务平台。(由于淘宝非上市公司,未公布2011年业绩,以上内容来自淘宝网技术副总裁 @_行癫 的微博)

以上这些技术数据可能已经让一些同学产生不适的感觉,为了让更多的人读懂这本书,我们从技术的角度来看,小美访问淘宝网的时候,网站上发生了什么事情。下参考资料:《你刚才在淘宝上买了一件东西【技术普及帖】》,来自南京邮电大学孙放同学

为了有个更直观的对比,我们说一个同行,他在2011年光棍节之前做促销,流量上去之后,达到12Gbps(他们有这么大的流量,老板很高兴,在微博上面 说了这个数据),这时候流量达到了极限,网站几乎挂掉,用户无法下订单。而淘宝网光棍节当天网络的流量最高达到800多Gbps,带给各家银行和快递公司 的流量也让他们压力山大,如临大敌(后来,他们以能够撑住淘宝带来的流量为荣而到处宣传)。另外如果你在网上购买过火车票的话,更能体会到网站能支持多大 的流量有多重要。但这不是一朝一夕做出来的,也不是有钱就能办到的。

以上对比的这些网站,也许读者很容易就猜到是哪一家,这里拿出来作对比,绝对没有嘲笑人家的意思,采用通常的网站技术方案,能做到这种程度已经不错了。任 何网站的发展都不是一蹴而就的,在什么样的阶段采用什么样的技术。在发展的过程中网站会遇到各种各样的问题和业务带来的压力,正是这些原因才推动着技术的 进步和发展,而技术的发展又会反过来促进业务的更大提升。二者互为因果,相互促进。如今淘宝网的流量已经是全球排名第12、国内排名第3(美国的ebay 全球排名23,国内前两名是百度和腾讯)。淘宝网的系统也从使用一台服务器,到采用万台以上的服务器。本书就为大家描述淘宝网在整个发展过程中,所有的主
动和被动的技术变革的前因后果,这由很多有趣的故事组成。

正如同很多人或组织成功了以后,就会为自己的出身编造一个美丽的传说。淘宝网的出身,网上也有非常多的传说,下面我们就从它的出生开始讲起。

继续阅读:

二、个人网站

三、Oracle/支付宝/旺旺

四、淘宝技术发展(Java时代:脱胎换骨)

五、淘宝技术发展(Java时代:坚若磐石)

六、淘宝技术发展(Java时代:创造技术-TFS)

七、淘宝技术发展(Java时代:创造技术-Tair)

八、淘宝技术发展(分布式时代:服务化)

原文出处: http://blog.sina.com.cn/s/blog_633219970100x9cc.html

时间: 2012-11-14

淘宝技术发展 —— 前言的相关文章

《淘宝技术这十年》读书笔记 (三). 创造技术TFS和Tair

        前面两篇文章介绍了淘宝的发展历程和Java时代的变迁:             <淘宝技术这十年>读书笔记 (一).淘宝网技术简介及来源             <淘宝技术这十年>读书笔记 (二).Java时代的脱胎换骨和坚若磐石         马云说过"创新不是为了与对手竞争,而是跟明天竞争",所以这篇文章讲述淘宝的创新技术TFS和Tair及创新的产品.         该篇文章不仅仅对在读大学生非常有所帮助,因为你能从文章中看到很多你需要学

OneSDK与手机淘宝技术能力开放

该文章来自阿里巴巴技术协会(ATA)精选集  7月16日,阿里巴巴集团在杭州召开阿里百川无线开放大会,来自阿里巴巴的技术专家向与会观众介绍了百川无线开放背后的技术细节. 阿里百川阿里巴巴集团无线开放平台,为移动开发者(涵盖移动创业者)提供快速搭建APP.加速APP商业化.提升用户体验的解决方案.在阿里百川无线开放大会的技术专场,阿里技术专家分享了关于TAE 2.0.OpenIM.移动安全等方面的技术细节,InfoQ之前已对TAE和OpenIM的技术负责人做过采访,今天就让我们来了解一下阿里百川无

从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)

 文章转载自: http://blog.csdn.net/v_july_v/article/details/670407 从hadoop框架与MapReduce模式中谈海量数据处理 前言     几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理.     由此,最近凡是空闲时

从御泥坊看淘宝品牌发展三要素

总部位于湖南的"御泥坊"是一家完完全全依赖淘宝渠道做起来的面膜品牌.2006年至今,御泥坊在淘宝上的年销售额从半年不到1000元飙升至一年近两亿.从这个品牌在此期间的几个重要时间点来看,御泥坊证明了营销手段.产品管理和大环境这三个要素在淘品牌成长过程中的重要作用. "好时机"的营销 2010年4月,御泥坊的销售额环比猛增了四五倍.这让公司总裁戴跃锋有点意外,因为以往的增长速度一般是一到两倍.不过他很清楚这种意外的增长来自哪里.4月9日,他参加的湖南卫视"天

Gdevops杭州站:阿里云与淘宝技术大牛的深度分享

当Development遇上Operations,将会产生怎样的火花?为了应对IT环境中普遍面临的一些挑战,Gdevops理念应运而生,它变成了部门间沟通协作的流程和方法,将原本笨重的开发与运营之间的工作移交过程变得流畅无碍--这也是全球敏捷运维峰会(Gdevops)全国4站活动的初衷. 2016年4月16日,浙江国际大酒店,DBA+社群联手,开启全球敏捷运维峰会第一站:杭州站.以"架构.敏捷.运维"为主题,力邀互联网与传统企业的资深专家,各路DBA大咖齐聚,汇聚500+行业精英,开启

大淘宝战略 规划阶段分析

互联网营销,这个本身就模糊不清的概念眼下正在愈来愈成为一个热门.金融危机之下,以前单纯做外贸的诸多制造商也开始藉由互联网来拓展他们的国内市场.B2C的迅速崛起,阿里巴巴国内交易产品以及百度付费搜索产品的热销,也无一不显示出此种端倪. 同时,国内电子商务的标志性公司阿里巴巴集团旗下的淘宝网,也推出被称之为"大淘宝"的新战略,开始试水线下销售.传统业已被打破,一方面,淘宝积极拓展线下渠道,而另一方面,制造商也积极开拓互联网上的销售渠道.这两个看起来矛盾的方向其实有着一个共同的主题,那就是一

当手机淘宝遇见海尔电商

该文章来自阿里巴巴技术协会(ATA)精选集  7月的青岛,向来是旅游胜地.手机淘宝技术团队收到海尔的邀请,展开了一场别开生面的技术之旅,阿里无线事业部(手机淘宝)资深总监南天也应邀在[海尔电商技术沙龙]并发表演讲<移动研发架构与优化实践>. 随着用户向移动端转移,移动电商成为当前移动互联网营销的一大热点,而"移动电商如何发力"成为了当前移动电商关注的热点话题.作为移动电商巨头的手机淘宝在沙龙上备受关注. 南天的演讲从宏观面入手,用数据说话,一目了然的向大家展示了阿里在移动电

明星讲师心石闪耀ArchSummit大会 | 手机淘宝构架演化实践

该文章来自阿里巴巴技术协会(ATA)精选集  2014年12月19日~20日,ArchSummit北京2014大会上"移动互联网,随时随地"专题火爆非凡.阿里无线事业部技术负责人庄卓然(花名南天)任移动专题出品人.   阿里无线事业部的高级专家李敏(花名心石,微博:@allblue_华丽地低调 )分享了<手机淘宝架构演化实践>,演讲深受好评,荣获明星讲师.     手淘技术研发团队派出的交流学习小分队也在ArchSummit大会现场和行业里的工程师们愉快的交流学习和玩耍 .

SEO诊断:浅谈淘宝SEO选择比努力重要

在十年前,搜索引擎优化在合肥还没什么市场,发展的并迅速,很多公司企业并没重视到网络优化的作用,而如今,各行各业各个公司都请了专门做SEO的人来维护自己的网站,推广自己的产品,这就是SEO的市场,社会发展必然导致的,而,如今,淘宝SEO就和10年前的搜索引擎优化是一样的,还处于萌芽时期,有着广泛的市场,只是需要你去发觉,现在网络店铺越来越多,不正说明了市场是超级巨大的吗?下面A5站长网SEO诊断团队(http://seo.admin5.com)就来和大家浅谈一下淘宝SEO选择比努力重要的话题: 既