存储

PostgreSQL 实时位置跟踪+轨迹分析系统实践 - 单机顶千亿轨迹/天

01-02
标签 PostgreSQL , PostGIS , 动态更新位置 , 轨迹跟踪 , 空间分析 , 时空分析 背景 随着移动设备的普及,越来越多的业务具备了时空属性,例如快递,试试跟踪包裹.快递员位置.例如实体,具备了空间属性. 例如餐饮配送,送货员位置属性.例如车辆,实时位置.等等. 其中两大需求包括: 1.对象位置实时跟踪,例如实时查询某个位点附近.或某个多边形区域内的送货员. 2.对象位置轨迹记录和分析.结合地图,分析轨迹,结合路由算法,预测.生成最佳路径等. DEMO 以快递配送为例,GP

想成为大数据分析师必须知道的这些事儿(文末福利)

01-02
​点击标题下「异步社区」可快速关注 "不是所有有价值的都能被计算,不是所有能计算的都有价值." --阿尔伯特·爱因斯坦 观察一下周围的世界,你就会发现,几秒钟内会产生.捕获并通过媒介传输庞大的数据.这些数据可能来自于个人计算机(PC).社交网站.企业的业务或通信系统.ATM机和许多其他渠道. 一些报告宣称,在2002年的时候大约有5 EB(1 EB= 1 024 PB=260字节)的在线数据.然而到了2009年,这个数字增长了56倍,达到281 EB.在2009年之后,该数字更是呈现了

mysql替换某个字段中的某个字符

12-31
比如: Msql里面的某个表的某个字段里面存储的是一个人的地址,有一天这个地址的里面的某个地名变了,那么他的地址也就要变:比如: 原来是: number addr 01 中国浙江xxx 02 中国浙江xxx 03 中国浙江xxx  现在地址改了 浙江 搬到了 上海 ··· 所以,addr字段里面的所有的值,都要把 浙江 改为 上海 解决方法: sql语句: update 表名 set 字段名=REPLACE (字段名,'原来的值','要修改的值') 当然,也可以添加条件: update test

云计算学习2

12-05
4 网络加密 VPN virtual private network 虚拟个人网络:长连接和加密 L2TP(layer 2 tunneling protocol) 二层隧道协议 VPLS(virtual private lan service)虚拟私有局域网服务 IPsec(internet protocol security)网际协议安全 EoMPLS(ethernet over MPLS)基于多协议标签交换的以太网协议 个人使用最多的是IPsec SSL IPsec 数据打包加密后在因特网上

B树 B-树 B+树 B*树

12-05
B树 即二叉搜索树: 1.所有非叶子结点至多拥有两个儿子(Left和Right): 2.所有结点存储一个关键字: 3.非叶子结点的左指针指向小于其关键字的子树,右指针指向大于其关键字的子树: 如: B树的搜索,从根结点开始,如果查询的关键字与结点的关键字相等,那么就命中:否则,如果查询关键字比结点关键字小,就进入左儿子:如果比结点关键字大,就进入右儿子:如果左儿子或右儿子的指针为空,则报告找不到相应的关键字: 如果B树的所有非叶子结点的左右子树的结点数目均保持差不多(平衡),那么B树的搜索性能逼

链表之顺序存储

12-05
顺序存储优点: 1 不用额外增加新的节点空间 2 可以快速读取任意位置的元素 顺序存储缺点: 1 插入和删除需要移动大量元素 2 长度变化较大时,难以估计长度 3 存储空间碎片化 读取时,时间复杂度为O(1); 插入或删除时,时间复杂度为O(n); 实例代码 1 /*Edit by Xhalo*/ 2 #include <stdio.h> 3 #include <stdlib.h> 4 5 #define MAXSIZE 20 6 7 typedef struct seqList{

链表之链式存储

12-05
优点: 1 空间存储方便,现用现申请 2 插入删除,只针对单一数据,不需要移动大量数据 缺点: 1 读取,插入,删除慢,需要从头查找,时间复杂度均为O(n) 数据结构声明 typedef struct Node{ int data; struct Node * next; }Node; int main(){ ... Node *p = (Node *)malloc(sizeof(Node)); p->data = 1; ... } 链表读取指定位置的元素 void getNode(Node *

共享栈

12-05
共享栈,即是两个栈使用同一段存储空间. 第一个栈从数组头开始存储,第二个栈从数组尾开始,两个栈向中间拓展. 当top1+1==top2或者top1==top2-1时,即staock overflow!. 与普通栈一样,共享栈出栈入栈的时间复杂度仍为O(1). 数据结构 typedef struct shareStack{ int data[MAXSIZE]; int top1; int top2; }shareStack; 出栈操作 该数据,仅存的是非负数,因此如果想要存储更复杂的操作,可以在判

直接插入排序

12-05
时间复杂度: 如果排序的数组是正序的,那么时间复杂度相当于O(n), 而如果排序是随机的,时间复杂度相当于O(n^2/4). 倒置的时间复杂度是最高的,O(n^2). 算法思想: 该算法是设置了一个中间存储,每次读到的数据存储到中间值.向前遍历,如果大于这个值,继续向前,每次向前遍历时,把数据向后移,最后空出的位置,就是他本身应该在的位置.因此,如果是一个正序的数组,就不会出现移动的情况,时间复杂度也就降低了. 主要代码: void straightInsert(int *arr,int len

推荐系统那点事 —— 什么是用户画像?

12-04
用户画像在大数据分析中是一种很有用的系统,它可以各种不同的系统中,起到很关键的作用.比如搜索引擎.推荐系统.内容系统等等,可以帮助应用实现千人千面.个性化.精准等的效果. 下面将从几个方面来说一下,什么是用户画像,主要的内容来自<用户网络行为画像分析与内容推荐应用>这本书. 应用场景 数据来源 特性 建模 群体画像 画像的存储 画像的查询 画像的更新 图片来自京东--想要购买可以点这里跳转 应用场景 下面举几个很典型的场景: 搜索引擎 在搜索的时候考虑用户的画像标签,返回用户感兴趣的内容.比如

《Spark快速大数据分析》—— 第五章 数据读取和保存

12-04
由于Spark是在Hadoop家族之上发展出来的,因此底层为了兼容hadoop,支持了多种的数据格式.如S3.HDFS.Cassandra.HBase,有了这些数据的组织形式,数据的来源和存储都可以多样化~ 本文转自博客园xingoo的博客,原文链接:<Spark快速大数据分析>-- 第五章 数据读取和保存,如需转载请自行联系原博主.

当数据库中字段设计为smalint或者tinyint后,程序中要求字段为枚举型,应该怎么设置

12-04
我们知道枚举默认和int类型是可以直接强转换的,并不会出现任何错误,但对于其它类型来说, 有可能会有问题,比如,一个enum类型, 如下声明会有错误 enum ProductColumns {   ProductId=1, . . . Status=4294967297, } OK,这样的话,程序会报错,因为它已经超过了int型的范围(int型其实就是Int32结构体类型,32表示最大存储的整型范围是2的32次方) 修改程序为 enum ProductColumns:long { } 让它继承l

【面试虐菜】—— Oracle中CHAR、VARCHAR的区别

12-04
1.CHAR. CHAR存储定长数据很方便,CHAR字段上的索引效率级高,比如定义char(10),那么不论你存储的数据是否达到了10个字节,都要占去10个字节的空间,不足的自动用空格填充,所以在读取的时候可能要多次用到trim(). 2.VARCHAR. 存储变长数据,但存储效率没有CHAR高.如果一个字段可能的值是不固定长度的,我们只知道它不可能超过10个字符,把它定义为 VARCHAR(10)是最合算的.VARCHAR类型的实际长度是它的值的实际长度+1.为什么"+1"呢?这一个

【面试虐菜】—— Oracle知识整理《收获,不止Oracle》

12-04
普通堆表不足之处:     表更新有日志开销     表删除有瑕疵     表记录太大检索较慢     索引回表读开销很大     有序插入难有序读出 DELETE产生的undo最多,redo也最多,因为undo也需要redo保护 全局临时表: 1 高效删除记录 基于事务的全局临时表commit或者session连接退出后,自动删除 基于回话的全局临时表在退出回话后自动删除 2 针对不同的会话数据独立,不同的session访问全局临时表,看到的结果不同 全局临时表在程序的一次调用执行过程中,需要

说说标准服务器架构(WWW+Image/CSS/JS+File+DB)

12-04
现在不少大型网站和应用程序都采用标准架构来进行开发,何为标准架构,标准架构有什么好处,今天我想说一下. 标准,说它是一种标准,也就是它其有一定的通用性,可以解决大部分问题,今天说的架构不是软件层次上的,而是硬件上的,主要是环境的搭建. 首先我们的开发环境为win2003+SQL2005+NET3.5 架构,然后我们再来看主要的服务器 一 WWW服务器,主要运行网站或B/s应用程序 二 数据库服务器,主要进行SQLSERVER的部署,进行数据的存取操作 三 图像.脚本服务器,主要存储样式文件,网站

[LeetCode] Design Log Storage System 设计日志存储系统

11-07
You are given several logs that each log contains a unique id and timestamp. Timestamp is a string that has the following format: Year:Month:Day:Hour:Minute:Second, for example, 2017:01:01:23:59:59. All domains are zero-padded decimal numbers. Design

飞天,进化!

10-29
转:阿里云的"飞天"是什么? 一.飞天是什么? 飞天(Apsara)是由阿里云自主研发.服务全球的超大规模通用计算操作系统.它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力. 从PC互联网到移动互联网到万物互联网,互联网成为世界新的基础设施.飞天希望解决人类计算的规模.效率和安全问题.飞天的革命性在于将云计算的三个方向整合起来:提供足够强大的计算能力,提供通用的计算能力,提供普惠的计算能力. 二.飞天的主要组成部分包括哪些,架构是怎样的? * 飞

Html5 学习系列(六)Html5本地存储和本地数据库

08-30
一个网站如何能在客户的浏览器存储更多的数据呢? 在Html4的时代在浏览器端存储点网站个性化的数据,尤其是用户浏览器的痕迹,用户的相关数据等一般只能存储在Cookie中,但是大多是浏览器对于Cookie的限制也就逼迫网站存储数据尽量精简,想存储复杂的.关系型的用户数据就根本不可能了.但是进入Html5时代,这一切都不叫事... 一.本地存储由来的背景       众所周知Html4时代Cookie的大小.格式.存储数据格式等限制,网站应用如果想在浏览器端存储用户的部分信息,那么只能借助于Cook

Html5 学习系列(一)认识HTML5

05-22
引言,认识两个标准制定的组织         在讲什么是Html5之前得先了解两个组织:WHATWG :网页超文本技术工作小组(英语:Web Hypertext Application Technology Working Group,缩写为WHATWG),是一个以推动网络 HTML 5 标准为目的而成立的组织.在2004年,由Opera.Mozilla基金会和苹果这些浏览器厂商和一些相关团体形成的一个松散的.非正式的协作组织,这些团体希望发展一些新的技术,从而开发人员可以在互联网上编写并部署应

Entity Framework快速入门

02-20
实体框架(Entity Framework)简介 实体框架Entity Framework 是 ADO.NET 中的一组支持开发面向数据的软件应用程序的技术.是微软的一个ORM框架. ORM知识补充:什么是O/R Mapping? 广义上,ORM指的是面向对象的对象模型和关系型数据库的数据结构之间的相互转换. 狭义上,ORM可以被认为是,基于关系型数据库的数据存储,实现一个虚拟的面向对象的数据访问接口.理想情况下,基于这样一个面向对象的接口,持久化一个OO对象应该不需要要了解任何关系型数据库存储