性能

Greenplum hash分布算法

01-02
标签 PostgreSQL , hash , cdbhash , 一致性hash算法 背景 Greenplum,如果从master节点写入数据的话,写入性能实际上是比较差的,但是我们可以直接连数据节点来写入: <让greenplum的oltp性能飞起来> 这种用法需要客户端从master获取gp_segment_configuration,同时需要获取表的分布键,同时需要使用cdbhash算法算出记录应该写入哪个segment节点,这种方法不保证全局一致性,建议选择场景使用. hash算法 s

3999美元掀价格战,Velodyne宣布16线激光雷达降价50%

01-02
3D视觉系统和先进的自动驾驶安全解决方案的全球领导者Velodyne LiDAR今天宣布,其无人驾驶用16线激光雷达现在可以面向全球客户降价50%. 新智元从Velodyne亚洲区总监翁炜处获悉,现在Velodyne16线的激光雷达降价后价格将定在3999美元(全球统一价),现在订购,4-6周内可以出货. 根据外媒的报道,Velodyne LiDAR创始人兼首席执行官David Hall表示:"我们VLP-16的需求在2017年大幅增长.因此,我们增加了产能,所以现在能够降价,为客户节约成本.2

Linux性能评测工具之一:gprof篇

12-30
 这些天自己试着对项目作一些压力测试和性能优化,也对用过的测试工具作一些总结,并把相关的资料作一个汇总,以便以后信手拈来! 1 简介 改进应用程序的性能是一项非常耗时耗力的工作,但是究竟程序中是哪些函数消耗掉了大部分执行时间,这通常都不是非常明显的.GNU 编译器工具包所提供了一种剖析工具 GNU profiler(gprof).gprof 可以为 Linux平台上的程序精确分析性能瓶颈.gprof精确地给出函数被调用的时间和次数,给出函数调用关系. gprof 用户手册网站 http://so

B树 B-树 B+树 B*树

12-05
B树 即二叉搜索树: 1.所有非叶子结点至多拥有两个儿子(Left和Right): 2.所有结点存储一个关键字: 3.非叶子结点的左指针指向小于其关键字的子树,右指针指向大于其关键字的子树: 如: B树的搜索,从根结点开始,如果查询的关键字与结点的关键字相等,那么就命中:否则,如果查询关键字比结点关键字小,就进入左儿子:如果比结点关键字大,就进入右儿子:如果左儿子或右儿子的指针为空,则报告找不到相应的关键字: 如果B树的所有非叶子结点的左右子树的结点数目均保持差不多(平衡),那么B树的搜索性能逼

将不确定变成确定~LINQ查询两种写法,性能没有影响,优化查询应该是“按需查询”

12-05
如果在linq中希望进行一对多的复合查询时,请直接在查询中使用join into,或者使用let 关键字,当然在建立实体时动态赋值对于查询的性能也是没有影响的,两次查询结果完成相同 一 :在实体中赋值 var linq = from data in this.GetModel() join data2 in iWebDepartmentsRepository.GetModel() on data.DepartmentID equals data2.DepartmentID select new

Java直接内存与非直接内存性能测试

12-05
什么是直接内存与非直接内存 根据官方文档的描述: A byte buffer is either direct or non-direct. Given a direct byte buffer, the Java virtual machine will make a best effort to perform native I/O operations directly upon it. That is, it will attempt to avoid copying the buffe

日志分析系统——Hangout源码学习

12-05
这两天看了下hangout的代码,虽然没有运行体验过,但是也算是学习了一点皮毛. 架构浅谈 Hangout可以说是java版的Logstash,我是没有测试过性能,不过据说是kafka这边性能要高出Logstash5倍.不知道真的假的,不过看代码,确实要比Logstash高效一点. 关于input,filter,output的关系 在Logstash里面,Input,filter,output是三个独立的部分,每个部分通过Buffer存储数据. 但是Hangout没有采用这种思想,每个Input

将不确定变为确定~老赵写的CodeTimer是代码性能测试的利器

12-05
首先,非常感谢赵老大的CodeTimer,它让我们更好的了解到代码执行的性能,从而可以让我们从性能的角度来考虑问题,有些东西可能我们认为是这样的,但经理测试并非如何,这正应了我之前的那名话:"机器最能证明一切"! 费话就不说了,看代码吧: 1 /// <summary> 2 /// 执行代码规范 3 /// </summary> 4 public interface IAction 5 { 6 void Action(); 7 } 8 9 /// <sum

Elasticsearch聚合初探——metric篇

12-05
Elasticsearch是一款提供检索以及相关度排序的开源框架,同时,也支持对存储的文档进行复杂的统计--聚合. 前言 ES中的聚合被分为两大类:Metric度量和bucket桶(原谅我英语差,找不到合适的词语.....就用单词来说吧!).说的通俗点,metric很像SQL中的avg.max.min等方法,而bucket就有点类似group by了. 本篇就简单的介绍一下metric聚合的用法. metric的聚合按照值的返回类型可以分为两种:单值聚合 和 多值聚合. 单值聚合 Sum 求和

C++ 初始化列表

12-04
何谓初始化列表 与其他函数不同,构造函数除了有名字,参数列表和函数体之外,还可以有初始化列表,初始化列表以冒号开头,后跟一系列以逗号分隔的初始化字段.在C++中,struct和class的唯一区别是默认的访问性不同,而这里我们不考虑访问性的问题,所以下面的代码都以struct来演示. struct foo { string name ; int id ; foo(string s, int i):name(s), id(i){} ; // 初始化列表 }; 构造函数的两个执行阶段 构造函数的执行

【面试虐菜】—— Apache知识整理

12-04
Apache性能调优1 Apache 部分: 1. 移除不用的模块. 2. 使用 mod_disk_cache NOT mod_mem_cache . 3. 扁平架构配置mod_disk_cache. 4. 安装恰当的Expires, Etag, 和 Cache-Control Headers . 5. 将缓存放在独立的磁盘 6. 使用管道日志替代直接记录 7. 将日志放在不同的磁盘 8. 使用 mod_gzip/mod_deflate . 9. 将HostnameLookups关闭. 10.

不忘本~结构

12-04
首先,类和结构都是创建对象的模板,都可以包含字段和方法,都需要用new实例化.  类中可以初始化非常量字段值,但是结构中不可以初始化非常量字段值.  结构是值类型,使用结构可以提高性能,类是引用类型.  结构不支持继承 本文转自博客园张占岭(仓储大叔)的博客,原文链接:不忘本~结构,如需转载请自行联系原博主.

Oracle二三事之 Oracle SPARC SuperCluster的九大技术优势

12-04
• 运行最快的服务器: SPARC T4计算资源池创造了18项性能世界纪录,全面超越同类产品,单柜128核心.1024线程. • 数据库服务: Oracle独特的智能存储网格拥有高达750K的每秒读写次数(IOPS), 43GB/s 的查询吞吐能力以及高达9.6TB的智能高速闪存卡. • 中间件服务: Oracle中间件云支持提供了10倍的Java 程序运行性能,同时面向Oracle EBS 和 Siebel 管理软件提供4倍的响应速度,并支撑3倍的用户数量. • 同类最佳的存储服务: 集成的Z

oracle数据库性能

12-04
性能视图V$开头 V$SYSTEM_EVENT 正在等待的资源的系统信息 V$SESSION_EVENT 会话累计发生的等待事件 V$SESSION_WAIT 会话正在等待或者曾经等待的详细时间信息 V$SESSION 正在等待或者曾经等待的会话信息 V$METRICNAME 查看高速缓存命中率 Oracle数据库IO规划原则: 1 利用磁盘分段技术将IO分散在多个轴中进行 2 利用表空间直接隔离和定位各种类型的IO 3 将redo日志及其镜像放置在两个最不忙的设备上 4 将系统开销均匀地分摊到

oracle多用户并发及事务处理

12-04
多用户并发访问 事务:作用于某些数据的一个不可分割的操作 锁:写锁.互斥锁(仅能被一个进程使用) 读锁.共享锁(可被多个进程使用) 更新丢失 脏读 不可重复读 幻影读 隔离级别: 1 READ COMMITTED 每个语句得到完整的视图 2 SERIALIZABLE 事务级别实施串行化 Oracle并发特性 1 回滚段:存储"撤销"信息的数据结构 redo日志用来记录数据库的所有事务:回滚段用于提供事务回滚和读一致性 2 系统改变号 SCN:保证事务执行的顺序 3 数据块中的锁:每个锁

DB Cache

12-04
1 DB Cache 是以bock为单位组织的缓冲区,不同大小的BLOCK对应不同的缓冲区参数 2 DB Cache的命中率越高,访问性能就越好 3 Cache中的数据块通过散列算法实现 4 每个链上的buffers数量,最佳的情况是每个链上只有一个buffer 5 DBWR进程控制脏数据写入 6 在DB Cache,同一个数据块中可能存在多个版本的数据 7 大表的扫描,热块冲突都可能导致闩锁的争用 引入tch计数器,避免LRU链上频繁移动 LRU链上搜索达到最大深.LRU-W上没有足够的cle

共享池

12-04
SGA包括: 1 数据结构部分 fixed size 2 数据块缓冲区 database buffers 3 redo log缓冲区 redo buffers 4 共享池 variable size 永久使用的共享内存:进程信息数据.会话信息数据.特殊用途的内存段 随着共享池碎片化加剧:产生ORA-4031错误 1 加大初始的分配值 2 每次扩展一个组 共享池内部结构: 1 PERMANENT 2 FREEABLE 3 RECERATEABLE 4 FREEABLE WITH MARK 通过内部

Logstash为什么那么慢?—— json序列化

12-04
今天跟峡谷金桥聊天,询问起Logstash的性能,金桥提示说Logstash中json的序列化是浪费性能的一方面.于是便有了下面的测试: 第一步,造数据 首先需要造一份数据,数据可以通过logstash的generator来造. input{ generator{} } output{ file{ path => "E:/test.log" } } 生成的数据格式如下: {"message":"Hello world!","@ve

GBDT和随机森林的区别

12-04
GBDT和随机森林的相同点: 1.都是由多棵树组成 2.最终的结果都是由多棵树一起决定   GBDT和随机森林的不同点:   1.组成随机森林的树可以是分类树,也可以是回归树:而GBDT只由回归树组成 2.组成随机森林的树可以并行生成:而GBDT只能是串行生成 3.对于最终的输出结果而言,随机森林采用多数投票等:而GBDT则是将所有结果累加起来,或者加权累加起来 4.随机森林对异常值不敏感,GBDT对异常值非常敏感 5.随机森林对训练集一视同仁,GBDT是基于权值的弱分类器的集成 6.随机森林是

.Net免费公开课视频+资料+源码+经典牛逼 汇总篇【持续更新】

11-04
博主推荐一:WP8.1最经典培训教程 博主点评:经典Windows Phone8.1 Runtime API培训最经典教程,此教程由传智播客蒋坤老师录制的一整套WP8.1入门级视频教程,讲授内容非常广.深入而且非常适合入门学习.在英文资料都非常匮乏的今天,有这样的视频教程简直就是神一般的存在. 拒绝低调,国内首家推出微软WP8.1移动开发课程  课程介绍地址:http://bbs.itcast.cn/thread-31190-1-1.html 视频和资料下载地址:http://pan.baidu