系统监控

Stack Exchange的架构

12-21
导读:原文作者Kyle Brandt发表篇文章<Stack Exchange's Architecture in Bullet Points>,现由陈皓翻译<Stack Exchange的架构>,文中阐述一些观点供大家参考.内容如下: 近日,Stack Exchange系统管理员blog上发布了一篇关于Stack Exchange的架构一瞥,其包括了Stack Overflow, Server Fault和Super User的Stack Exchange网络.注意最后一个关于人员

《Greenplum5.0 最佳实践》 高可用性&lt;1&gt;

12-10
高可用性 Greenplum 数据库集群支持高可用,容错性数据服务.为了保证所需要的服务级别,每个组件都必须有一个备用的服务器,避免发生故障没有有效的准备. 磁盘存储 Greenplum 数据库是 "Shared-nothing" MPP 架构,主节点和段节点都有其各自专有的内存和磁盘存储空间,每一个主接节点或者段实例都有其自己独立的数据文件.为了更高的可靠性和性能表象. Pivotal 建议使用8到24个硬盘的RAID存储解决方案.使用RAID5(或6)时,大量磁盘可提高吞吐性能,因

数据库与实例

12-04
Inventory Oracle安装工具OUI用来管理Oracle安装目录的 Oracle的参数文件,启动后按照下面的顺序读取参数文件,如果读取失败,启动数据库 失败: 1 $ORACLE_HOME/dbs/SPFILE.ORA 2 $ORACLE_HOME/dbs/spfile.ora 3 $ORACLE_HOME/dbs/init.ora 数据库的nomount阶段:读取参数文件,分配共享内存和启动进程 Mount阶段:读取控制文件,进行校验 oracle的控制文件包括: 1 数据库的物理结

改变思维有效监控数据中心

08-01
企业希望在难题出现之前,智能分析功能可以将企业的系统监控提升到一个全新的水平.如今,适当进行产能规划以保持平稳运行,是IT部门一个非常重要的能力.除了实现IT目标和业务目标以外,它可以帮助维持企业的IT基础设施,而这时,系统性问题出现了.   对于那些关键的时刻,企业必须有一个良好的数据中心基础设施管理(DCIM)策略,可以防止系统停机,并迅速采取行动,这可能会对企业的声誉和收入产生深刻的负面影响.但是,企业将如何从被动到主动,并改变其方法,从而减少昂贵的错误和崩溃的机会,他们有机会出现吗?当它

夏天来了,你的数据中心应该跟着热起来

08-01
英特尔的杰夫-克劳斯表示,如果天气炎热,那么你的数据中心就应该跟着热起来. 随着夏季在北半球大行其道,数据中心经理们正忙着处理干旱和高温.虽然这个夏天的气温预计将超过历史平均值,但对于数据中心经理来说,最重要的事情莫过于知晓外界天气和环境的改变将会如何影响你的制冷计划.对此,记者采访了英特尔数据中心事业部总经理杰夫-克劳斯. 克劳斯表示,"从内至外地"了解你的数据中心,从而在夏季的几个月里做出最好的决定,这至关重要.与大多数硬件设备说明书的描述并不相同,数据中心实际上可以在较高的温度下

如何保证呼叫中心系统的售后服务

07-04
随着世界经济的发展和目前全世界性经济危机的影响,人们的服务意识.成本意识.市场意识空前达到了一定的高度.各个行业的呼叫中心系统建设如火如荼热火朝天,客户和呼叫中心系统软件提供商.培训机构,忙的不亦乐乎.于是乎硬件.中间件.业务应用软件厂商,形成了三国鼎立的局面,时而合作.时而纷争.在项目面前各个都是把胸脯拍的当当响,生怕客户不承认自己的售后服务,而失去项目.当客户在拿到自己满意的售后服务承诺后,开心的笑了,认为系统的售后有了保障,从此就可以后顾无忧. 随着客户项目的增多,我们大家都发现一个共同的

携程开源数据库访问框架Ctrip DAL

07-03
随着企业规模扩张和业务量的急剧增加,作为系统核心的数据库相关开发也会经历一个由单一团队发展为多团队;由单机扩张到集群;由单数据库发展为多数据库;由采用单一数据库产品到多种数据库产品并存的过程.伴随这一过程的是如何管理数据库扩展,如何规范数据库访问,如何保护数据库投资,如何应对访问量增加,如何预防安全问题等一系列挑战.作为国内在线旅游行业的翘楚,携程也曾经面对同样困扰.为了应对这些挑战,实现企业10倍速发展,携程开发了具有自己特色的数据库访问框架Ctrip DAL.Ctrip DAL支持流行的分库

Apache Kylin 首批入驻微软 Azure 镜像市场

06-08
微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户直接搜索.选择.部署使用,从而满足客户在云端的多样化业务需求. 作为领先的智能大数据分析技术公司,Kyligence此次受邀在该镜像市场上发布了Apache Kylin的企业级产品:Kyligence Analytics Platform(简称KAP),值得关注的是Kyligence是首批入驻的大数据公司之一.作为Azure镜像市场的首批合作伙伴,面向中国Azu

collectd 5.7.2 发布,系统监控和统计工具

06-07
collectd 5.7.2 发布了,collectd 是一个守护(daemon)进程,用来收集系统性能和提供各种存储方式来存储不同值的机制.比如以 RRD 文件形式.当系统运行和存储信息的时候,Collectd 会周期性统计系统的相关统计信息.那些信息可以用来找到当前系统性能瓶颈. 一般来说,一图胜过千言,所以这里显示了某个系统在过去60分钟内的CPU利用率图形. 部分更新内容如下: collectd: A race condition when calculating a metric's

Python3 pyinotify 监视文件、文件夹修改

06-07
/************************************************************************************ * Python3 pyinotify 监视文件.文件夹修改 * 说明: * 之前没注意到这个需要在Linux系统下运行,折腾了一下才到Linux下去操作. * * 2017-6-7 深圳 龙华樟坑村 曾剑锋 ***********************************************************

Google停用MapReduce,高调发布Cloud Dataflow

05-02
Google已经停用自己研发的,部署在服务器上,用以分析数据的MapReduce,转而支持一个新的超大规模云分析系统Cloud Dataflow. MapReduce一直是服务器集群上做并行分布式计算的一个非常受欢迎的基础架构和编程模型.它是被广泛部署并已经成为很多公司商业产品的大数据基础架构平台Hadoop的基础.  但是近日,这项技术已经不能处理谷歌想要分析的大量数据.技术基础设施部高级副总裁UrsHölzle表示,一旦数据规模达到数PB级字节,处理起来将变得非常困难.  "我们已经不再使用

Linux 监视文件、文件夹改动

04-26
/******************************************************************** * Linux 监视文件.文件夹改动 * 说明: * 主要是为了解决当配置文件被修改时,需要重新对配置文件解析,并应用 * 配置文件,这样可以解决修改了配置文件,需要重启系统或者重启软件的需求. * * 2017-4-26 深圳 龙华樟坑村 曾剑锋 *******************************************************

flask+sqlite3+echarts3 系统监控

10-29
总的而言,分三部分: 1.监控器(monitor.py): 每秒获取系统的四个cpu的使用率,存入数据库. 2.路由器(app.py): 响应页面的ajax,获取最新的一条或多条数据. 3.页面(index.html): 发出ajax请求,更新echarts图表 一.监控器 使用了psutil库,对系统进行监控. import psutil import sqlite3 import time ''' 说明:四个cpu使用率,显然是临时数据,所以最好用内存数据库,如Redis等 但是这里强行使用

三:基于Storm的实时处理大数据的平台架构设计

03-06
一:元数据管理器==>元数据管理器是系统平台的"大脑",在任务调度中有着重要的作用[1]什么是元数据?--->中介数据,用于描述数据属性的数据.--->具体类型:描述数据结构,数据的具体位置,数据间的依赖关系,数据的处理过程,数据的快照信息等.[2]为何要引入元数据--->实际案例:HDFS中的NameNode节点,Hive的MySql元数据表,MooseFs的Master节点,GFS(Google分布式文件系统)中的Master节点等.--->在大数据处

CentOS上使用sysstat做系统监控测试

09-24
先安装sysstat yum -y install systat 然后,再改一下任务计划 [[email protected] sa]# cat /etc/cron.d/sysstat # Run system activity accounting tool every 10 minutes*/1 * * * * root /usr/lib64/sa/sa1 1 1# 0 * * * * root /usr/lib64/sa/sa1 600 6 &# Generate a daily summary

浅谈zabbix和Grid control

08-11
在IT行业始终在进行着开源和商业的竞争而且双方火力都不差,开源的受众更多是中小企业,免费开源而且用户基数庞大,商业的用户都是一些大中型企业,求稳求成熟的服务. 今天来浅谈一下zabbix和Grid control,限于自己的认识有限,所以先开个题,zabbix也在熟悉和使用中,后续继续补全和更正. zabbix大量在互联网企业使用,很大的一个原因就是MySQL所用,但是它的发展不止于此,对于系统级的监控也是很拿手.按照通用的说法,zabbix是基于WEB界面的提供分布式系统监视以及网络监视功能的

crontab导致的频繁发送邮件的问题

04-28
今天下午的时候客户发邮件反馈说,对于某个环境中的文件系统监控和表空间使用情况的邮件收到的比较频繁,感觉是1个小时发送一次,完全可以3个小时发送一次,接到这个问题后,最直接的联想就是使用crontab. 结果登录到服务器端之后查看,得到的结果如下: > crontab -l # Minute    Hour    Month    Day    Month    Weekday Command ####################################################

云计算和大数据有什么关系?

03-20
当大数据遭遇云计算 从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分.大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构.它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理.分布式数据库.云存储和虚拟化技术. 云计算为什么能盛行呢?在互联网领域应用系统的构建:客户群体是不确定的.系统规模不确定.系统投资不固定.业务应用有很清晰的并行分割特征.数据仓库系统的构建.数据仓库规模可估算.数据仓库的系统投资与业务分析的价值和回报相关.商业智能应用属于整体应用.Saas

Python开发教程推荐

08-18
简明 Python 教程 http://woodpecker.org.cn/abyteofpython_cn/chinese/index.html python-docx https://python-docx.readthedocs.org/en/latest/ 使用Shell脚本对Linux系统和进程资源进行监控 http://www.csdn.net/article/2012-06-26/2806898 python工具-代码生成器 http://www.cnblogs.com/wdong

10 款免费的网络监控工具

11-26
互联网的飞速发展,互联网的使用越来越普遍,网络和互联网不仅成为企业内部的沟通桥梁,也是企业和外部进行各类业务往来的重要管道. 网络监控软件定义:指针对局域网内的计算机进行监视和控制,针对内部的电脑上互联网活动(上网监控)以及非上网相关的内部行为与资产等过程管理(内网监控:所以包含了上网监控(上网行为监视和控制.上网行为安全审计)和内网监控(内网行为监视.控制.软硬件资产管理.数据与信息安全),有些还增加了数据安全的透明加密软件部署 1. Monit Monit 是一个Linux/UNIX系统上开