对象存储OSS

阿里云OSS增量上传脚本

02-27
此脚本是用来发布我个人博客Poison而编写的,因为工作中常用语言为Java,而Python仅是副业,代码如有不当之处,敬请指出. 逻辑很简单,递归遍历本地目录,然后判断每个文件在OSS里是否存在,如果不存在则直接上传,如果存在则检查Content-Md5是否相等,如果不相等则表明该文件内容已经发生变化,则上传该文件,OSS会自动覆盖同名文件. 值得注意的是检查Content-Md5的值是用的HTTP的HEAD方法,因为我们只需要header中的Content-Md5字段的值,所以并不需要使用G

OSS Java SDK夯住(Hang)问题排查

10-09
夯住(Hang)是指程序仍在运行,卡在某个方法调用上,没有返回也没有异常抛出:卡住时间从几秒到几小时不等. Java程序发生Hang时,应该首先使用 jstack 把java进程的堆栈信息保存下来 ,供后继分析使用. 调用OSS Java SDK的程序Hang,有以下可能的情况及原因. 说明: jstack -l <pid> > js.txt可以把pid的堆栈信息保存到文件js.txt中.pid可以通过jps命令查找到. 抓包工具,Windows系统下推荐使用Wireshark.捕获筛选

E-MapReduce支持计算与存储分离,成本下降1倍

08-15
引言 Hadoop一出生就是存储与计算在一起的,前几年面试题中都问,Hadoop怎么保证高性能呢?其中一个原因是存储不动,计算(code)动,不同于传统的集中式的存储模式.那我们为什么还要谈存储计算分离呢?众观历史,分久必合.合久必分,在计算机历史中也很类似,如今,也许到了计算与存储分离的阶段.后面我们以实际的case说明,分离的好处与劣势. 我们交流群为开源大数据技术社区召集令,欢迎大家关注.特别推荐 E-MapReduce产品,如果有大数据的需求,欢迎大家尝试使用,以下的讨论.测试都是基于E

OSSUTIL发布啦!

07-27
是不是还在为osscmd过多的命令而感到混乱? 是不是还在为osscmd缺失帮助文档而发愁? 是不是还在为osscmd需要安装配置python环境而感觉郁闷?   如果你需要一款简单明了面向小白的命令行工具,那么请看这里--> ossutil工具   这个工具有以下特点:  1.免安装,解压后即可运行  2.免设置,无需设置直接使用  3.命令简单易用 4.详细的帮助文档 5.透明化,工具是go写的,您可以看到完整的程序代码,代码开源地址:https://github.com/aliyun/os

使用Hive处理服务器日志

05-23
假设这样一个场景,用户有许多的机器(ECS或者自有机房的都可以),每天产生非常多的日志,记录了用户的访问的一些信息,比如userId,访问的页面地址,访问的时间,访问Ip等等.我们对这些数据进行一个离线分析,每天分析一次,计算网站的各个页面的UV.PV,并观察一下是否有作弊的情况:如多个不同的账号来自于同一个IP.并能将最终的这个结果同步到数据库中,在管理后台查看. 那么使用E-MapReduce要如何来做呢? 第一步 获取日志数据 首先,我们需要获取所有服务器的日志数据.这个可以通过阿里云的日

安装配置 JDK 及 Java 环境

04-25
一.概述 在这里我想跟大家分享一下,Window平台安装配置Java开发环境.能力有限,如有不足的地方还请多多指教,不喜勿喷哦! [email protected] only for feedback 二.下载 JDK Java以前是sun公司的,随着sun公司被oracle收购,Java自然就成了Oracle公司的产品.所以我们推荐到Oracle的官网去下载Java安装包,也就是JDK.当然其他地方下载也是一样的. 附上网址:http://www.oracle.com/technetwork

云上持续交付实践系列4 --- node 篇

04-25
本文会演示如何在CRP上编译并部署一个Node应用. 相关的技术和网站 阿里云持续交付平台 https://crp.aliyun.com 阿里云Code https://code.aliyun.com crp提供的编译能力 现在crp平台已经支持node0.12,node4.4.x, node5.9.x 版本的项目编译/测试 常用的node编译指令和环境 1.常用的node相关的指令 npm install //安装依赖 npm list //列举已经安装的依赖 npm test //执行测试

PostgreSQL 数据库 物联网 应用分析

04-02
PPT如下, 主要介绍物联网行业特性,以及PostgreSQL数据库在物联网特性中发挥的重要作用.

容器服务中如何收集日志到阿里云日志服务

03-25
容器服务中目前提供了日志集成的功能,使用该功能,可以把容器中的日志(文件方式或标准输出方式)自动收集到阿里云的日志服务中.具体使用方式如下: 开启日志服务 确认已开通访问控制服务和阿里云日志服务(该步是为了确保容器服务有权限去完成在阿里云日志服务中创建project等操作) 点击确定,日志服务就开通成功了,可以登录到日志服务的控制台(https://sls.console.aliyun.com/#/) 查看有一个project自动帮你创建完成了,名称是acslog-project-集群id 接下

数据迁移上云优化之 - 带宽压缩加速

03-18
现在云已经是一个趋势毋庸置疑,但是怎样在有限的时间内把数据弄上云端是个需要考虑的问题. 如果能增量复制,整个时间窗口可以不需要太关注,因为切换的时间窗口比较短. 但是如果是全量迁移,或者增量迁移前的全量迁移,则需要考虑时间窗口. 一般来说,从线下到线上,网络带宽都比较低,这个我在以前把香港机房的数据迁移到国内机房时深有同感,速度之慢难以忍受. 下面是一套加速方案: 下面是一个例子: 首先在本地服务器建立远程数据库服务器隧道 : ssh -C -L 6666:127.0.0.1:1921 post

Efficient Color Boundary Detection with Color-opponent Mechanisms算法学习笔记

03-17
这是一篇基于视觉颜色机制的边缘检测论文,原文分中文和英文版 中文版链接:中文版PDF 英文版链接:英文版PDF 项目主页:http://www.neuro.uestc.edu.cn/vccl/projcvpr2013.html 以下是我个人学习该算法后的理解,希望各位看官批评指正! 整个算法可分为以下几步: 1.输入一张彩色图像 2. 分别提取R-G-B三种颜色信息,并计算Y颜色信息,进行高斯滤波得到 3.设置连接权重ω ,通过式(1)得到R+wG和wR+G两种连接权值的的结果 $$Srg.Sg

WordPress和阿里云对象存储OSS配置教程

01-29
传统情况下,网站源码以及数据库.图片等资源都是存储在一个服务器上的.这样的配置会存在这样的尴尬问题:当网站数据越来越多的时候,就面临着存储空间不够用.升级服务器配置.访问出现卡顿等情况.而解决此问题的最好方法就是将网站.数据库以及图片等资源分开管理,存储在不同的服务器上,这样使用时只需要在主服务器上调用即可.浪子虎博客使用的就是阿里云的OSS存储服务.下面,就随着浪子虎的脚步踏入WordPress博客使用阿里云OSS存储资源的步伐吧. 1. 安装WordPress 当然,如果你连WordPres

CRP中多分支持续集成的配置

01-24
在上一篇发布与分支中,我们讨论了几种经典的发布模式.如果你最终选择在发布中使用分支,那么就来看看CRP中对多分支持续集成的支持吧. 假设你有dev和hotfix两个分支,主要功能都在dev分支上开发,而对于线上的紧急bug,则走hotfix分支进行修复. 针对dev分支的持续交付线 先看一个针对dev分支的发布线配置: 触发器的配置: 单元测试stage的配置: 集成测试stage的配置: 发布stage的配置: 把hotfix也加进来 1.把第一个单元测试的stage拆分成两个: dev分支更

基于docker构建jenkins和svn服务

12-28
基于docker构建jenkins和svn服务 码农们很定都知道svn的重要性,机器坏掉丢代码的惨痛教训想必很多人都有. jenkins可能很多人都不了解.这是一个持续集成的工具,在敏捷开发领域很流行:跟svn结合可以实现定期build.checkin之后build等功能.介绍可以看这里https://www.ibm.com/developerworks/cn/java/j-lo-jenkins/ 基于docker单独部署jenkins和svn都是很简单的事情,找到image,配置端口.配置vo

Redis漏洞攻击植入木马逆向分析

12-22
作者:云盾攻防对抗团队 - 梦特 背景 2015年11月10日,我们捕获到黑客大规模利用Redis漏洞,获取机器root权限,并植入木马进行控制,云系统发现大量异地登录来自IP:104.219.234.226.异地登录发现时云盾控制台就会有告警信息,由于该漏洞危害严重,因此我们在2015年11月11日,短信电话联系用户修复Redis高危漏洞,2015年11月14日,我们云盾系统检测到大量受该漏洞影响沦为肉鸡的机器进行DDOS攻击,发现后云盾系统已自动通知用户. 木马控制协议逆向分析 分析发现木马

使用Eclipse OSS插件提高您的工作效率

08-14
阿里云Eclipse插件系列已经发布,阿里云OSS产品插件通过图形化界面为您提供简便.易用.高效的OSS存储管理服务,您可以创建.删除.编辑Bucket,可以设置Bucket的各项属性.同时也可以上传文件.获得文件的URL等功能. 假设您第一次使用Eclipse OSS插件,不知道如何下手,下面我们来介绍那些功能将是您最佳的管理助手. 1. Bucket是一个盛放文件的大桶,没有Bucket您是无法使用OSS的,首先您可以先创建一个Bucket.     创建Bucket需要注意: 1) 名字的

OSS新开通用户优惠政策变更

03-23
尊敬的阿里云用户, 从2015年3月25日起,对于OSS新开通用户将不再赠送200块钱的代金券.已经发放代金券的用户仍可以按照代金券使用时间继续使用. 同时针对所有OSS用户,已推出每月免费额度,可以享受更多优惠. 详情可查看OSS价格详情页(http://help.aliyun.com/knowledge_detail.htm?knowledgeId=5974488)   阿里云计算 2015年3月23日

阿里云OSS价格计费下调通告

02-10
尊敬的用户: 您好,阿里云OSS和CDN将于2015年2月10日进行版本升级.升级后北京和深圳区域的OSS用户,可免费使用一定额度的OSS存储.流量及请求次数资源:由CDN回源请求产生的OSS与CDN间的流量单价最高下降66%.对OSS新老用户同时生效. 升级变更详情 1.北京和深圳区域的OSS用户,可免费使用一定额度的OSS存储.流量及请求次数资源 用户可免费使用北京及深圳区域OSS各5GB存储.存储量超出5GB后,按正常价格计费. 按自然月为周期,用户可免费使用北京及深圳区域OSS各5GB流

OSS存储调价公告

01-27
尊敬的阿里云OSS用户: 自2015年1月28日起,OSS的存储单价再一次下调,这是继2014年4月3日存储降价之后的新一轮价格调整. OSS始终将技术上的每一次进步通过价格下降的方式回馈给广大用户,让每一个阿里云用户在感受到越来越好的使用体验的同时,进一步降低使用OSS的成本. 此次不同区域的存储单价降幅不同,青岛区域下降15%,深圳.北京区域下降10%,杭州区域下降5%,香港区域保持不变. 下调后的各区域存储单价如下:   查看OSS产品详情(http://www.aliyun.com/pr

1.22 OSS旧IP下线公告

01-16
尊敬的阿里云用户: 您好,OSS的旧IP地址42.120.230.7,42.120.230.8,42.120.230.9,42.120.230.10 将于2015年1月22日停止使用, 有两个注意事项需要您特别关注: 1.如果您通过直接使用IP访问OSS,请确认您使用的IP不属于以上4个即将停止使用的IP,再次建议您使用OSS域名方式访问,避免直接使用IP. 2.如果您通过配置本地host文件方式将域名解析到以上4个即将停止使用的IP,请解绑.