关于flume-ng输出文件名的问题

问题描述

关于flume-ng输出文件名的问题

想请教一下,如果flume是通过file roll的形式输出到某文件夹下的,那这些输出的数据能否自定义命名?

解决方案

http://www.tuicool.com/articles/ZjuqMv

时间: 2016-10-28
Tags: flume

关于flume-ng输出文件名的问题的相关文章

阐述Flume OG到 Flume NG发生的革命性变化

但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,这点可以在 BigInsights http://www.aliyun.com/zixun/aggregation/11790.html">产品文档的 troubleshooting 板块发现.为了解决这些问题,2011 年 10 月 22 号,cloudera 完成了 Flume-

Flume(NG)架构设计要点及配置实践

Flume NG是一个分布式.可靠.可用的系统,它能够将不同数据源的海量日志数据进行高效收集.聚合.移动,最后存储到一个中心化数据存储系统中.由原来的Flume OG到现在的Flume NG,进行了架构重构,并且现在NG版本完全不兼容原来的OG版本.经过架构重构后,Flume NG更像是一个轻量的小工具,非常简单,容易适应各种方式日志收集,并支持failover和负载均衡. 架构设计要点 Flume的架构主要有一下几个核心概念: Event:一个数据单元,带有一个可选的消息头 Flow:Even

xdebug模块输出文件名的配置说明

xdebug的性能测试输出文件名是可以配置的. 默认是 xdebug.profiler_output_name = cachegrind.out.%p 那个%p是服务器的pid,会输出"cachegrind.out.1408"之类的文件. 可能这样不太方便测试很多文件的网站. 网上看到的中文文章里面都没有关于这个参数的说明. 我从xdebug官网上找来了它的说明翻译成中文了. 符号 含义 配置样例 样例文件名 %c 当前工作目录的crc32校验值 trace.%c trace.1258

高可用Hadoop平台-Flume NG实战图解篇

1.概述 今天补充一篇关于Flume的博客,前面在讲解高可用的Hadoop平台的时候遗漏了这篇,本篇博客为大家讲述以下内容: Flume NG简述 单点Flume NG搭建.运行 高可用Flume NG搭建 Failover测试 截图预览 下面开始今天的博客介绍. 2.Flume NG简述 Flume NG是一个分布式,高可用,可靠的系统,它能将不同的海量数据收集,移动并存储到一个数据存储系统中.轻量,配置简单,适用于各种日志收集,并支持Failover和负载均衡.并且它拥有非常丰富的组件.Fl

ubuntu-新手使用dd命令时只打了输出文件名,未达输入文件名,系统是否会耗掉空间?

问题描述 新手使用dd命令时只打了输出文件名,未达输入文件名,系统是否会耗掉空间? 执行命令及日志如下: [email protected]:/home/ye/Test# date ; dd if=/dev/zero #回车 2016年 03月 30日 星期三 20:42:29 CSTls ^H^H^H^C 记录了342839+0 的读入记录了342838+0 的写出 175533056字节(176 MB)已复制,8.34683 秒,21.0 MB/秒 请问: 1.这些复制的文件去了哪里? 2.是否会耗费空

Flume NG 简介及配置实战

    Flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera.但随着 FLume 功能的扩展,Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版本 0.94.0 中,日志传输不稳定的现象尤为严重,为了解决这些问题,2011 年 10 月 22 号,cloudera

Flume日志收集分层架构应用实践

Flume作为一个日志收集工具,非常轻量级,基于一个个Flume Agent,能够构建一个很复杂很强大的日志收集系统,它的灵活性和优势,主要体现在如下几点: 模块化设计:在其Flume Agent内部可以定义三种组件:Source.Channel.Sink 组合式设计:可以在Flume Agent中根据业务需要组合Source.Channel.Sink三种组件,构建相对复杂的日志流管道 插件式设计:可以通过配置文件来编排收集日志管道的流程,减少对Flume代码的侵入性 可扩展性:我们可以根据自己

Flume环境部署和配置详解及案例大全_Linux

一.什么是Flume? flume 作为 cloudera 开发的实时日志收集系统受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 Flume OGoriginal generation属于 cloudera.但随着 FLume 功能的扩展Flume OG 代码工程臃肿.核心组件设计不合理.核心配置不标准等缺点暴露出来尤其是在 Flume OG 的最后一个发行版本 0.94.0 中日志传输不稳定的现象尤为严重为了解决这些问题2011 年 10 月 22 号cloudera 完成

CentOS 7部署flume

CentOS 7部署flume 准备工作: 安装java并设置java环境变量,在`/etc/profile`中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin 注意事项 需要启动多个shell脚本交互客户端进行验证,运行中的客户端不要停止. 安装flume 下载:wget http://mirrors.hust.edu.cn/apache/flume/1.6.0/apache-flume-1.6