Elasticsearch

21.6. FAQ

01-01
21.6.1. 查看 Kibana 数据库 # curl 'http://localhost:9200/_search?pretty' { "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "failed" : 0 }, "hits" : { "tota

21.5. Example

01-01
https://github.com/kmtong/logback-redis-appender 21.5.1. Spring boot logback 例 21.1. spring boot logback root@netkiller /etc/logstash/conf.d % cat spring-boot-redis.conf input { redis { codec => json host => "localhost" port => 6379 key

21.4. logstash 配置项

01-01
21.4.1. input 21.4.1.1. 标准输入输出 root@netkiller ~ % /usr/share/logstash/bin/logstash -e "input {stdin{}} output {stdout{}}" Helloworld ERROR StatusLogger No log4j2 configuration file found. Using default configuration: logging only errors to the c

21.3. 配置 Broker(Redis)

01-01
21.3.1. indexer /etc/logstash/conf.d/indexer.conf input { redis { host => "127.0.0.1" port => "6379" key => "logstash:demo" data_type => "list" codec => "json" type => "logstash-redi

第 21 章 ElasticSearch + Logstash + Kibana

01-01
目录 21.1. 安装 21.1.1. 6.x 21.1.2. ElasticSearch + Logstash + Kibana 安装 21.1.2.1. ElasticSearch 安装 21.1.2.2. Kibana 安装 21.1.2.3. Logstash 安装 21.1.2.4. 从 5.x 升级到 6.x 21.2. logstash 命令简单应用 21.2.1. -e 命令行运行 21.2.2. -f 指定配置文件 21.2.3. -t:测试配置文件是否正确,然后退出. 21.

18.4. zabbix-agent

01-01
18.4.1. Ubuntu # sudo apt-get install zabbix-agent /etc/zabbix/zabbix_agent.conf #Server=localhost Server=your_server_ip_address # vim /etc/services zabbix-agent 10050/tcp #Zabbix Agent zabbix-agent 10050/udp #Zabbix Agent # sudo /etc/init.d/zabbix-a

Elasticsearch聚合初探——metric篇

12-05
Elasticsearch是一款提供检索以及相关度排序的开源框架,同时,也支持对存储的文档进行复杂的统计--聚合. 前言 ES中的聚合被分为两大类:Metric度量和bucket桶(原谅我英语差,找不到合适的词语.....就用单词来说吧!).说的通俗点,metric很像SQL中的avg.max.min等方法,而bucket就有点类似group by了. 本篇就简单的介绍一下metric聚合的用法. metric的聚合按照值的返回类型可以分为两种:单值聚合 和 多值聚合. 单值聚合 Sum 求和

Elasticsearch聚合 之 Terms

12-05
之前总结过metric聚合的内容,本篇来说一下bucket聚合的知识.Bucket可以理解为一个桶,他会遍历文档中的内容,凡是符合要求的就放入按照要求创建的桶中. 本篇着重讲解的terms聚合,它是按照某个字段中的值来分类: 比如性别有男.女,就会创建两个桶,分别存放男女的信息.默认会搜集doc_count的信息,即记录有多少男生,有多少女生,然后返回给客户端,这样就完成了一个terms得统计. Terms聚合 { "aggs" : { "genders" : {

Elasticsearch聚合 之 Histogram 直方图聚合

12-05
Elasticsearch支持最直方图聚合,它在数字字段自动创建桶,并会扫描全部文档,把文档放入相应的桶中.这个数字字段既可以是文档中的某个字段,也可以通过脚本创建得出的. 桶的筛选规则 举个例子,有一个price字段,这个字段描述了商品的价格,现在想每隔5就创建一个桶,统计每隔区间都有多少个文档(商品). 如果有一个商品的价格为32,那么它会被放入30的桶中,计算的公式如下: rem = value % interval if (rem < 0) { rem += interval } buc

Elasticsearch安装

12-05
在启动或者安装ES之前,需要先下载JDK 1.7以上的版本,对于2.0来说,要求JDK1.8以上. 检查JDK的版本 使用命令: java -version echo $JAVA_HOME 查看JDK的版本,正确安装JDK后,就可以下载安装ES了. 下载文件 在网址:www.elastic.co/downloads 中下载最新版本的ES. 可以下载安装文件或者压缩文件,推荐下载压缩文件: tar -xvf elasticsearch-2.0.0.tar.gz 启动 在linux下执行: cd e

Elasticsearch集群管理

12-05
ES通过设置[节点的名字]和[集群的名字],就能自动的组织相同集群名字的节点加入到集群中,并使很多的技术对用户透明化. 如果用户想要管理查看集群的状态,可以通过一些REST API来实现. 其他的ES文档翻译参考:Elasticsearch文档总结 REST API用途 ES提供了很多全面的API,大致可以分成如下几种: 1 检查集群.节点.索引的健康情况 2 管理集群.节点,索引数据.元数据 3 执行CRUD,创建.读取.更新.删除 以及 查询 4 执行高级的查询操作,比如分页.排序.脚本.聚

Elasticsearch聚合 之 DateRange日期范围聚合

12-05
相比于range聚合,date range就是范围可以由时间来指定. 例如: { "aggs":{ "range":{ "date_range":{ "field":"date", "format":"MM-yyy", "ranges":[ {"to":"now-10M/M"}, {"from&qu

Elasticsearch 数据搜索篇·【入门级干货】

12-05
ES即简单又复杂,你可以快速的实现全文检索,又需要了解复杂的REST API.本篇就通过一些简单的搜索命令,帮助你理解ES的相关应用.虽然不能让你理解ES的原理设计,但是可以帮助你理解ES,探寻更多的特性. 其他相关的内容参考:Elasticsearch官方文档翻译 样例数据 为了更好的使用和理解ES,没有点样例数据还是不好模拟的.这里提供了一份官网上的数据,accounts.json.如果需要的话,也可以去这个网址玩玩,它可以帮助你自定义写随机的JSON数据. 首先开启你的ES,然后执行下面的

Elasticsearch DSL中Query与Filter的不同

12-05
Elasticsearch支持很多查询方式,其中一种就是DSL,它是把请求写在JSON里面,然后进行相关的查询. 举个DSL例子 GET _search { "query": { "bool": { "must": [ { "match": { "title": "Search" }}, { "match": { "content": "

Elasticsearch Span Query跨度查询

12-05
ES基于Lucene开发,因此也继承了Lucene的一些多样化的查询,比如本篇说的Span Query跨度查询,就是基于Lucene中的SpanTermQuery以及其他的Query封装出的DSL,接下来就看一下这些DSL都如何使用吧! 更多翻译参考:Elasticsearch知识汇总 span_term查询 这个查询如果单独使用,效果跟term查询差不多,但是一般还是用于其他的span查询的子查询. 用法也很简单,只需要指定查询的字段即可: { "span_term" : { &qu

Elasticsearch——Date Math在索引中的用法详解

12-05
在elasticsearch中,有时会想要通过索引日期来筛选查询的数据,此时就需要用到日期数学表达式. 更多内容参考Elasticsearch翻译汇总 基于日期数学表达式的索引 模式如下: <static_name{date_math_expr{date_format|time_zone}}> 其中各个字段含义为: static_name 是索引的静态部分 date_math_expr 是日期的表达式 date_format 格式化,默认是YYYY.MM.dd time_zone 时区,默认是

Elasticsearch——Search的基本介绍

12-05
Elasticsearch最常用的方法莫过于查询了.Es支持以URI请求参数或者请求体的方式进行查询. 查询范例 Elasticsearch支持对多索引以及多类型进行查询. 比如,下面对某个特定索引的所有类型执行查询,查询user为kimchy的所有类型的文档: $ curl -XGET 'http://localhost:9200/twitter/_search?q=user:kimchy' 也可以指定某个特定的类型: $ curl -XGET 'http://localhost:9200/t

[Logstash]使用详解

12-04
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的.多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件. 本文针对官方文档进行翻译以及实践,希望有更多的有用户了解.使用这款工具. 下载.安装.使用 这款工具是开箱即用的软件,下载地址戳这里,下载自己对应的系统版本即可. 下载后直接解压,就可以了.   通过命令行,进入到logstash/bin目录,执行下面的命令: logstash -e "" 可以看到提示下面信息(这个命令稍后介绍)

windows(64位)下使用curl命令

12-04
Curl命令可以通过命令行的方式,执行Http请求.在Elasticsearch中有使用的场景,因此这里研究下如何在windows下执行curl命令. 工具下载 在官网处下载工具包:http://curl.haxx.se/download.html   使用方式一:在curl.exe目录中使用 解压下载后的压缩文件,通过cmd命令进入到curl.exe所在的目录. 由于博主使用的是windows 64位 的系统,因此可以使用I386下的curl.exe工具. 进入到该目录后,执行curl --h

Linux下解压rar文件

12-04
正常rar是windows下的压缩文件,linux是不支持的.但是可以通过安装rarlinux来使用rar命令解压rar文件. 首先下载rarlinux [root@localhost ~]# wget http://rarsoft.com/rar/rarlinux-4.0.1.tar.gz --2015-07-17 22:59:37-- http://rarsoft.com/rar/rarlinux-4.0.1.tar.gz Resolving rarsoft.com... 5.135.104