博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
部署 logstash和 elasticsearch 笔记
阅读量:4080 次
发布时间:2019-05-25

本文共 4433 字,大约阅读时间需要 14 分钟。

(一)安装logstash

http://blog.csdn.net/napoay/article/details/53276758

$ tar -zxvf logstash-2.4.0.tar.gz

启动logstash:

$ cd logstash-2.4.0$ ./bin/logstash -e 'input { stdin { } } output { stdout {} }'Settings: Default pipeline workers: 4Pipeline main started

这样会以默认形式输出日志,是最简单的日志格式,输入一个单词测试:

hello world2016-11-21T20:51:22.252Z yaopan.local hello world

设置为格式化输出:

$ ./bin/logstash -e 'input { stdin { } } output { stdout {codec => rubydebug} }'Settings: Default pipeline workers: 4Pipeline main startedhello{   "message" => "hello",  "@version" => "1","@timestamp" => "2016-11-21T20:52:11.973Z",      "host" => "yaopan.local"}

(二)安装 elasticsearch

解压后,安装head插件:https://www.cnblogs.com/xing901022/p/5469338.html

安装

在网络畅通的情况下(需要能访问github),可以直接通过plugin进行安装。即在es的bin目录下运行:

F:\software\elasticsearch-2.2.1\bin>plugin.bat install mobz/elasticsearch-head-> Installing mobz/elasticsearch-head...Trying https://github.com/mobz/elasticsearch-head/archive/master.zip ...Downloading .................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................DONEVerifying https://github.com/mobz/elasticsearch-head/archive/master.zip checksums if available ...NOTE: Unable to verify checksum for downloaded plugin (unable to find .sha1 or .md5 file to verify)Installed head into F:\software\elasticsearch-2.2.1\plugins\head

安装完,就发现plugins下面多了一个head的文件夹。

通过上面的安装输出消息,也可以发现head插件其实就是下载了zip包,然后解压到了head目录中。因此,(也可以直接去github上面下载zip包)

开启远程访问权限:http://blog.csdn.net/u012599988/article/details/51767183

elasticsearch 外网访问9200端口访问

系统centos6.5 
可以访问127.0.0.1:9200,但不能访问 公网IP:9200 
后面ip就是127.0.0.1的局域网ip,如何解决?

修改配置文件 config/elasticsearch.ymlnetwork.host: 0.0.0.0

启动:

./elasticsearch -Des.insecure.allow.root=true

然后访问:ip:9200/_plugin/head就可以访问了。

(三)logstash时区

http://blog.51cto.com/11067470/1729872

logstash @timestamp时间时区的问题

在filter里面加上这段代码即可修改。

  

ruby {

    code => "event.timestamp.time.localtime"

  }

(四)结合java log4j

http://blog.csdn.net/napoay/article/details/59810063

 

java

log4j.logger.com=INFO,error,info,logstash
前两个是输出到文件,logstash是走logstash通道

#输出日志到logstashlog4j.appender.logstash=org.apache.log4j.net.SocketAppenderlog4j.appender.logstash.RemoteHost=139.1xx.x.xxxlog4j.appender.logstash.port=4560log4j.appender.logstash.ReconnectionDelay=60000log4j.appender.logstash.LocationInfo=true
logstash

input { stdin { }    log4j {        host => "139.1xx.x.xxx"        port => 4560    } }output { stdout {      codec => rubydebug    }    elasticsearch{        hosts => ["localhost:9200"]        index => "log4j-%{+YYYY.MM.dd}"        document_type => "log4j_type"    }}filter {        ruby {    code => "event.timestamp.time.localtime"  }}

主意:java中的remotehost与logstash input 中的host 必须文本一致

启动:

./bin/logstash -f conf/log4j-es.conf,远程访问时防火墙放开 4560端口

这种方式同样适用于同一台物理机上的不同tomcat实例集群:

(五)其他模式

四中的模式为logstash server模式,logstash还有client模式

https://www.cnblogs.com/xing901022/p/4830684.html

Server模式

  server模式就是把logstash作为服务器,输出日志消息的java程序所在的主机作为客户机,大致类似如下:

  Logstash的插件配置如下:

input{    log4j {        mode => "server"        host => "localhost"#注意这里,这里是Logstash服务器的地址或者主机名        port => 4560    }}output{    stdout{}}

  java程序log4j日志配置文件如下:

   另外需要注意的是,如果使用server模式,监听的ip地址只能是本机地址,否则无法绑定socket

  例如,我本身的服务器地址是10.4.5.6,那么我要绑定一个远端机器,10.4.5.7,就会报如下错误:

Client模式

  client模式就是把Logstash当做客户端,去请求返回java程序所在的主机输出的日志,大致如下:

  logstash的配置如下:

input{    log4j {        mode => "client"        host => "10.4.5.6"        port => 9999    }}output{    stdout{}}

  java程序这端的log4j配置文件如下:

 
      
      
      
你可能感兴趣的文章