ELK日志分析系统配置方法，超详细！

1.关闭防护墙，关闭核心防护（三台服务器都要配置）
[root@localhost ~]# systemctl stop firewalld[root@localhost ~]# setenforce 0
2.更改主机名（两台服务器修改为node1和node2）
[root@localhost ~]# hostnamectl set-hostname node1            ##更改主机名[root@localhost ~]# su                                        ##刷新
3.添加hosts文件，作映射（两个服务器都要设置）
[root@node1 ~]# vi /etc/hosts20.0.0.30 node120.0.0.31 node2
4.检查java环境[root@node1 ~]# java -versionopenjdk version "1.8.0_131"OpenJDK Runtime Environment (build 1.8.0_131-b12)OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

1.安装elasticsearch---rpm包上传elasticsearch-5.5.0.rpm包到/opt目录下[root@node1]# cd /opt[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm 
2.加载系统服务
[root@node1 opt]# systemctl daemon-reload        ##重载系统参数[root@node1 opt]# systemctl enable elasticsearch.service 
3.更改elasticsearch主配置文件
[root@node1 opt]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak  ##备份配置文件[root@node1 opt]# vim /etc/elasticsearch/elasticsearch.ymlshift+:  输入 set nu  显示行号

[root@node1 opt]# mkdir  -p  /data/elk_data

rpm装 elasticsearch程序时它默认给你创建了一个用户[root@node1 opt]# id elasticsearch            ##查看用户    （这个用户专门管理es）uid=990(elasticsearch) gid=985(elasticsearch) 组=985(elasticsearch)
将这个文件授权给这个用户[root@node1 opt]# chown  elasticsearch:elasticsearch /data/elk_data/

[root@node1 opt]# systemctl start elasticsearch.service 
[root@node1 opt]# netstatantp | grep 9200
tcp6       0      0 :::9200                 :::*       LISTEN      42606/java

[root@node1 opt]# yum install gcc gcc-c++ make -y

1.更改主机名[root@localhost ~]# hostnamectl set-hostname apache [root@localhost ~]# su
2.安装Apache服务(httpd)[root@apache ~]# yum -y install httpd[root@apache ~]# systemctl  start httpd3.安装java环境[root@apache ~]# java  -versionopenjdk version "1.8.0_131"OpenJDK Runtime Environment (build 1.8.0_131-b12)OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
4.安装logstash上传logstash-5.5.1.rpm到/opt目录下[root@apache opt]# cd /opt [root@apache opt]# rpm -ivh logstash-5.5.1.rpm [root@apache opt]# systemctl start logstash.service [root@apache opt]# systemctl enable logstash.service Created symlink from /etc/systemd/system/multi-user.target.wants/logstash.service to /etc/systemd/system/logstash.service.[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin

[root@apache httpd]# logstash -e 'input { stdin{} } output{ stdout{ codec=>rubydebug } }'  ##codec就是将输入的日志文件修改为rubydebug的这种格式  www.baidu.com    ###输入  详细显示如下：{    "@timestamp" => 2020-10-29T04:17:32.647Z,        "@version" => "1",          "host" => "apache",       "message" => "www.baidu.com"}
###使用logstash将信息写入elasticsearch中### 输入  输出  对接logstash  -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'。。。。省略。。。。www.baidu.com   ###输入内容
###使用logstash将信息写入elasticsearch中####[root@apache opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["20.0.0.26:9200"] } }'。。。。省略。。。。输入：www.baidu.com

root@apache opt]# chmod o+r /var/log/messages    ##给与其它用户只读权限[root@apache opt]# ll /var/log/messages-rw----r--. 1 root root 1657402 10月 29 13:57 /var/log/messages

[root@apache opt]# vi /etc/logstash/conf.d/system.conf     ##进去添加input {file{path => "/var/log/messages"type => "system"start_position => "beginning"}}output {elasticsearch {hosts => ["20.0.0.30:9200"]index => "system-%{+YYYY.MM.dd}"}}[root@apache opt]# systemctl restart logstash.service

cd /etc/logstash/conf.d/[root@apache conf.d]# vim apache_log.conf   ##创建一个索引

input {        file{         path => "/etc/httpd/logs/access_log"         type => "access"         start_position => "beginning"        }        file{         path => "/etc/httpd/logs/error_log"         type => "error"         start_position => "beginning"        }}

output {        if [type] == "access" {        elasticsearch {         hosts => ["20.0.0.30:9200"]         index => "apache_access-%{+YYYY.MM.dd}"         }        }        if [type] == "error" {        elasticsearch {         hosts => ["20.0.0.30:9200"]         index => "apache_error-%{+YYYY.MM.dd}"         }        }} [root@apache conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf

真机访问20.0.0.30:9100连接http://20.0.0.30:9200/可以看到索引信息多了两条apache_error-2020.10.29apache_access-2020.10.29

再开一个网页访问20.0.0.30:5601##添加索引：##左边选项最后一个Management ----> Index Patterns ---->Create Index Pattern分别创建 apache_access-* 和 apache_error-* 的索引