前言

一个完整软件系统，日志服务是必不可少的一环，定位问题，分析日志都需要它的帮助，现在市面上用的比较多的日志服务方案是ELK，我看看如何来搭建集成。

ELK代表：Elasticsearch、Logstash、Kibana
Elasticsearch - 实时全文搜索和分析引擎，提供搜集、分析、存储数据功能
Logstash - 用来搜集、分析、过滤日志的工具
Kibana - Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据

我们用个简单的架构来演示：ELK + SpringBoot

ELK日志服务搭建

这里我们采用的是docker的方式来进行的搭建，直接在github上找了一个开源项目docker-elk，快速简单的完成搭建。

构建镜像运行容器

下面的命令直接就可以构建并运行elk：

1
2
3
git clone https://github.com/deviantony/docker-elk.git
cd docker-elk
docker-compose up -d

注：因为仓库里的yml配置的是build命令。所以每次up -d都会重新构建镜像，因此，构建完成后，后续启动建议时间start命令。

或者也可以将yml的build命令修改为指定的image+版本，可以更好的管理容器版本，如项目中的docker-stack.yml文件示例。

启动完成后，浏览器打开：http://localhost:5601/ 即可访问kibana页面，默认账号/密码：elastic/changeme。

如果需要清理容器的持久数据，可以执行下面的命令：

1
docker-compose down -v
调整核心配置

这些设置是构建镜像的时候的一些默认设置，正常情况下，不需要更改，docker-compose端口映射和相关配置 足以满足我们的需求。

ES配置

在docker-compose.yml文件中，可指定内存大小、密码、以及模式等，如：

1
2
3
4
5
6
environment:
      ES_JAVA_OPTS: "-Xmx256m -Xms256m"
      ELASTIC_PASSWORD: changeme
      # Use single node discovery in order to disable production mode and avoid bootstrap checks
      # see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html
      discovery.type: single-node
Logsstash配置

文件路径：./logstash/config/logstash.yml
配置内容：

1
2
3
4
5
6
7
8
9
## Default Logstash configuration from Logstash base image.
## https://github.com/elastic/logstash/blob/master/docker/data/logstash/config/logstash-full.yml
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch:9200" ]

## X-Pack security credentials
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

注：这里需指定es的认证密码、地址和端口

另外，Logsstash还有一个数据输入端口input设置：
文件路径：./logstash/pipeline/logstash.conf
配置内容：

1
2
3
4
5
6
7
8
9
10
11
12
input {
	tcp {
		port => 5000
	}
}
output {
	elasticsearch {
		hosts => "elasticsearch:9200"
		user => "elastic"
		password => "changeme"
	}
}
Kibana配置

文件路径：./kibana/config/kibana.yml
配置内容：

1
2
3
4
5
6
7
8
9
10
## Default Kibana configuration from Kibana base image.
## https://github.com/elastic/kibana/blob/master/src/dev/build/tasks/os_packages/docker_generator/templates/kibana_yml.template.js
server.name: kibana
server.host: 0.0.0.0
elasticsearch.hosts: [ "http://elasticsearch:9200" ]
monitoring.ui.container.elasticsearch.enabled: true

## X-Pack security credentials
elasticsearch.username: elastic
elasticsearch.password: changeme

注：同样的，这里也需指定es的认证密码、地址和端口

SpringBoot项目配置

pom文件配置

引入logstash-logback-encoder，它负责链接logstash服务，推送程序日志：

1
2
3
4
5
6
7
<logstash.version>6.4</logstash.version>

<dependency>
      <groupId>net.logstash.logback</groupId>
      <artifactId>logstash-logback-encoder</artifactId>
      <version>${logstash.version}</version>
  </dependency>
logback-boot.xml配置

修改项目的logback-boot.xml，配置logstash的日志追加器，因为此案例是在本地搭建的，所以logstash的地址使用的是127.0.0.1，端口是5000。

如果不清楚端口，可以通过查看docker-compose文件查看到 配置暴露在宿主机上的端口

logback-boot.xml配置示例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】 -->
    <!-- appender是configuration的子节点，是负责写日志的组件。 -->
    <!-- ConsoleAppender：把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d %p (%file:%line\)- %m%n</pattern>
            <!-- 控制台也要使用UTF-8，不要使用GBK，否则会中文乱码 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <!-- RollingFileAppender：滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 -->
    <!-- 以下的大概意思是：1.先按日期存日志，日期变了，将前一天的日志文件名重命名为XXX%日期%索引，新的日志仍然是demo.log -->
    <!--             2.如果日期没有发生变化，但是当前日志的文件大小超过1KB时，对当前日志进行分割 重命名-->
    <appender name="APILOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <File>log/api.log</File>
        <!-- rollingPolicy:当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。 -->
        <!-- TimeBasedRollingPolicy： 最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 活动文件的名字会根据fileNamePattern的值，每隔一段时间改变一次 -->
            <!-- 文件名：log/api.2017-12-05.0.log -->
            <fileNamePattern>log/api.%d.%i.log</fileNamePattern>
            <!-- 每产生一个日志文件，该日志文件的保存期限为15天 -->
            <maxHistory>15</maxHistory>
            <timeBasedFileNamingAndTriggeringPolicy  class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <!-- maxFileSize:这是活动文件的大小，默认值是1MB，测试时可改成1KB看效果 -->
                <maxFileSize>1MB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <encoder>
            <!-- pattern节点，用来设置日志的输入格式 -->
            <pattern>
                %d %p (%file:%line\)- %m%n
            </pattern>
            <!-- 记录日志的编码:此处设置字符集 - -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!-- logstash地址，端口是logstash.conf input配置的端口 -->
        <destination>127.0.0.1:5000</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>
    <!-- 控制台输出日志级别, 级别依次为【从高到低】：FATAL > ERROR > WARN > INFO > DEBUG > TRACE -->
    <root level="info">
        <appender-ref ref="STDOUT" />
        <appender-ref ref="APILOG" />
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

然后，我们启动项目，日志就能实时追加到搭建的服务中去了。

Kibana仪表盘设置

1，索引设置：
路径：设置 >> Kibana >> Index Patterns >> Create index pattern

Step1:
索引信息，支持根据通配符设置，如：logstash-*

Step2:
选择按照时戳作为筛选字段：@timestamp

注：仪表盘的这些索引设置，需要我们先写入日志数据

2，然后，进入Discover仪表盘，然后INDEX PATTERN选择logstash-*，就能查看日志了，如：
仪表盘