如何使用 kibana 分析 mysql 数据

Kibana4简单使用

<center>

# ELK日志系统使用说明 #

</center>

**k3与k4的对比**

1.界面美观：Kibana4 至今未提供类似 Kibana3 中的 Query 设置功能，包括 Query 别名和颜色选择器这两个常用功能2.日志显示：kibana4有高亮显示

3.页面设计：Kibana3 就是一个围绕着 dashboard 构建的单页应用。在页面逻辑上，Kibana3比较简洁，Kibana4稍复杂。

<center>

##一、系统介绍

</center>

ELK（logstash+elasticsearch+kibana）是一套开源的实时日志分析系统。目前这套系统已经在小范围内使用了。针对各位开发人员，无需关心系统底层的实现，只需关注kibana的使用即可。kibana4中，将功能拆分成了搜索（Discover），可视化（Visualize）和仪表盘(Dashboard)三个标签，我们使用最多的地方即是搜索，目前就给大家主要介绍搜索页面的使用。

<center>

##二、kibana4的使用

</center>

登录入口：运维平台-->应用中心：ELK

地址：https//op.zhubajie.la/

<center>

## 快速查询项目日志

</center>

**选择面板-->选择项目**

首先选择面板，搜索框输入：tags:"项目名" 或host:"项目名" 即可查看对应项目的日志<center>

## discover 功能 ##

</center>

Discover 标签页用于交互式探索你的数据。你可以访问到匹配得上你选择的索引模式的每个索引的每条记录。你可以提交搜索请求，过滤搜索结果，然后查看文档数据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。

**查看日志数据**

点击日志内容中的小三角，查看日志详细内容。

要在单独的页面上查看文档内容，点击链接。你可以添加书签或者分享这个链接，以直接访问这条特定文档。

**1) 搜索数据**

在 Discover 页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。

当你提交搜索的时候，直方图，文档表格，字段列表，都会自动反映成搜索的结果。hits(匹配的文档)总数会在直方图的右上角显示。

*在搜索框内输入请求字符串*：

- **通配符**：用 ? 表示单字母，* 表示任意个字母。比如 fir?t mess*。

- **简单的文本搜索**：直接输入文本字符串。比如，如果你在搜索网站服务器日志，你可以输入error 来搜索各字段中的 error单词。

- **搜索特定字段的值**：则在值前加上字段名。比如 status:200- **范围搜索**：对数值和时间，[START_VALUE TO END_VALUE]。比如，要查找 4xx 的状态码，status:[400 TO 499]。

- **多个检索条件的组合**：可以使用 NOT, AND 和 OR 来组合检索，**注意必须是大写**。比如，要查找 4xx 的状态码，还是 php 或 html 结尾的数据， status:[400 TO 499] AND (extension:php OR extension:html)。其中，[] 表示端点数值包含在范围内，{} 表示端点数值不包含在范围内。

- 近似搜索：用 ~ 表示搜索单词可能有一两个字母写的不对。比如 frist~；**2) 设置时间过滤器**

默认的时间过滤器设置为最近 15 分钟。你可以用页面顶部的时间选择器(Time Picker)来修改时间过滤器。

**3) 日志索引设置**

- Nginx日志索引：[logstash-nginx-*]

- 服务化Nginx日志索引：[api-nginx-]YYYY.MM.DD- Java日志索引：[logstash-jetty-]YYYY.MM.DD- php日志索引：[logstash-php-*]

- mysql日志索引：[logstash-]YYYY.MM.DD

- 其他日志:[logstash-]YYYY.MM.DD （注：该索引为系统默认索引，需搜索其他日志，请按步骤改变索引即可)**4) 保存搜索**

你可以在 Discover 页加载已保存的搜索面板，也可以用作 visualizations 的基础。保存一个搜索，意味着同时保存下了搜索请求字符串和当前选择的索引模式。

<table>

<td>

保存当前搜索：

1.点击 Discover 工具栏的 Save Search 按钮2.输入一个名称，点击 Save。

加载一个已存搜索：

1.点击 Discover 工具栏的 Load Search 按钮 。

2.选择你要加载的搜索。

如果已保存的搜索关联到跟你当前选择的索引模式不一样的其他索引上，加载这个搜索也会切换当前的已选索引模式。

</td>

</table>

**5) 改变你搜索的索引**

当你提交一个搜索请求，匹配当前的已选索引模式的索引都会被搜索。当前模式模式会显示在搜索栏下方。要改变搜索的索引，需要选择另外的模式模式。

要选择另外的索引模式：

(1).点击 Discover 工具栏的 Settings 按钮 。

(2).从索引模式列表中选取你打算采用的模式。

**6) 自动刷新页面**

亦可以配置一个刷新间隔来自动刷新 Discover 页面的最新索引数据。这回定期重新提交一次搜索请求。

设置刷新间隔后，会显示在菜单栏时间过滤器的左边。

要设置刷新间隔：

1.点击菜单栏右上角的 Time Filter 。

2.点击 Refresh Interval 标签。

3.从列表中选择一个刷新间隔。

要想自动刷新数据，点击 Auto-refresh 按钮然后选择一个自动刷新间隔：

以前导入数据到ES的步骤导致如下:

1. Create index and mapping

2. Bluk批量导入数据

参考文献:  Analyzing Aftershock Data with Elasticsearch and Kibana via CSV Import | Elastic Blog

https://assets.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt12d310703c56d1bd/5c57d73deab90dd80b53ee90/quakes_data.csv

文件第一行一般是列名：time,loc,latitude,longitude,depth,mag,id,place

kibana会根据列名生成mappling和Ingestline，可以在Override中修改字段名和字段类型：

如果elasticsearch集群没有设置ingest pipline节点，就将ingest pipeline删除，不然在uploading data那一步会报错。

---