使用Kibana Machine learning Data Visualizer 导入csv文件数据

以前导入数据到ES的步骤导致如下:

1. Create index and mapping

2. Bluk批量导入数据

参考文献:  Analyzing Aftershock Data with Elasticsearch and Kibana via CSV Import | Elastic Blog

https://assets.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt12d310703c56d1bd/5c57d73deab90dd80b53ee90/quakes_data.csv

文件第一行一般是列名：time,loc,latitude,longitude,depth,mag,id,place

kibana会根据列名生成mappling和Ingestline，可以在Override中修改字段名和字段类型：

如果elasticsearch集群没有设置ingest pipline节点，就将ingest pipeline删除，不然在uploading data那一步会报错。

Kibana 是一款开源的数据分析和可视化平台，它是 Elastic Stack 成员之一，设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互 *** 作。也可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。

学习网址:

https://www.elastic.co/guide/cn/kibana/current/setup.html

一、工具栏导航

graph

在Elasticsearch数据中显示并分析相关关系。

discover

通过查询和过滤原始文档以交互方式浏览数据。

visualize

在Elasticsearch索引中创建可视化并聚合数据存储。

dashboard

显示并共享可视化和保存的搜索的集合。

canvas

以像素完美的方式展示您的数据。

maps

探索来自Elasticsearch和Elastic Maps Service的地理空间数据。

machine learning

自动对时间序列数据的正常行为建模以检测异常。

infrastructure

探索基础结构指标和常见服务器，容器和服务的日志。

logs

实时流式记录日志或在类似控制台的体验中滚动浏览历史视图。

APM

从应用程序内部自动收集深入的性能指标和错误。

uptime

执行端点运行状况检查和正常运行时间监视。

SIEM

探索安全指标并记录事件和警报

Console

跳过cURL并使用此JSON接口直接处理您的数据。

Index Patterns

管理有助于从Elasticsearch检索数据的索引模式。

Monitoring

跟踪d性堆栈的实时运行状况和性能。

Rollups

将历史数据汇总并存储在较小的索引中，以供将来分析。

Saved Objects

导入，导出和管理您保存的搜索，可视化和仪表板。

Security Settings

保护您的数据并轻松管理哪些用户可以访问用户和角色。

Spaces

将仪表板和其他保存的对象组织到有意义的类别中。

Watcher

通过创建，管理和监视警报来检测数据中的更改。

Dev Tools

开发工具

metrics

从服务器上运行的 *** 作系统和服务收集指标。

management

管理索引，索引模式，保存的对象，Kibana设置等。

二、查询语法

1.通配符搜索可以在单个条件下运行，?用于替换单个字符，以及*替换零个或多个字符

2.常用表达通过将正则表达式模式包含在正斜杠（"/"）中，可以将它们嵌入查询字符串中

3.模糊性我们可以使用“模糊”运算符搜索与我们的搜索词相似但不完全相同的词

4.范围可以为日期，数字或字符串字段指定范围。包含范围用方括号指定，[min TO max]排除范围用花括号指定{min TO max}

三、Discover 的数据探索功能

搜索页面详情如下图：

四、Visualize的 *** 作及其配置

点击创建新的可视化，选择图表类型和数据索引来进行可视化绘图 *** 作。

可以通过单击 + Add Metrics 按钮来添加聚合。

在 Custom Label 输入域中输入字符串以更改显示标签。

为视图X轴选择一个桶聚合：

一旦指定了 X 轴聚合，可以定义子聚合来优化可视化。单击 + Add Sub Aggregation 定义子聚合，然后选择 Split Area 或 Split Chart ，然后从类型列表中选择一个子聚合。

在图表轴上定义多个聚合时，可以使用聚合类型右侧的向上或向下箭头来更改聚合的优先级。

五、Dashboard的使用

要用仪表板，你需要至少有一个已保存的 visualization。

Kibana 仪表板（Dashboard） 展示保存的可视化结果集合。在编辑模式下，可以根据需要安排和调整可视化结果集，并保存仪表板，以便重新加载和共享。

我们在正式使用Kibana之前，需要先匹配我们Elasticsearch中的索引库，因为我们的Elasticsearch有可能会有很多索引库，Kibana为了性能因素，是不会事先把所有的索引库都导进来的，我们需要用那个索引就导哪个索引。

按照如下步骤 *** 作： Management >>Index Patterns >>Create Index Patterns 然后我们可以看到如下界面：

点击 Discover 菜单，打开Kibana的数据发现功能：

点击 Visualize 菜单，进入可视化图表创建界面，Kibana自带有上10种图表，下面我们来看看这些图表的使用。

饼状图使用示例

点击create visualize按钮，然后点击Pie图表，在From a New Search, Select Index中选择需要进行图表分析的索引，比如我们使用使用用户账号的索引ban*，点击了之后出现如下界面：

点击上方的绿色箭头，出来以下界面：

条形图使用示例

点击create visualize按钮，然后点击Vertical Bar图表，在From a New Search, Select Index中选择需要进行图表分析的索引，比如我们使用使用莎士比亚作品集测试数据shak*，点击了之后出现如下界面：

地图使用示例

点击create visualize按钮，然后点击Coordinate Map，在From a New Search, Select Index中选择需要进行图表分析的索引，比如我们使用日志测试数据Logstash-2015*，点击了之后出现如下界面：

点击 Dashboard 菜单，进入仪表盘创建界面。

一个Kibana仪表盘是许多图表的集合，它允许你整理和分享，点击Create a dashboard按钮，再点击Add按钮，显示出已保存图表的列表：

---