python读取mysql数据写入ES总结

准备工作： mysql库的安装。

python中mysql库用的是mysql-connector，安装执行如下命令：

第一步： 连接mysql，读取数据。

通过执行sql语句，读取mysql数据。

至此，获得mysql的原始数据raw_data 。接下来对数据进行预处理，按日期进行分组聚合，然后重命名行和列名，得到dataFrame格式的数据。

第二步： 连接ES。

这步没有太多的可解释的地方，就是配置信息。

第三步： ES主键加密。

这步的目的是为了保持主键唯一性，防止重复写入。用的方法是md5加密。

第四步： 写入ES

至此，一切的准备工作都做好了，数据也有了，主键加密也做了，就开始写入了。

用main方法执行以上方法：

最后查看一下ES写的是否成功，用查询方法

如果返回以下信息，说明ES里成功插入了数据。

另外，ES删除索引的 *** 作：

呵。你应该是在Ms sql中的查询分析器中写的语句，这和mysql是有点区别的。mysql的取前10不是 top 10，而是LIMIT

mysql中应该这样：

$result = mysql_query("SELECT * FROM bbs ORDER BY id DESC LIMIT 0, 10")希望有帮助。honfei可到365testing,测评网,逛逛

---