python读取mysql数据写入ES总结

准备工作：安装MySQL库。
Python中的MySQL库使用MySQL连接器来安装：

第一步：连接MySQL并读取数据。

通过执行SQL语句读取MySQL数据。

此时从MySQL中取出原始数据raw_data。
接下来，数据将按日期进行预处理、分组和聚合。
然后重命名行和列名称以获取DataFrame格式的数据。

第2步：连接ES。
这一步没有太多解释，只是配置信息。

第三步：ES主键加密。
这一步的目的是保持主键的唯一性，防止重复写入。
使用的方法是MD5加密。

第四步：写入ES至此，所有准备工作已经完成，数据已经有了，并且已经进行了主键加密，可以开始写入了。

使用main方法执行上面的方法：

最后检查是否写入ES成功，使用查询方法

如果返回如下信息，说明数据插入成功。

另外，ES删除索引操作：

python：mysql插入和查询数据

在Python中运行MySQL数据库来插入和查询数据是一个常见的需求。
首先需要确保MySQL服务已安装且与Python环境兼容。
插入数据时，结合使用SQL命令和MySQL连接。
基本语法是：INSERTINTOtable_name(column1,column2,...)VALUES(value1,value2,...);下面，table_name代表表名，Column1、Column2等是表中的字段名，Value1、Value2等是对应的字段值。
在Python中，使用mysql-connector-python库插入数据。
示例代码如下：pythonimportmysql.connectorcnx=mysql.connector.connect(user='用户名',password='密码',host='主机名',database='database_name')cursor=cnx.cursor()query=(“INSERTINTO表名”“(列1，列2，...)”"VALUES(%s,%s,...)")data=(value1,value2,...)cursor.execute(query,data)cnx.commit()cursor.close()cnx.close()query数据也通过MySQL连接。
基本语法如下：SELECT*FROMtable_name;如果使用Python进行查询，可以使用cursor.execute()执行SQL查询，并根据查询结果进行数据处理。
示例代码如下：pythonquery="SELECT*FROMtable_name"cursor.execute(query)result=cursor.fetchall()#获取所有数据cursor.close()cnx.close()如果处理数据时发现有汉字则终端查询显示为问号，可能是由于编码问题。
确保MySQL和连接库支持UTF-8编码，并运行以下命令解决编码问题：bashALTERDATABASEdatabase_nameCHARACTERSET=utf8mb4COLLATE=utf8mb4_unicode_ci，可以使用“fetchall()”和“fetchone()”使用。
`、`fetchmany()`等方法根据需要获取数据。
例如：pythonresult=cursor.fetchall()#获取所有数据result=cursor.fetchone()#获取第一个数据result=cursor.fetchmany(10)#获取10条数据。
查询数据时，可以使用`WHERE`和`LIMIT`进行条件查询和数据分页。
示例：pythonquery="SELECT*FROMtable_nameWHEREcolumn_name='value'LIMIT5"cursor.execute(query)result=cursor.fetchall()至此，对MySQL数据表的数据插入和查询操作就完成了。
确保Python环境与MySQL服务兼容，并使用正确的库进行连接和操作，以保证高效的数据管理。