pymysql怎么把item里面的数据一个一个存入mysql

下载mysql.connector库

然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的

import mysql.connector

conn = mysql.connector.connect(

user='root',

password='root',

host='127.0.0.1',

port='3306',

database='test_demo'

)

cursor = conn.cursor()

cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])

cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print(' %s %s 数据保存成功 '%(user_rank,user_name))

conn.commit()

cursor.close()

前几天看到姜老师的旧文 用 VSCode 编译和调试 MySQL，每个 DBA 都应 get 的小技能[1] , 文末留了一个思考题，如何修改源码，自定义版本，使得 select version() 输出自定义内容

调试过程参考 macOS VSCode 编译调试 MySQL 5.7[2]

内部 Item 对象参考 从SQL语句到MySQL内部对象[3]

源码面前没有秘密，建义对 DB 感兴趣的尝试 debug 调试。本文环境为 mac + vscode + lldb

vscode 插件：

mysql 源码：

补丁： MySQL <= 8.0.21 需要对 cmake/mysql_version.cmake 文件打补丁 (没有严格测试所有版本)

创建 cmake-build-debug 目录，后续 mysql 编译结果，以及启动后生成的文件都在这里

在 mysql 工程目录下面创建 .vscode/settings.json 文件

内容没啥好说的，都是指定目录及 boost 配置，其中 WITH_DEBUG 打开 debug 模式，会在 /tmp/debug.trace 生成 debug 信息

View -> Command Palette -> CMake: Configure 执行后生成 cmake 配置

View -> Command Palette -> CMake: Build 编译生成最终 mysql 相关命令

发现老版本编译很麻烦，各种报错，mysql 5.7 代码量远超过 5.5, 只能硬着头皮看 5.7

首先初始化 my.cnf 配置，简单的就可以，共它均默认

初始化数据文件，非安全模式，调试用

由于用 vscode 接管 mysql, 所以需要配置 .vscode/launch.json

然后点击 run and debug mysqld

mysql 启动，看到输出日志无异常，此时可以用 mysql-client 连接

首先在 sql_parser.cc:5435 处打断点

mysql_parse 是 sql 处理的入口，至于 tcp connection 连接先可以忽略

执行上述 sql 自动跳转到断点处， Step Into , Step Over , Step Out 这些调试熟悉下即可

接下来分别调用主要函数： mysql_execute_command , execute_sqlcom_select , handle_query , select->join->exec() , Query_result_send::send_data , Item::send , Item_string:val_str , Protocol_text::store , net_send_ok

启动 mysql 时 init_common_variables 会初始化一堆变量，其中会调用 set_server_version 生成版本信息，修改这个就可以

看好条件编译的是哪块，修改即可， 重新 CMake: Build 编译再运行

这里不做过深分析，简单讲

sql_yacc.cc 函数 PTI_function_call_generic_ident_sys 解析 sql, 识别出 version() 是一个函数调用

find_native_function_builder 查找 hash 表，找到对应 version 函数注册的单例工厂函数

mysql 启动时调用 item_create_init 将这些函数 builder 注册到 hash 表 native_functions_hash

MySQL 代码太庞大，5.1 大约 100w 行，5.5 130w 行，5.7 以后 330w 行，只能挑重点读源码。最近很多群里的人在背八股，没必要，有那时间学着调试下源码，读读多好

原文出处：https://mp.weixin.qq.com/s/lJqb0kMtnAUmqUIWCShkIQ

主要是你要写出什么是当天的商品，然后你会的。例如

SELECT *, if(date(dateline) = date(NOW), 1, 0) AS is_today

FROM `item` WHERE `staus`in (1,2) AND `cid`='50010850'

ORDER BY is_today desc,`volume` DESC,`price` DESC,`promotion_price` DESC LIMIT 0,60

---