批量导入 CSV 数据进 MySQL 的场景你肯定碰过,是日志、表单数据或定期的业务数据同步。用Python3配合PyMySQL搞定其实挺顺的,代码量不大,响应也快,适合跑在脚本任务或轻量后台里。
安装下pymysql库就能开整,命令简单:pip install pymysql
。想手动装源码?点这篇:Python3 下安装 PyMySQL 源码包。装好之后,连库、建表、批量写数据都能搞定。
逻辑也不复杂,CSV 文件一行行读,用cursor.executemany()
批量插入,配合with open()
文件就稳。大文件时记得加点断点续传或批次提交的逻辑,不然挂一次全白干。
如果你之前没怎么接触 MySQL 操作,可以看看这篇:Python3 中操作 MySQL 数据库的方法。还有个更完整的指南也不错:Python 与 pymysql 数据库操作指南。
另外还有一些拓展资源,像是自定义数据库的思路(PrimroseDB)、Python3 用 DataX 的兼容(DataX 补丁)也可以了解下。你要是打算搞一些更复杂的数据任务,这些思路会蛮有。
哦对了,如果你插入的是datetime类型的数据,有一些细节要注意,时间格式得对,不然 MySQL 会报错。推荐你看这篇:插入 datetime 类型数据的方法详解。
,Python+PyMySQL 来搞批量 CSV 导入,轻巧又灵活,适合你用来各种小型数据场景。如果你想快点上手,先从连接测试开始,搞清楚数据库结构,再分批调试写入逻辑,稳得!