MySQL在大量数据批量写入数据库时,直接使用程序语言和SQL写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。如何使用Python连接MySQL数据库,并进行增删改查操作呢?如何将大批量数据导入数据库的情况,又该如何使用Python进行大数据的高效导入呢?以下通过Python将大批量数据导入到MySQL中。
环境介绍
Python版本:Python3.6
MySQL版本:5.6.44
Python命令操作
安装PyMySQL库
# 通过pip命令安装
pip install pymysql
复制
SQL基本语法
下面要用SQL的表创建、查询、数据插入等SQL语言的基本语句。
查看数据库:SHOW DATABASES;
创建数据库:CREATE DATEBASE 数据库名称;
使用数据库:USE 数据库名称;
查看数据表:SHOW TABLES;
创建数据表:CREATE TABLE 表名称(列名1 (数据类型1),列名2 (数据类型2));
插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2);
查看数据:SELECT * FROM 表名称;
更新数据:UPDATE 表名称 SET 列名1=新数据1,列名2=新数据2 WHERE 某列=某数据;
复制
Python连接数据库
# 首先导入PyMySQL库
import pymysql
# 连接数据库,创建连接对象connection
# 连接对象作用是:连接数据库、发送数据库信息、处理回滚操作(查询中断时,数据库回到最初状态)、创建新的光标对象
connection = pymysql.connect(host = 'localhost' #host属性
user = 'root' #用户名
password = '******' #此处填登录数据库的密码
db = 'mysql' #数据库名
)
复制
Python增删改查操作
# 创建光标对象,一个连接可以有很多光标,一个光标跟踪一种数据状态。
# 光标对象作用是:、创建、删除、写入、查询等等
cur = connection.cursor()
# 查看有哪些数据库,通过cur.fetchall()获取查询所有结果
print(cur.fetchall())
# 打印出所有数据库:
(('information_schema',),
('weijing',),
('mysql',),
('performance_schema',),
('test',))
复制
在weijing库中创建表:
# 使用数据库weijing
cur.execute('use weijing')
# 在weijing数据库里创建表student,有name列和age列
cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')
复制
在weiijngtable表中插入一条数据:
sql = 'INSERT INTO weijingtable (name,age) VALUES (%s,%s)'
cur.execute(sql,('XiaoMing',23))
复制
查看weijingtable表数据:
cur.execute('SELECT * FROM weijingtable')
print(cur.fetchone())
# 打印输出为:
(‘XiaoMing’, 23)
复制
执行完成后要记得关闭光标和连接:
#关闭连接对象,否则会导致连接泄漏,消耗数据库资源
connection.close()
#关闭光标
cur.close()
复制
导入大批量数据文件
通过SQL命令mysql、insert、source方法导入,适合数据量小的CSV文件。
通过load data方法导入,速度快,适合大数据文件,也是本文的重点。
具体操作如下:
用python连接mysql数据库;
基于CSV文件表格字段创建表;
使用load data方法导入CSV文件内容。
MySQL load data语法:
LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES
# 指文件绝对路径
csv_file_path
# 指表名称
table_name
# 指以逗号分隔
FIELDS TERMINATED BY ','
# 指换行
LINES TERMINATED BY '\\r\\n'
# 指跳过第一行,因为第一行是表的字段名
IGNORE 1 LINES
复制
用Python通过load data 命令导入大批量数据到MySQL中如下:
# 导入pymysql方法
import pymysql
# 连接数据库
config = {'host':'',
'port':3306,
'user':'username',
'passwd':'password',
'charset':'utf8mb4',
'local_infile':1
}
conn = pymysql.connect(**config)
cur = conn.cursor()
# load_csv函数,参数分别为csv文件路径,表名称,数据库名称
def load_csv(csv_file_path,table_name,database='weijing'):
# 打开csv文件
file = open(csv_file_path, 'r',encoding='utf-8')
# 读取csv文件第一行字段名,创建表
reader = file.readline()
b = reader.split(',')
colum = ''
for a in b:
colum = colum + a + ' varchar(255),'
colum = colum[:-1]
# 编写sql,create_sql负责创建表,data_sql负责导入数据
create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'
data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)
#使用数据库
cur.execute('use %s' % database)
#设置编码格式
cur.execute('SET NAMES utf8;')
cur.execute('SET character_set_connection=utf8;')
#执行create_sql,创建表
cur.execute(create_sql)
#执行data_sql,导入数据
cur.execute(data_sql)
conn.commit()
#关闭连接
conn.close()
cur.close()
复制
文章转载自潍鲸,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。
评论
相关阅读
【MySQL 30周年庆】MySQL 8.0 OCP考试限时免费!教你免费领考券
墨天轮小教习
2094次阅读
2025-04-25 18:53:11
MySQL 30 周年庆!MySQL 8.4 认证免费考!这次是认真的。。。
严少安
730次阅读
2025-04-25 15:30:58
【活动】分享你的压箱底干货文档,三篇解锁进阶奖励!
墨天轮编辑部
419次阅读
2025-04-17 17:02:24
MySQL 9.3 正式 GA,我却大失所望,新特性亮点与隐忧并存?
JiekeXu
385次阅读
2025-04-15 23:49:58
3月“墨力原创作者计划”获奖名单公布
墨天轮编辑部
358次阅读
2025-04-15 14:48:05
openHalo问世,全球首款基于PostgreSQL兼容MySQL协议的国产开源数据库
严少安
337次阅读
2025-04-07 12:14:29
记录MySQL数据库的一些奇怪的迁移需求!
陈举超
230次阅读
2025-04-15 15:27:53
MySQL 8.4 新特性深度解析:功能增强、废弃项与移除项全指南
JiekeXu
180次阅读
2025-04-18 20:21:32
GreatSQL 新版发布:MySQL 牵手“鸭子”
严少安
138次阅读
2025-04-19 14:57:56
MySQL8.0窗口函数实验
一名数据库小白的成长笔记
107次阅读
2025-04-08 17:16:54