暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

用Python将大批量数据导入到MySQL

潍鲸 2020-06-06
1412

MySQL在大量数据批量写入数据库时,直接使用程序语言和SQL写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。如何使用Python连接MySQL数据库,并进行增删改查操作呢?如何将大批量数据导入数据库的情况,又该如何使用Python进行大数据的高效导入呢?以下通过Python将大批量数据导入到MySQL中。


   环境介绍   

  • Python版本:Python3.6

  • MySQL版本:5.6.44


   Python命令操作   


  • 安装PyMySQL库

# 通过pip命令安装
pip install pymysql
复制


  • SQL基本语法

下面要用SQL的表创建、查询、数据插入等SQL语言的基本语句。


查看数据库:SHOW DATABASES;
创建数据库:CREATE DATEBASE 数据库名称;
使用数据库:USE 数据库名称;
查看数据表:SHOW TABLES;
创建数据表:CREATE TABLE 表名称(列名1 (数据类型1),列名2 (数据类型2));
插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2);
查看数据:SELECT * FROM 表名称;
更新数据:UPDATE 表名称 SET 列名1=新数据1,列名2=新数据2 WHERE 某列=某数据;
复制



  • Python连接数据库

# 首先导入PyMySQL库
import pymysql


# 连接数据库,创建连接对象connection
# 连接对象作用是:连接数据库、发送数据库信息、处理回滚操作(查询中断时,数据库回到最初状态)、创建新的光标对象
connection = pymysql.connect(host = 'localhost' #host属性
user = 'root' #用户名
password = '******' #此处填登录数据库的密码
db = 'mysql' #数据库名
)
复制


  • Python增删改查操作

查看数据库中有哪些scheme:
# 创建光标对象,一个连接可以有很多光标,一个光标跟踪一种数据状态。
# 光标对象作用是:、创建、删除、写入、查询等等
cur = connection.cursor()


# 查看有哪些数据库,通过cur.fetchall()获取查询所有结果
print(cur.fetchall())


# 打印出所有数据库:
(('information_schema',),
('weijing',),
('mysql',),
('performance_schema',),
('test',))
复制

  • 在weijing库中创建表:

# 使用数据库weijing
cur.execute('use weijing')


# 在weijing数据库里创建表student,有name列和age列
cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')
复制


  • 在weiijngtable表中插入一条数据:

sql = 'INSERT INTO weijingtable (name,age) VALUES (%s,%s)'
cur.execute(sql,('XiaoMing',23))
复制


  • 查看weijingtable表数据:

cur.execute('SELECT * FROM weijingtable')
print(cur.fetchone())


# 打印输出为:
(‘XiaoMing’, 23)
复制


  • 执行完成后要记得关闭光标和连接:

#关闭连接对象,否则会导致连接泄漏,消耗数据库资源
connection.close()


#关闭光标
cur.close()
复制


   导入大批量数据文件  


以csv文件为例,csv文件导入数据库一般有两种方法:
  • 通过SQL命令mysql、insert、source方法导入,适合数据量小的CSV文件。

  • 通过load data方法导入,速度快,适合大数据文件,也是本文的重点。

具体操作如下:

  • 用python连接mysql数据库;

  • 基于CSV文件表格字段创建表;

  • 使用load data方法导入CSV文件内容。


MySQL load data语法:

LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES


# 指文件绝对路径
csv_file_path


# 指表名称
table_name


# 指以逗号分隔
FIELDS TERMINATED BY ','


# 指换行
LINES TERMINATED BY '\\r\\n'


# 指跳过第一行,因为第一行是表的字段名
IGNORE 1 LINES
复制


用Python通过load data 命令导入大批量数据到MySQL中如下:

# 导入pymysql方法
import pymysql


# 连接数据库
config = {'host':'',
'port':3306,
'user':'username',
'passwd':'password',
'charset':'utf8mb4',
'local_infile':1
}
conn = pymysql.connect(**config)
cur = conn.cursor()




# load_csv函数,参数分别为csv文件路径,表名称,数据库名称
def load_csv(csv_file_path,table_name,database='weijing'):

# 打开csv文件
file = open(csv_file_path, 'r',encoding='utf-8')

# 读取csv文件第一行字段名,创建表
reader = file.readline()
b = reader.split(',')
colum = ''
for a in b:
colum = colum + a + ' varchar(255),'
colum = colum[:-1]

# 编写sql,create_sql负责创建表,data_sql负责导入数据
create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'
data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)

#使用数据库
cur.execute('use %s' % database)

#设置编码格式
cur.execute('SET NAMES utf8;')
cur.execute('SET character_set_connection=utf8;')

#执行create_sql,创建表
cur.execute(create_sql)

#执行data_sql,导入数据
cur.execute(data_sql)
conn.commit()

#关闭连接
conn.close()
cur.close()
复制
文章转载自潍鲸,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论