Python实现从SQL型数据库读写dataframe型数据的方法【基于pandas】

本文整理自网络，侵删。

本文实例讲述了Python实现从SQL型数据库读写dataframe型数据的方法。分享给大家供大家参考，具体如下：

Python的pandas包对表格化的数据处理能力很强，而SQL数据库的数据就是以表格的形式储存，因此经常将sql数据库里的数据直接读取为dataframe，分析操作以后再将dataframe存到sql数据库中。而pandas中的read_sql和to_sql函数就可以很方便得从sql数据库中读写数据。

read_sql

参见pandas.read_sql的文档，read_sql主要有如下几个参数：

• sql:SQL命令字符串
• con：连接sql数据库的engine，一般可以用SQLalchemy或者pymysql之类的包建立
• index_col: 选择某一列作为index
• coerce_float:非常有用，将数字形式的字符串直接以float型读入
• parse_dates:将某一列日期型字符串转换为datetime型数据，与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换，也可以用字典的格式提供列名和转换的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。
• columns:要选取的列。一般没啥用，因为在sql命令里面一般就指定要选择的列了
• chunksize：如果提供了一个整数值，那么就会返回一个generator，每次输出的行数就是提供的值的大小。
• params：其他的一些执行参数，没用过不太清楚。。。

以链接常见的mysql数据库为例：

import pandas as pdimport pymysqlimport sqlalchemyfrom sqlalchemy import create_engine# 1. 用sqlalchemy构建数据库链接engineconnect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'.format(DB_USER, DB_PASS, DB_HOST, DB_PORT, DATABASE) #1engine = create_engine(connect_info)# sql 命令sql_cmd = "ｓｅｌｅｃｔ * FROM table"df = pd.read_sql(sql=sql_cmd, con=engine)# 2. 用DBAPI构建数据库链接enginecon = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)df = pd.read_sql(sql_cmd, con)

解释一下 #1: 这个是sqlalchemy中链接数据库的URL格式：dialect[+driver]://user:password@host/dbname[?key=value..]。dialect代表书库局类型，比如mysql, oracle, postgresql。driver代表DBAPI的名字，比如psycopg2,pymysql等。具体说明可以参考这里。此外由于数据里面有中文的时候就需要将charset设为utf8。

to_sql

阅读剩余部分

相关阅读 >>

Sqlite 实现if not exist 类似功能的操作

android通过jxl读excel存入Sqlite3数据库

如何通过android stduio来编写一个完整的天气预报app

Sqlite 入门教程四  增删改查 有讲究

android实现搜索功能并将搜索结果保存到Sqlite中(实例代码)

python Sqlite3数据库日期与时间常见函数用法分析

c# Sqlite数据库入门使用说明

android bdflow数据库神器的使用

android通用流行框架大全【整理】

Sqlite3 api 编程手册

更多相关阅读请进入《Sqlite》频道 >>

书籍

数据库系统概念 第6版

￥41.1元   机械工业出版社

本书主要讲述了数据模型、基于对象的数据库和XML、数据存储和查询、事务管理、体系结构等方面的内容。