解决一个pandas执行模糊查询sql的坑_Python

解决一个pandas执行模糊查询sql的坑

2021-09-15 00:15onwingsofsong Python

这篇文章主要介绍了解决一个pandas执行模糊查询sql的坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

查询引擎使用了presto，在sql中使用了模糊查询。

				?

									engine = create_engine(presto_url,encoding='utf-8')

									sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """

									df = pd.read_sql_query(sql_exe,engine)

一直报错：

unsupported format character

解决方案

第一：

				?

									sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """

第二：

				?

									sql_exe ="""select id,title,tags from source.base.table where tags like %s """

									 df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))

补充：pd.read_sql()知道这些就够用了

如下：

				?

									pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

各参数意义

sql：SQL命令字符串

con：连接sql数据库的engine，一般可以用SQLalchemy或者pymysql之类的包建立

index_col：选择某一列作为index

coerce_float：非常有用，将数字形式的字符串直接以float型读入

parse_dates：将某一列日期型字符串转换为datetime型数据，与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换，也可以用字典的格式提供列名和转换的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。

columns：要选取的列。一般没啥用，因为在sql命令里面一般就指定要选择的列了

chunksize：如果提供了一个整数值，那么就会返回一个generator，每次输出的行数就是提供的值的大小。

设置参数can–>创建数据库链接的两种方式

用sqlalchemy构建数据库链接

				?

									import pandas as pd

									import sqlalchemy

									from sqlalchemy import create_engine

									# 用sqlalchemy构建数据库链接engine

									connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'

									engine = create_engine(connect_info)

									# sql 命令

									sql_cmd = "SELECT * FROM table"

									df = pd.read_sql(sql=sql_cmd, con=engine)

用DBAPI构建数据库链接

				?

									import pandas as pd

									import pymysql

									# sql 命令

									sql_cmd = "SELECT * FROM table"

									# 用DBAPI构建数据库链接engine

									con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)

									df = pd.read_sql(sql_cmd, con)