python批量插入数据到mysql的三种方法(非pandas)

自动化单条insert # -*- coding:utf-8 -*- import time from pymysql import * # 装饰器,计算插入50000条数据需要的时间 def timer(func): def decor(*args): start_time = t...

量化 / 学习笔记 2020-07-14 AM 55次 0条

python设置create_engine参数:fast_executemany=True,可以提高pd.to_sql效率N倍

connection_string = "xxxxxxxxx" engine = create_engine(connection_string,fast_executemany=True) df.to_sql('table_name', con=engine,index = False , if_exists = 'append', chunksize = No...

量化 / 学习笔记 2020-07-14 AM 117次 0条

pandas中read_sql、read_sql_table和read_sql_query区别

1:read_sql_query() 读取自定义数据(通过SQL语句) import pandas as pd pd.read_sql_query(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None,chunksize=None) read_sql_que...

量化 / 学习笔记 2020-07-14 AM 53次 0条

Pandas读写MySQL数据库(支持百万条读取)

Pandas读写MySQL数据库 我们需要以下三个库来实现Pandas读写MySQL数据库: pandas、sqlalchemy、pymysql 其中, - pandas模块提供了read_sql_query()函数实现了对数据库的查询,to_sql()函数实现了对数据库的写入。并不需要实现新建MySQL数据表。 - sqlalchemy模块实现了与不同数据库的连接, ...

量化 / 学习笔记 2020-07-14 AM 133次 0条

Http请求中Form Data 和 Request Payload的区别

AJAX Post请求中常用的两种传参数的形式:form data 和 request payload 如果一个请求的Content-Type设置为application/x-www-form-urlencoded,那么这个Post请求会被认为是Http Post表单请求,那么请求主体将以一个标准的键值对和&的querystring形式出现。这种方式是HTML表单的默认设置,所以在过去...

量化 / 学习笔记 2020-07-13 PM 81次 0条

Anaconda 下安装 tushare

1、CMD下进入进入python环境,升级pip python -m pip install --upgrade pip 2、进入1Anaconda Prompt pip install tushare 3、检查安装情况 conda list 搞定

量化 / 学习笔记 2018-09-24 AM 49次 0条