0

Есть код парсера:

import io
from zipfile import ZipFile
import pandas as pd
def read_zip(zip_fn, extract_fn=None):
    zf = ZipFile(zip_fn)
    if extract_fn:
        return zf.read(extract_fn)
    else:
        return {name:zf.read(name) for name in zf.namelist()}
df = pd.read_excel(io.BytesIO(read_zip(r'C:\download\test.xlsx.zip', 'test.xlsx')))
tuples = [tuple(x) for x in df.values]

Преобразовал в кортеж для того, чтобы записать в БД.

Но Timestamp записывает не правильно в БД, из-за этого мне придется преобразовать в string.

9
  • 1
    а зачем вообще преобразовывать в кортежи? почему сразу не писать из pandas в базу данных?
    – strawdog
    24 сен 2020 в 6:54
  • @strawdog когда записываю, формат портится полностью, он мешает день, месяц, год. вот код записи (TO_DATE(:1, 'dd-mm-yyyy hh24:mi')
    – user357670
    24 сен 2020 в 7:01
  • 1
    @user357670, df.to_sql(table_name, sqlalchemy_engine) - пробовали? 24 сен 2020 в 7:05
  • @MaxU все таки решил преобрзовать в string, заметил что datetime тоже не особо подходит.
    – user357670
    24 сен 2020 в 7:29
  • @user357670, какой у вас тип данных в SQL таблице? Почему не подходит datetime64? По-моему, наиболее правильный вариант - это когда у вас в DataFrame datetime64 (чтобы проверить посмотрите df.dtypes) и в таблице DATE или TIMESTAMP - тогда Pandas и SQL Alchemy сами сделают правильные преобразования. Хранение даты/времени в строке - не вариант (вернее так можно делать только для SQLite БД, у которой нет встроенного типа DATE) 24 сен 2020 в 8:08

1 ответ 1

1

Попробуйте так:

import cx_Oracle
from cx_Oracle import makedsn
from sqlalchemy import create_engine


usr = "test"
pwd = "my_oracle_password"
dsn = makedsn("ora_scan_or_hostname", 1521, service_name="my_service_name")

df = pd.read_excel(io.BytesIO(read_zip(r'C:\download\test.xlsx.zip', 'test.xlsx')), 
                   parse_dates=['your_date_column_name'])

engine = create_engine(f'oracle+cx_oracle://{usr}:{pwd}@{dsn}')

df.to_sql('table_name', engine, if_exists='append')

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.