0

Работаю с базой данных в ms sql, приходит файл dbf, по всем строкам которого, если id таковых есть в базе, необходимо проставить признак "1". Файл dbf перевел в эксель, чтобы проще было работать. Насколько я понимаю, pandas не заточен под update запросы, видел пару примеров через временные таблицы, но до конца не разобрался, к тому же 300+ тысяч строк как-то многовато для временных таблиц (с другой стороны можно разбить). Можно ли работу организовать через Pandas или есть более предпочтительные варианты? Сам код прописывал так:

import pandas as pd
from sqlalchemy import create_engine
from tqdm import tqdm
server = "server"
dbname = "database"
uname = "user"
pword = "password"
eng = create_engine(
    "mssql+pyodbc://" + uname + ":" + pword + "@" + server + "/" + dbname + "?driver=SQL+Server")
dbf = pd.read_excel('bk.xlsx', dtype={"ID": str})#ID - строка, так как много цифр
for ind in tqdm(range(len(dbf))):
    id_excel = dbf.iloc[ind]["ID"]
    query = (f"""
     Update Pers
SET WorkComment = '1'
WHERE ID='{id_excel}'
   
   """)
dbf.to_sql('table', engine, if_exists='replace')# вот на этом месте и застрял
6
  • А в смысле "застрял" - эта строка даёт ошибку или что? Это всё нужно писать в вопросе, я лично не понял, что не так то. Пожелания ваши в вопросе есть, нет только текущего поведения кода и ошибок (если они есть).
    – CrazyElf
    14 ноя 2022 в 7:38
  • Смысла в этой строке нет, запрос отрабатывает, а эта строка направляет датасет в базу, это незачем делать в принципе. Запрос отрабатывает только в среде разработки, таблицу в базе не меняет, я и не пойму как это сделать, результат загнать во временную таблицу, после в бд? да и что во временной после этого будет хранится? 14 ноя 2022 в 8:07
  • Да, я смотрю на английском SO предлагают через временную таблицу. Хотя мне кажется проще тогда сразу через SQL данные и менять, а в Pandas потом уже изменённый результат считывать. stackoverflow.com/a/40746465/8324991
    – CrazyElf
    14 ноя 2022 в 8:19
  • Да, я именно на этот пост и ориентировался в вопросе, что вы имеете ввиду под "сразу через SQL менять"? 14 ноя 2022 в 8:42
  • 1
    Ну, через sqlalchemy обращаться с UPDATE запросами непосредственно сразу в базу. А, вы собственно же и делаете query, но никуда его не применяете. Почитайте, как через sqlalchemy в базу обращаться. Я детали не помню.
    – CrazyElf
    14 ноя 2022 в 9:43

1 ответ 1

1

В общем, я забыл про такую прекраснейшую функцию как execute. Спасибо пользователю с ником CrazyElf, что напомнил.

import pandas as pd
from sqlalchemy import create_engine
from tqdm import tqdm
server = "server"
dbname = "database"
uname = "user"
pword = "password"
eng = create_engine(
    "mssql+pyodbc://" + uname + ":" + pword + "@" + server + "/" + dbname + "?driver=SQL+Server")
#теперь коннект к бд
conn = eng.connect()
dbf = pd.read_excel('bk.xlsx', dtype={"ID": str})
for ind in tqdm(range(len(dbf))):
    id_excel = dbf.iloc[ind]["ID"]
    query = (f"""
     Update Pers
SET WorkComment = '1'
WHERE ID='{id_excel}'
   
   """)
#ниже отправляю по одному в бд
    conn.execute(query)
conn.close()
eng.dispose()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.