0

У меня есть большая база данных и несколко парсеров, парсеры делают CSV файлы каждый день и их нужно добовлять в базу данных, проблема в том, что большая часть данных будет та же самая, что выдаст ошибку.

Мне нужно сравнить CSV файил с данными в бд и если в CSV файле будет что то новое, для базы данных, добавить эти данные в новый CSV файл, который затем будет добовляться в бд(соотвественно без ошибок. потому что данные не повторяются)

Как можно сравнить их и выделить новые только в CSV файле?

Пока остановился на pandas и чтению таблицы:

df1 = pd.read_sql_table('auto', engine)
df2 = pd.read_csv(r'csv\ss.csv')

PS. Знаю про метод с временной таблицей в бд, но он мне не подходит

Пример части из БД:

ID   make     model  year
600  Toyota   Prius  2016
610  Toyota   Prius  2014
728  BMW      M5     2016
789  Ford     F-150  2016
823  Toyota   Auris  2016

Пример CSV файла:

ID   make     model  year
712  Toyota   Prius  2012
728  BMW      M5     2016
789  Ford     F-150  2016

То есть я хочу сделать, что бы csv файл с отличаеми попала только строка "712 Toyota Prius 2012"

3
  • Почему бы вам не проверять есть ли занчение в бд, и потом добавлять если его нет? 30 авг 2022 в 13:20
  • @ProgerOffline Я был бы рад, если вы поделитесь как это делать, так как у меня ещё очень мало опыта и не знаю, что для этого нужно использовать. 30 авг 2022 в 13:30
  • Отредактируйте вопрос выше добавив пример данных из бд и сsv файла 30 авг 2022 в 13:33

1 ответ 1

0

Как можно сравнить их и выделить новые только в CSV файле?

если у вас датафреймы то выделить можно как-то так:

df2[~df2['ID'].isin(df1['ID'])]

>>> out
'''
    ID    make  model  year
0  712  Toyota  Prius  2012
4
  • Наверное только на ID маловато опираться? Может там информация изменена? 30 авг 2022 в 15:53
  • @СергейКох может и так, но в примере у автора все ID уникальные
    – SergFSM
    30 авг 2022 в 16:48
  • @SergFSM, Спасибо за Ваш ответ, вроде как все правильно работает, остается разобраиться, как разницу выводить в новый csv файл Так же вопрос, если сравнивать надо не только ID нужно все таки будет, остальные элементы можно же добавить через запятую? 31 авг 2022 в 7:07
  • @СергейКох нет, через запятую нельзя, но можно попробовать такой способ df2[~df2.apply(tuple,axis=1).isin(list(map(tuple,df1.values)))], хотя эффективность этого способа я не берусь судить. попробуйте оформить это новым вопросом, возможно вам предложат способ поинтересней.
    – SergFSM
    31 авг 2022 в 12:10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.