0

введите сюда описание изображения

Добрый день, есть задача. Сравнить таблицу "основная" с Таблицой "новая" по коду товара. И создать новый кортеж. При совпадении обновлять, если записи нету то добавить, и если в оновном есть, а в новом нету - то запись помечаем в поле активный False. Да кстати если есть совпадения то помечаем True, а продавца меняем на "my shop". Как можна реализовать данную задачу притом, что количество записей может быть 10 или 20К. Заранее спасибо.

 import pandas as pd

list_main = (('Яблуко', 1111, 10, 100, 'myShop', 'false'),
             ('Груша', 2222, 12, 150, 'myShop', 'true'),
             ('Слива', 3333, 14, 200, 'myShop', 'true'),
             ('Абрикос', 4444, 16, 250, 'myShop', 'true'))

list_new = (('Яблуко', 1111, 11, 50, 'Вася', 'false'),
            ('Груша', 2222, 5, 100, 'Петя', 'false'),
            ('Виноград', 5555, 17, 300, 'Вася', 'false'),
            ('Персик', 6666, 18, 350, 'Петя', 'false'))

df = pd.DataFrame(list_main, columns=['Product', 'UPC', 'Price', 'Count', 'seller', 'publisher'])
df3 = pd.DataFrame(list_main, columns=['Product', 'UPC', 'Price', 'Count', 'seller', 'publisher'])
df2 = pd.DataFrame(list_new, columns=['Product', 'UPC', 'Price', 'Count', 'seller', 'publisher'])

df3['publisher'] = 'False'
df.update(df2)
df[['seller', 'publisher']] = 'myShop', 'true'
m = (df.merge(df3, how='outer', on=['UPC'], suffixes=['', '_new'], indicator=True))
m[['Product', 'Price', 'Count', 'seller', 'publisher']] = (m[['Product', 'Price', 'Count', 'seller', 'publisher']].apply(lambda c: c.combine_first(m[f'{c.name}_new'])))
result = m[['Product', 'UPC', 'Price', 'Count', 'seller', 'publisher']].sort_values('UPC')
print(result)

Данный код работает , поиогите оптимизировать. Заранее спасибо

12
  • Задание выглядит как операци UPSERT в базе данных, так что не должно быть проблем с большим количеством данных, главное выбрать правильные структуры данных и алгоритм. Попробуйте начать с любого кода плюс тест с маленьким набором данных, когда получите корректный код, его можно будет потестировать на производительность.
    – Mike Lazko
    15 окт 2020 в 10:27
  • Операции происходт не с базой данных с файлами Excel 15 окт 2020 в 10:29
  • Ну можно тупо в лоб - создать словарь с ключом "Код товара", идти по нему и делать как в алгоритме написано.
    – CrazyElf
    15 окт 2020 в 10:31
  • list_main = (('Яблуко', 1111, 10, 100, 'Вася', 'false'), ('Груша', 2222, 12, 150, 'Петя', 'true'), ('Слива', 3333, 14, 200, 'Коля', 'true'), ('Абрикос', 4444, 16, 250, 'Толя', 'true')) list_new = (('Яблуко', 1111, 11, 50, 'Вася'), ('Груша', 2222, 5, 100, 'Петя'), ('Виноград', 5555, 17, 300, 'Вася'), ('Персик', 6666, 18, 350, 'Петя')) 15 окт 2020 в 10:37
  • 1
    @SergeyBulavka Обновляйте прямо в словаре всё. Потом если уж надо будет зачем-то, сделаете обратно список из словаря.
    – CrazyElf
    15 окт 2020 в 10:46

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.