4

Изучая Pandas, решаю конкретную задачку. Решить то решил, однако вложенность циклов равна 5. И понял, что неплохо было бы иметь набор правил-критериев, которые направляли бы "тут лучше group_by", "тут сменить бы структуру", …
Есть ли где такие "золотые россыпи"? Как двигаться в правильную сторону и развивать чуйку? Книги которые я видел - не помогают в этом смысле и на мой взгляд весьма поверхностные... Документация в 3000 страниц тоже не помогает видеть "вглубь".

Просто для иллюстрации - упрощенный пример кода. Или такая вложенность может бывает нормальной? То есть я не прошу вникать в код - вопрос в первой части. Нужны правила-критерии.

df_suspect = pd.DataFrame({"quantity":[0,0,0]}, index = pd.Series(['X01', 'X03', 'X04'], name = 'id') )
df_work = pd.DataFrame({"tr_id":[1,1,1,1,2,2,3,3,3],
                        "id":["X03","X02","X03","X03",'X01','X01','X04','X04','X04'], 
                        "reason":['P','P','Q','I',"Q","I","I","P","Q"], 
                        "status":["BROCKEN"]+5*["GOOD"] +["TO_REPAIR"] + ["BROCKEN"]+["GOOD"] ,
                        "case":9*[""], 
                        "quantity":[-1,-1,2,2,-1,-1,1,2,-3,]})

содержимое df_suspect: введите сюда описание изображения


Упрощенная модель задачи: Исследуются проводки по складу (OUT 86) на предмет подсчета количества товаров, переведенных из хорошего состояния (GOOD, REPAIRED) в условно плохое (их вообще много разных). Поля
tr_id - номер документа внутри которого ищем перевод товара
id - код товара
reason - код причины перевода товара из одного состояния в другое
status - код состояния товара на складе. можно рассматривать как номер подсклада
case - выходное поле, куда нужно записать вариант перемещения (об этом позже)
quantity - перемещаемое количество в рамках одного документа ( то есть tr_id равны одному числу)
Пояснение. в df_work последние три строки образуют один документ (tr_id == 3). Все они касаются одного товара X04. ( в случае документа tr_id == 1 например несколько товаров в одном документе).
Глянем на строку 8. В ней комбинация ("Q","GOOD") есть в справочнике отыскиваемых пар комбинаций. Проверяя остальные строки документа с tr_id == 3 обнаруживаем, что обе оставшиеся строки содержат комбинации, имеющиеся в справочнике подозрительных проводок "rooles", а именно ("I","TO_REPAIR"), ("P","BROCKEN").
В этом случае в "сводной таблице" df_suspect (OUT [80]) добавить число, содержащееся в "quantity". То есть подсчитываем итоговую сумму подозрительных перемещений по всем документам с тем знаком, какой есть в "quantity".
В то же время, в поле "case" заносится конкретный вариант "подозрительной проводки", как видно в OUT [96]...

rooles = {("Q","GOOD"):[("P","BROCKEN"),
                        ("I","TO_REPAIR"),
                        ],
          ("P","REPAIRED"):[("Q","LOST"),
                            ("I","TO_REPAIR"),
                            ],
          }

tr_ids = set(df_work["tr_id"])  #вибираємо номера документів з декількома транзакціями
for tr_id in tr_ids:
    df_transaction = df_work.query("tr_id==@tr_id")   # group_by?
    for row in df_transaction.itertuples():
        for roole, r_list in rooles.items():
            if (row.reason, row.status) == roole:
                df_transaction_one_id = df_transaction.query("id == @row.id")  # group_by?
                sum_suspect =0
                for r_roole in r_list:   
                    for r_row in df_transaction_one_id.itertuples():
                        if (r_row.reason, r_row.status) == r_roole:
                            sum_suspect += r_row.quantity            # group_by?
                            df_work.loc[r_row.Index, "case"] = str(roole)+":"+str(r_roole)
                if sum_suspect:
                    df_suspect.loc[row.id,"quantity"] += sum_suspect
df_work = df_work.query("case != ''")

Итоговый результат: введите сюда описание изображения

В одном фрейме записаны построчно "подозрительные" пары проводок с указанием типа вероятной ошибки в поле case.
В другом фрейме по каждому товару с кодом id посчитана сумма количеств с ошибочными проводками...

19
  • 2
    Есть очень эффективный, но очень небыстрый способ "развить чуйку" по эффективному использованию Pandas - ответьте на 1K-3K вопросов по Pandas. PS я не шучу... Вы будете видеть более эффективные решения от конкурентов и учиться на них. После определенного накопленного уровня знаний будете чаще заглядывать в исходники - это отличный пример написания кода на/для Pandas. 12 мая 2019 в 19:40
  • 2
    @MaxU. через полчасика набью примерные данные и постановку задачи. Я ничем не рискую в конце концов ). Дякую. 12 мая 2019 в 19:44
  • 1
    Именно для этого и придумали конкурсы. Но больше свободного времени от этого к сожалению не появится. Думаю чтобы написать адекватный ответ на этот вопрос понадобится как минимум 1.5-2 часа. 21 мая 2019 в 7:17
  • 1
    @VasylKolomiets Я пытаюсь переписать ваш код, чтобы избавиться от циклов и у меня есть вопрос. Может ли у какого-то товара в пределах одного документа быть несколько комбинаций хорошего состояния? То есть когда для одной строки поле "case" будет равно ("Q","GOOD"), а для другой - ("P","REPAIRED"). Судя по примеру входных данных там встречается только ("Q","GOOD").
    – Andrey
    21 мая 2019 в 12:40
  • 2
    @VasylKolomiets, мой ответ вам не понравится - я использую консольный iPython, а не Jupyter Notebook. Т.е. самый обычный copy & paste ;-) 25 мая 2019 в 11:27

1 ответ 1

3
+50

Есть ли где такие "золотые россыпи"? Как двигаться в правильную сторону и развивать чуйку?

Мне сложно ответить на эти вопросы, потому что у меня еще очень мало опыта. Но мне кажется, что правильным путем будет - ознакомиться с возможностями, которые предлагает библиотека и при этом практиковаться на реальных задачах, чтобы научиться комбинировать различные методы для решения задачи. Как уже отметил @MaxU, хорошим местом для практики будет stackoverflow, потому что здесь еще и можно увидеть как конкретную задачу решают другие, более опытные пользователи.

Избавиться от циклов можно путем использования методов Pandas, где это возможно. Например, для выполнения каких-либо действий над строками и столбцами можно использовать apply(), для проверки наличия элементов датафрейма в какой-либо последовательности значений - isin().

В описании вашей задачи сказано, что нужно отслеживать перевод товара внутри документа. При этом, в каждом документе может быть несколько товаров. Приходит на ум такой вариант решения:

  1. Сгруппировать датафрейм по номеру документа и по коду товара.
  2. К каждой получившейся группе применить функцию, которая будет заполнять поле "case" с учетом заданных правил.
  3. Избавиться от строк с незаполненным "case" (не соответствующим этим правилам).
  4. Подсчет суммы значений "quantity".

Процесс группирования и применения функции к каждой группе называется split-apply-combine, и довольно часто встречаются задачи, где можно использовать эту технику.

Импорт библиотек и создание датафреймов:

import pandas as pd
import numpy as np


df_suspect = pd.DataFrame({"quantity":[0,0,0]}, index = pd.Series(['X01', 'X03', 'X04'], name = 'id') )
df_work = pd.DataFrame({"tr_id":[1,1,1,1,2,2,3,3,3],
                        "id":["X03","X02","X03","X03",'X01','X01','X04','X04','X04'], 
                        "reason":['P','P','Q','I',"Q","I","I","P","Q"], 
                        "status":["BROKEN"]+5*["GOOD"] +["TO_REPAIR"] + ["BROKEN"]+["GOOD"] ,
                        "case":9*[""], 
                        "quantity":[-1,-1,2,2,-1,-1,1,2,-3,]})

Функция для заполнения столбца "case" значениями:

def generate_case(g):
    """Функция для заполнения поля case
    g - группа записей в виде датафрейма
    """

    # Я немного изменил словарь с правилами.
    # Посчитал, что будет проще работать со
    # строками в качестве ключей и значений, 
    # чем с кортежами.
    rules = {
        "Q-GOOD":[
            "P-BROKEN",
            "I-TO_REPAIR",
        ],
        "P-REPAIRED":[
            "Q-LOST",
            "I-TO_REPAIR",
        ],
    }

    # Предварительно заполняем столбец case
    # значениями "<reason>-<status>".
    g.case = g.reason.str.cat(g.status, sep='-')

    # Проверяем есть ли значения из case
    # среди ключей в словаре правил.
    # Если найдено хотя бы одно совпадение (.any()),
    # то продолжаем работать с этой группой.
    if g.case.isin(rules).any():

        # Мы знаем, что в группе записей для одного товара
        # в пределах одного документа может быть только
        # одна запись с хорошим состоянием.
        # Получим значение.
        good_condition = g[g.case.isin(rules)].case.values[0]
        #good_condition = g.query('case in @rules').case.values[0]

        # Достаем из словаря правил список подозрительных
        # значений для данного хорошего состояния.
        suspicious_conditions = rules[good_condition]

        # Перезаполняем case.
        # Если значение ячейки case есть в списке
        # подозрительных проводок для данного ключа, то
        # заполняем case - "<good_condition>:<suspicious_condition>",
        # иначе записываем nan.
        g.case = np.where(g.case.isin(suspicious_conditions),
                          good_condition + ':' + g.case,
                          np.nan)

    else:
        g.case = np.nan

    return g

Теперь группируем исходный датафрейм и применяем эту функцию:

df_work = (df_work.groupby(['tr_id', 'id'])  # Группируем по id документа и id товара. 

                  # Применяем функцию для заполнения case
                  # Будут заполнены только ячейки, удовлетворяющие правилам.
                  .apply(generate_case))

Результат:

   tr_id   id reason     status                case  quantity
0      1  X03      P     BROKEN     Q-GOOD:P-BROKEN        -1
1      1  X02      P       GOOD                 NaN        -1
2      1  X03      Q       GOOD                 NaN         2
3      1  X03      I       GOOD                 NaN         2
4      2  X01      Q       GOOD                 NaN        -1
5      2  X01      I       GOOD                 NaN        -1
6      3  X04      I  TO_REPAIR  Q-GOOD:I-TO_REPAIR         1
7      3  X04      P     BROKEN     Q-GOOD:P-BROKEN         2
8      3  X04      Q       GOOD                 NaN        -3

То же самое, но теперь удалим строки с пустым "case":

df_work = (df_work.groupby(['tr_id', 'id']) 
                  .apply(generate_case)
                  .dropna(subset=['case']))

Результат:

   tr_id   id reason     status                case  quantity
0      1  X03      P     BROKEN     Q-GOOD:P-BROKEN        -1
6      3  X04      I  TO_REPAIR  Q-GOOD:I-TO_REPAIR         1
7      3  X04      P     BROKEN     Q-GOOD:P-BROKEN         2

Осталось посчитать сумму "quantity" и объединить с ранее созданным df_suspect:

# Берем из df_work столбцы 'id' и 'quantity'.
# Группируем по id товара и суммируем quantity
df_quantity_sum = (df_work.loc[:, ['id', 'quantity']]
                          .set_index('id')
                          .groupby('id')
                          .sum())

Результат:

     quantity
id           
X03        -1
X04         3

И наконец:

# Суммируем получившийся датафрейм с df_suspect,
# который создали ранее. 
# Пустые значения меняем на 0.
# Конвертируем в int.
df_suspect = (df_suspect + df_quantity_sum).fillna(0).astype(int)

Результат:

     quantity
id           
X01         0
X03        -1
X04         3
4
  • 1
    впечатляет. спасибо за ссылку и чисто практический вопрос - а что получилось быстрее? программировать в таком стиле - это "учиться, учиться и учиться" А выигрыш в производительности есть? Но глядя на код и понимая что все эти apply(generate_case) и .groupby('id') .sum()) применяются из С, то должно быть быстрее.... Как говориться - дольше запрягаешь, быстрее едешь. 25 мая 2019 в 10:38
  • 1
    @VasylKolomiets Ради интереса запускал %%timeit для обоих решений - отрабатывают за одинаковое время gist.github.com/stpnk/adababc33e10b9d92e1dff0377cbccf2 Возможно разница была бы видна на данных большего размера.
    – Andrey
    25 мая 2019 в 11:23
  • 1
    gist.github.com/VasilijKolomiets/… / Здесь видна разница в производительности. убрал первичную инициализацию таблицы и увеличил количество строк до 144 1 июн 2019 в 21:42
  • 1
    @VasylKolomiets второе время так и осталось в районе 40ms. Видимо, потому что после группирования получаются всё те же 4 группы, к которым применяется функция. В то время как в решении с циклами количество итераций увеличилось.
    – Andrey
    2 июн 2019 в 12:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.