1

Есть два исходных DF за 2015 и 2016 годы соответственно:

FIRM x1 x2 x3 A 5 6 8 A 6 6 4 A 5 6 4 B 6 6 5 B 6 6 5 C 5 6 4 D 6 4 5

и

FIRM x1 x2 x3 B 5 6 8 C 6 6 4 F 5 6 4 B 6 6 5 B 6 6 5 A 5 6 4 A 6 4 5 Данная задача продолжает: Объединить фреймы, оставить только те записи, которые встречаются во всех фреймах (в определенном столбце) На двух данных примерах необходимо показать как работают различные методы фильтрации с помощью: filter(). Конкретно , что делает команда lambda x: x['YEAR'].nunique()==len(items) и как она работает?

1 ответ 1

1

Проще всего показать как работает df.groupby(...).filter(...) на одном DataFrame.

NOTE: в предыдущем ответе группировка и фильтрация применяется к результату применения функции pd.concat(), которая в свою очередь объединяет несколько фреймов в один.

Исходный DF:

In [62]: df
Out[62]:
  FIRM  x1  x2  x3
0    A   5   6   8
1    A   6   6   4
2    A   5   6   4
3    B   6   6   5
4    B   6   6   5
5    C   5   6   4
6    D   6   4   5

Допустим мы хотим получить данные только для тех фирм, для которых существует 2+ строк:

In [63]: df.groupby('FIRM').filter(lambda z: len(z) > 1)
Out[63]:
  FIRM  x1  x2  x3
0    A   5   6   8
1    A   6   6   4
2    A   5   6   4
3    B   6   6   5
4    B   6   6   5

метод .filter() применяет функцию (в нашем случае это "лямбда" функция) к каждой группе (группа является подмножеством DataFrame с такой же структурой как у df). Функция в методе .filter(func) должна возвращать булевый скаляр (True или False)

6
  • Когда мы пишем groupby('FIRM') , то и z будут столько строки из это столбца FIRM ?
    – CR7
    5 дек 2018 в 18:59
  • нет z - это подмножество df с такой же структурой (со всеми столбцами) - в z будут данные для одной фирмы. Выпробовали сделать df.groupby('FIRM').apply(lambda z: print(z)) как я вам раньше советовал - там вроде бы все понятно ... 5 дек 2018 в 19:16
  • Да, я пробовал, он делит будто на кучу разных таблиц по уникальными значениям.
    – CR7
    5 дек 2018 в 19:28
  • правильно, так вы напечатаете на экран все группы (одна группа для каждой группы). Первая группа может напечататься дважды - не обращайте на это внимания - это специфика внутренней реализации метода .apply() 5 дек 2018 в 19:31
  • И команда далее смотрит каждую из групп и находит вот это условие? lambda z: len(z) > 1 ?
    – CR7
    5 дек 2018 в 19:34

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.