Вопросы с меткой [dataframe]

Фрейм данных - это табличная структура данных. Обычно он содержит данные, в которых строки являются наблюдениями, а столбцы-переменными различных типов. В то время как "data frame" или "dataframe"-это термин, используемый для этого понятия в нескольких языках (R, Apache Spark, deedle, Maple, библиотека pandas в Python и библиотека DataFrames в Julia), "table"-это термин, используемый в MATLAB и SQL.

Фильтрация
Сортировка
Метки
0 голосов
2 ответа
675 показов

Как сформировать DataFrame на основе выгрузки данных из таблицы БД?

Нужно получить DataFrame на основе выгрузки данных из таблицы БД. Полнота данных DataFrame, структура и названия столбцов должны соответствовать таблице в БД.
mr.polden2010's user avatar
5 голосов
2 ответа
1k показов

Как посчитать количество элементов до определенного значения?

Дан df: a = pd.DataFrame([{'id': 1, 'b': 1, 'd': 1}, {'id': 1, 'b': 2, 'd': 0}, {'id': 1, 'b': 2, 'd': 0}, {'id': 1, 'b': 2, 'd': 0}, ...
ChikChirik's user avatar
0 голосов
1 ответ
1k показов

Добавление элементов списка в ячейку DataFrame, где находится список

Мне необходимо множество list добавить в ячейку DataFrame без перебора всех значений list. Добавить в ячейку присваиванием. import pandas as pd df=pd.DataFrame([[1,'r',['a','b','c'],[]]]) N = ['1','2'...
Евгений's user avatar
1 голос
3 ответа
458 показов

Как в одном DataFrame вычислить сумму столбцов и добавить в другой фрейм?

import pandas as pd import numpy as np df_1 = pd.DataFrame(np.random.randint(1, 10, size=(8, 4)), columns=['col_1', 'col_2', 'col_3', 'col_4']) df_2 = df_1.filter(items = ['col_1'...
w00dLAN's user avatar
  • 79
1 голос
1 ответ
91 показ

Трансформация Pandas DataFrame

Коллеги, необходимо привести DataFrame к следующему виду: Сейчас таблица имеет следующий вид: df = pd.DataFrame({'Year': ['1999-01-31','2000-01-31','2001-01-31','2002-01-31','2003-01-31'], ...
qwerty's user avatar
  • 37
5 голосов
1 ответ
4k показов

Как переименовать колонки в df Pandas с нижним подчеркиванием

a = pd.DataFrame([{'id': 1, 'b': 2, 'Первое имя': "AA", 'Второе имя': 2}, {'id': 1, 'b': 2, 'Первое имя': "BB", 'Второе имя': 2}, {'id': 1, 'b': ...
ChikChirik's user avatar
1 голос
1 ответ
324 показа

Как создать новый столбец с количеством по результатам группировки и суммирования других столбцов?

Дан df: a = pd.DataFrame([{'id': 1, 'b': 2, 'c': "AA"}, {'id': 1, 'b': 2, 'c': "BB"}, {'id': 1, 'b': 4, 'c': 'AA'}, {'id': 1, '...
ChikChirik's user avatar
0 голосов
1 ответ
214 показов

Как можно объединить два фрейма в один?

Есть два df: a = pd.DataFrame([{'id': 1, 'b': 2, 'c': 0}, {'id': 1, 'b': 7, 'c': 2}, {'id': 1, 'b': 4, 'c': 2}, {'id': 1, 'b': 5, 'c': 2}, ...
ChikChirik's user avatar
5 голосов
1 ответ
1k показов

Как создать новый столбец по результатам группировки и суммирования других столбцов?

Дан df: a = pd.DataFrame([{'id': 1, 'b': 2, 'c': 2}, {'id': 1, 'b': 2, 'c': 2}, {'id': 1, 'b': 4, 'c': 2}, {'id': 1, 'b': 5, 'c': 2}, ...
ChikChirik's user avatar
-1 голос
1 ответ
61 показ

Неправильно изменил код

Ищу точки экстремумов на графике при помощи: from scipy.signal import argrelextrema n = 15 df['min'] = df.iloc[argrelextrema(df.V.values, np.less_equal, order=n)[0]]['V'] df['...
user avatar
1 голос
1 ответ
191 показ

Как удалить группы строк по условию?

Имеется фрейм данных: data = {'фрукт': ['груша','огурец','вишня', 'абрикос', 'груша','арбуз','груша','банан', 'груша', 'вишня','яблоко', 'груша', 'вишня', 'абрикос', 'груша', 'банан'], 'страна': ['...
formanite's user avatar
  • 351
0 голосов
1 ответ
698 показов

Создать простой сплайн

Как сделать апроксимизацию сплайном в 1-2 строки кода и очень по простому? Допустим данные датафрейм, хотя можно и для списка - не так важно. function 1 240.9 2 241.18 3 241.166 4 241.2 5 ...
user avatar
1 голос
1 ответ
361 показ

Как группировать с сохранением колонок?

Имею df следующего формата: DATE DD IN AB COUNT 0 2021-03-01 in one 00111 21725 1 2021-03-01 in nge 00111 1616 2 ...
xcplat's user avatar
  • 525
2 голоса
1 ответ
935 показов

Dataframe - не могу достать колонку Date

Подскажите, пожалуйста, в чем ошибка. Фреймворк - JUpiter Загрузил исторические данные с помощью модуля Quandl и положил их в DataFrame: Но при попытке достать столбец 'Data', получаю ошибку (все ...
miltan13's user avatar
2 голоса
2 ответа
1k показов

Как выбрать строки, содержащие в столбце данные, которые есть в столбце другого фрейма данных?

Есть фрейм df1: a b c d 0 23 4 34 12 1 24 25 34 2 2 43 11 77 87 3 34 2 2 34 4 3 55 19 11 5 42 74 29 44 6 54 9 11 12 и df2: b 0 4 1 11 2 2 3 9 ...
Andrew Tim's user avatar
0 голосов
1 ответ
44 показа

Как определить, что произошел обмена значениями в DataFrame

Я новичок в Python и тяжело дается эта задачка оптимальным путем. У меня есть база с КПП, в которой есть id сотрудника и номер его пропуска. У некоторых сотрудников есть много номеров пропуска- это ...
Egor_1811's user avatar
1 голос
1 ответ
612 показов

Как устранить выбросы в датафрейме?

Имеется датафрейм student со стобцом Fedu: 4.0, 1.0, 2.0, 2.0, 3.0 и т.д. Пытаюсь устранить выбросы: q3 = student.Fedu.quantile(q = 0.75, interpolation = 'midpoint') q1 = student.Fedu.quantile(q = 0....
Varvarenik's user avatar
1 голос
1 ответ
6k показов

Удаление ненужных символов из pandas

У меня огромный объем данных (155000 текстовых комментариев). Для последующего обучения нужно убрать ненужные символы (#,&,XX/XXXX итд). Делаю я обработку данных с помощью следующей функции: file =...
hidden layer's user avatar
0 голосов
0 ответов
82 показа

Как удалить ненужные символы из документа?

Я использую данные для обучения и мне нужно избавиться от ненужной информации, а конкретно от XX/XX/XXXX или от XXXX XXXX XXXXX. Я использовал регулярные выражения, которые удаляют числа и другие ...
hidden layer's user avatar
0 голосов
1 ответ
1k показов

Как заменить значения нескольких столбцов в датафрейме

Необходимо заменить значения NaN в нескольких столбцах датафрейма, в каждом столбце на свое. Перепробовала множество разных способов, ничего не получается. Датафрейм stud: famsize | Pstatus | paid |...
Varvarenik's user avatar
2 голоса
2 ответа
1k показов

Удалить одинаковые строки определенных столбцов двух датафреймов

Датафрейм df1: A B C D 0 256 4 24 51 1 24 25 34 200 2 300 12 45 11 3 34 19 2 34 4 75 76 19 11 5 42 89 29 101 6 54 104 11 12 Датафрейм df2: ...
user427585's user avatar
4 голоса
2 ответа
3k показов

Как удалить строки по разным условиям?

Есть фрейм данных и мне нужно удалить из него строки, в которых значение столбца А более 50. Эта операция успешно выполняется кодом: import pandas as pd import numpy as np df = pd.DataFrame([[256, 4, ...
Кирилл Осипов's user avatar
3 голоса
1 ответ
210 показов

Как создать новый столбец на основе содержания другого?

Внутри df есть столбец Дата_ТА_все, который либо Nan, либо дата. Мне нужно каким-то образом создать третий столбец ТА_был. В столбце 'ТА_был' нужно: записать "0", если в столбце '...
Mnk's user avatar
  • 85
2 голоса
2 ответа
574 показа

Как удалить строки, если в них много NaN?

Есть фрейм вида: a b c d NaN 4 NaN NaN 24 25 34 NaN NaN 12 NaN NaN 34 NaN 2 34 NaN NaN 19 11 42 NaN 29 NaN 54 NaN 11 12 Нужно удалить из него строки, в которых число ...
Andrew Tim's user avatar
1 голос
1 ответ
118 показов

Удаление столбцов в переборе python

Изучаю python для ИИ Я хочу научиться работать с большими данными. Есть данные о пользователях - таблица из n столбцов, которые обрабатываются через логическую регрессию. Столбцы имеют различные типы, ...
Sergey Semkin's user avatar
0 голосов
1 ответ
53 показа

Анализ и выборка уникальных сообщений

Просьба подсказать, как можно реализовать выборку по уникальным значениям, имея DF с текстовыми сообщениями. Текст сообщений может содержать от 4 до 200+ символов, текстовые сообщение по типу: "...
xcplat's user avatar
  • 525
0 голосов
1 ответ
1k показов

Индекс строки, которая содержит минимальное значение

Используется Python, Имеется dataframe, в нем с помощью функции min нахожу минимальное значение df['col1'].min(). Минимальное значение может содержаться в нескольких строках. Подскажите, как узнать ...
Евгений's user avatar
1 голос
1 ответ
77 показов

Как собрать DataFrame?

Я застрял на вот какой задачке. У меня есть DataFrame. CSV здесь Вот как DataFrame примерно выглядит: У [ID] может быть несколько разных значений [Name]. pivot_sub=subset.pivot_table(index=['ID','...
Egor_1811's user avatar
0 голосов
0 ответов
67 показов

Dash Interactive table

Ищу способ создания интерактивной таблицы для редактирования и добавления данных, как можно реализовать, добавления колонки "Actions" в ячейке которых можно поместить кнопки действия с ...
xcplat's user avatar
  • 525
1 голос
1 ответ
636 показов

'DataFrame' object has no attribute при вызове функции [закрыт]

Столкнулся с вышеупомянутой ошибкой, вообще не пойму почему это так работает. Начну с самого начала. Моя задача заключается в том, чтобы считывать значения комбобоксов и дальше использовать их как ...
Vladeezy's user avatar
  • 143
0 голосов
1 ответ
852 показа

Как заменить значения в столбце DataFrame на значения из другого DataFrame по условию

Не могу решить одну задачку. У меня есть DataFrame, он состоит из номеров IMSI. IMSI- это международный идентификатор мобильного абонента (индивидуальный номер абонента). IMSI=MCC+MNC+MSIN MCC = ...
Egor_1811's user avatar
0 голосов
1 ответ
1k показов

Как построить scatterplot, если прозрачность каждой точки дана в столбце 'values'?

for i in train.index: sns.scatterplot(x = train['x'][i], y = train['y'][i], alpha = train['values'][i]) Данный код выводит ошибку: If using all scalar values, you must pass an index Следующий ...
Max Pyankov's user avatar
0 голосов
1 ответ
134 показа

Как сложить условия в DataFrame

Создал игрушечный DateFrame. Хочу решить проблему с условиями, а трактуется вот так: вывести всех, кто старше 40 вывести всех, кто имеет доход выше среднего по датасету вывести всех, кто имеет доход ...
Eliz's user avatar
  • 123
2 голоса
2 ответа
1k показов

Как получить элементы конкретного столбца?

У меня есть следующий DataFrame: df=pd.DataFrame({'A':[1,2,3,4,5,6], 'B':[6,5,5,4,2,1]}) Kак я могу обратиться к примеру к 1,2,3 из списка значений ключа A, а затем записать их в ...
Vladeezy's user avatar
  • 143
-1 голос
1 ответ
68 показов

Как поменять значения колонки и метки в .txt файле?

У меня есть .txt файл со значениями mean, min, max, std, var и колонками данных: ["('Coolness_RHEED', 'mean')_5", "('Coolness_RHEED', 'mean')_5", "('Coolness_RHEED', 'mean')_5&...
Гыггыг Фидолобабович's user avatar
2 голоса
3 ответа
16k показов

Как изменить тип колонки float в int?

Хочу преобразовать в int колонки в DataFrame, но на выходе как были float, так и остались: df = pandas.DataFrame(mongo_docs) datas = df.astype({'account':'int','binance_id':'int'},errors='ignore')
Radzhab's user avatar
  • 3,782
-1 голос
1 ответ
84 показа

Слить два столбца

"a" и "b" два столбца датафрейма, как их объединить? a b 0 10 1 1 1 0 0 5 5 0 0 0 0 0 Результат: a b с 0 10 10 1 1 1 1 0 1 0 5 5 5 0 5 0 0 0 0 0 0
user avatar
0 голосов
2 ответа
320 показов

Отфильтровать определенные строки с годом в датафрейме (пандас)?

Дана таблица (датафрейм), необходимо отфильтровать строки с данными за период с 2000 по 2015? Как можно сделать? Пример таблицы: gis14 = gis12['Year'].isin([2000, 2001, 2002, 2003, 2004, 2005, 2006, ...
Della333's user avatar
0 голосов
2 ответа
250 показов

Вывод по порядку pandas, dataframe

есть датафрейм с набором столбцов (например: 4,2,3,1) df есть список названий столбцов, которые необходимы (например: 3,1,4) именно такой порядок columns=[3,1,4] Вопрос: как применить df[columns], ...
Андрей's user avatar
3 голоса
1 ответ
52 показа

Записать дата фрейм в столбце которого только неотрицательные значения и пустые

Нужно записать в файл эксель дата фрейм, в котором значения неотрицательны или пустые ячейки. Пробывала так: df3[(df3['Количество дней между ТУ и заключением договора'] >= 0) |(df3['Количество дней ...
Elena Barbanova's user avatar
2 голоса
2 ответа
192 показа

Сортировка по нескольким столбцам

Необходимо найти самый убыточный фильм с 2012 по 2014 года (включительно). Получилось найти самый убыточный фильм в заданных годах по отдельности с помощью подобного кода: data.loc[data.release_year==...
yegor's user avatar
  • 81
0 голосов
1 ответ
566 показов

Получить уникальные значения в рядах датафрейма

Есть данные data - это 12 столбцов с комбинациями по 12 значений в каждом. Как можно сократить значения в строках, чтобы убрать в каждой строке одинаковые значения и записать это в новый датафрейм с ...
user avatar
1 голос
1 ответ
117 показов

Pandas DataFrame - разбить строки на n окон, сдвинуть окна на m элементов, найти среднее

У меня есть DataFrame, в столбце содержится (для примера) 30 строк, необходимо разбить их на окна размером 5 элементов, сдвинуть каждое окно на 4 элемента относительно другого окна и найти среднее ...
Kir's user avatar
  • 13
0 голосов
1 ответ
3k показов

pandas группировка и срез строк

Имеется фрейм данных: data = {'фрукт': ['груша','груша','арбуз','банан','груша', 'груша', 'вишня', 'груша', 'вишня', 'абрикос', 'груша', 'груша', 'банан'], 'страна': ['россия','сша', np.nan, 'россия', ...
formanite's user avatar
  • 351
1 голос
1 ответ
117 показов

Подсчет медианы в группах

Есть датафрейм, в котором каждый из курсов "Title" разбит на модули "module_title". Каждый из модулей "module_title" содержит в себе "lesson_count" уроков. main....
Кирилл Осипов's user avatar
3 голоса
1 ответ
3k показов

Как объединить две таблицы по двум столбцам?

У меня есть 2 CSV файла, в которых имеются одинаковое количество столбцов: Date Timestamp Open High Low Close Volume Я хочу отредактировать эти две таблицы и оставить только эти ...
Илья's user avatar
3 голоса
1 ответ
3k показов

Разделить Dataframe на равные отрезки в python

Как осуществить разделение DataFrame из 1000 элементов в цикле for на 10 отрезков по 100 строк каждый? Пытался сделать таким способом, но в результате получаю 10 первых отрезка: for index in range(100,...
leach's user avatar
  • 387
0 голосов
1 ответ
383 показа

Взять случайные группы столбцов из датафрейма

У меня есть небольшой датайфрем в котором каждые 4 стобца сгруппированы между собой и относятся к одной сущности (это обозначается первой цифрой в названии столбцов). Всего 60столбоц и 15 общностей: ...
Io Io's user avatar
  • 461
1 голос
1 ответ
692 показа

срез строк внутри группы с условием

Имеется фрейм данных: import pandas as pd import numpy as np data = {'фрукт': ['груша','огурец','вишня', 'абрикос', 'груша','арбуз','груша','банан', 'груша', 'вишня','яблоко', 'груша', 'вишня', '...
formanite's user avatar
  • 351
1 голос
2 ответа
1k показов

Как удалить строки содержащие NaN в одном столбце и заданное значение в другом?

Имеется фрейм данных: import pandas as pd import numpy as np data = {'фрукт': ['груша','арбуз','банан','груша', 'груша', 'вишня', 'груша', 'вишня', 'абрикос', 'груша', 'груша'], 'страна': ['сша', '...
formanite's user avatar
  • 351