Вопросы с меткой [pandas]

Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.

Фильтрация
Сортировка
Метки
0 голосов
3 ответа
193 показа

Построить график парных сравнений

average_data = {'female': [16.54, 505.47, 402.13, 187.35, 194.56, 225.44, 21.38, 233.63, 113.02, ...
1 голос
1 ответ
104 показа

Изменить цвет текста в строке датафрейма по условию

У меня есть датафрейм df_df1 Мне нужно изменить цвет текста в тех строках (полностью всю строку), в которых значения ячеек по столбцу/ам column5 и/или column6 удовлетворяют условиям x < 0 и x >=...
0 голосов
1 ответ
36 показов

Объединить датафреймы из двух функций

Есть две функции, каждая из которых принимает, соответственно, данные data_1 и data_2 (это могут быть и числа, и текст), обрабатывает их и формирует датафрейм df_1 и df_2. Кодом def func_1(data_1): ...
1 голос
1 ответ
43 показа

вывод результата суммирования ячеек в одну ячейку

Есть dataframe: df = pd.DataFrame({'Site': [1, 1, 1, 2, 2, 2, 3, 3, 3], 'Cells': [3, 6, 3, 3, 3, 3, 3, 6, 3], 'du': ['3101', '3101', '3101', '3000', '3000', '3000'...
0 голосов
0 ответов
18 показов

Датафрейм считывается как словарь после добавления функций и библиотеки tkinter (pandas, tkinter)

Написала код, который берет два файла, сравнивает их и выводит текстовый файл с различиями. В юпитере работает отлично. Для коллег, решила добавить блок из библиотеки tkinter, чтобы можно было в ...
0 голосов
2 ответа
70 показов

Помощь с группировкой и агрегированием pandas

Есть данные: data = [[1,1,1, 10],[1,1,3, 11],[1,1,4, 5],[1,2,3, 10],[1,2,20, 15],[1,2,23, 3],[2,1,1, 8],[2,1,3, 10]] df = pd.DataFrame(data=data, index=None, columns=['mont', 'day', 'hour', 'price']) ...
1 голос
0 ответов
44 показа

Объединение двух Data Frames по нечетким признака

Есть два Data Frame. Код для получения df_1: df_1 = pd.DataFrame({'title_1': [' Дросселирующее устройство', ' Дросселирующее устройство', ' Дросселирующее устройство', ...
1 голос
1 ответ
104 показа

Отразить (развернуть) pandas.DataFrame

Есть pandas.DataFrame,в котором более 1000 уникальных имен и диапазон дат более месяца. Name date price total_sales Ручка 2023-10-13 05:00:00 10 5 Стол 2023-10-13 05:00:00 15 1 Ручка 2023-10-16 07:...
0 голосов
1 ответ
62 показа

Как узнать номер самого большого кластера?

Я не понимаю, как вывести номер самого большого кластера. Есть столбец в датафрейме, где каждой строчке соответствует номер какого-то кластера, всего кластеров 10, их номера с 0-9, я могу посчитать ...
0 голосов
1 ответ
189 показов

как изменить кодировку pandas.read_sql

Такая проблема, считываю базу данных через pd.read_sql, открывается DF и не могу привести символы в читаемый вид: pd.read_sql("select top 1000 * FROM dbo.ActTime ORDER BY datetime DESC ", ...
1 голос
1 ответ
337 показов

DataFrame Pandas ошибка при смене типа данных

col_one_list = movies_converted['US Gross'].to_list() col_one_list_edited = [i.replace('"','') for i in col_one_list] col_one_list_edited_1 = [x.replace('Unknown','') for x in col_one_list_edited] ...
2 голоса
1 ответ
2k показов

Ошибка ValueError: Length of values does not match length of index

Исходный файл содержит 7066 строк x 66 столбцов вещественных чисел (без пропущенных значений). Пытаюсь нормализовать значения признаков следующим образом: def normalize_feature(data, f_min=-1.0, ...
0 голосов
0 ответов
100 показов

ValueError: could not convert string to float: '188025671;Платёж;19\xa0ноя\xa02022;;;;;100;90'

Хочу сделать heatmap по таблице выгруженной из VK (там содержится информация о людях, оформивших платную подписку на vk donut). Написал такой код: import matplotlib.pyplot as plt plt.rcParams['figure....
0 голосов
1 ответ
1k показов

Pandas. Столбцы в сводной таблице

Вопрос по сводной таблице. У меня есть датафрейм: При создании сводной таблицы df.pivot_table(['Не пройдено', 'Процент прохождения'], index=['Класс'], columns='Предмет', fill_value=0) у меня ...
0 голосов
1 ответ
63 показа

Как создать новый список данных, взятых между двумя выделенными точками на графике матплотлиб

есть код, который считывает excel- файл при помощи пандаса, после чего в нем создается новый столбец, состоящий из сцепки данных из двух столбцов, считанных ранее, также строится точечный график, оси ...
0 голосов
1 ответ
1k показов

Ошибка ValueError: All arrays must be of the same length в Python

Я пишу парсер, и данные нужно сохранить в xlxs-файл, но при сохранении выводится ошибка. Вот сам код: df = pd.DataFrame({'имя': all_names, 'специализация': all_specialities, ...
-1 голос
1 ответ
90 показов

Поиск и сортировка по датафреймам Pandas в запутанной таблице

имеется 2 таблицы exel выгнанные из базы 1C в стремном формате, требуется каким-то образом вычленить нужные данные и создать новый эксель только с ними. Требуется достать все данные под HOWO В787НТ,...
0 голосов
0 ответов
27 показов

Как добавить вставку checkbox в ячейки при генерации xlsx файла на Python?

Мне нужно понять, как с помощью кода можно вставлять в ячейку checkbox и работать с ним. Например, при значении переменной = True, в checkbox ставится галочка. Для работы с xlsx файлами я использую ...
0 голосов
2 ответа
87 показов

pandas конвертация нужного типа данных с игнорированием ненужных типов

Есть .xlsx файл. Первая колонка - нумерация строк (это ещё до считывания в dataframe, я не путаю эти понятия). Первая строка - имена колонок. Заполнен данными типа hex, int, str либо None (пустые ...
0 голосов
1 ответ
2k показов

Кросс-валидация в Python

Нужно получить кросс-валидацию на трёх равных по размеру блоках. Делаю так и получаю ошибку "ValueError: Expected 2D array, got 1D array instead": import pandas as pd from sklearn.tree ...
3 голоса
2 ответа
136 показов

Как перевести словарь значений NumPy int64 в JSON?

Имею некоторую массу вычислений, основанных на типах данных NumPy и Pandas. y_true = np.where(true_birads >= birads_thresh, 1, 0) y_pred = np.where(pred_birads >= birads_thresh, 1, 0) ...
0 голосов
1 ответ
980 показов

Как увеличить значение в строке по заданному индексу?

Переменная index содержит строку. необходимо увеличить значение возраста в строке индексом равным index на 1. и вывести фрейм данных. df = pd.DataFrame({'animal': ['cat', 'cat', 'snake', 'dog', 'dog', ...
0 голосов
1 ответ
250 показов

Как обнулить временную составляющую значения колонки с датой?

Имеется колонка с датами формата: 2006-07-21 11:41:06.179131, которые нужно привести к следующему формату: 2006-07-21 00:00:00.000000 Пробовал сделать так: df['date'] = df['date'].apply(lambda x:x....
3 голоса
1 ответ
62 показа

Как убрать повторяющиеся значения из столбца с разделенными запятой подстроками?

В таблице, значения столбца представлены строками: df = pd.DataFrame({ 'a':['female, female, female, female, male, female', 'female, male, female, female', 'female, female, female', 'male, male, male']...
2 голоса
2 ответа
124 показа

Как найти и вернуть конкретное строковое значение в ячейке?

Есть таблица типа: Нужно добавить колонку "Готовность к переезду", а нужную информацию взять из колонки "Город". Начал делать таким образом: df.insert(5,'Готовность к переезду', ...
0 голосов
3 ответа
168 показов

Python pandas группировка части датафрейма по условию

Подскажите, пожалуйста, как сгруппировать в DataFrame в кварталы только те данные, в которых представлены все три месяца квартала? Контрагенты Период Год 0 Компания Март 2022г 1 ...
0 голосов
1 ответ
1k показов

Как построить таблицу из списка?

Есть список из 56 элементов. Как сделать из него таблицу из 7 столбцов, чтобы каждый элемент списка ложился в свой столбец?
0 голосов
1 ответ
161 показ

Как разбить значения-списки CSV на строки, используя разделитель?

Условно есть DataFrame: А Б 1 | 2,3 2 | 3,5 3 | 8,9 В котором значение CSV из столбца Б надо разбить по строкам используя разделитель, чтобы получилось такое: 1 | 2 1 | 3 2 | 3 2 | 5 3 | 8 3 | 9
0 голосов
1 ответ
377 показов

Как быстро обработать большой .csv?

Есть train.csv в 3млн+ строк состоящий из столбцов user_id, cart. В зависимости от значений в двух этих столбцах необходимо сформировать третий столбец target - его значения 0 и 1. Условие записи 1 — ...
2 голоса
1 ответ
342 показа

Как частично транспонировать DataFrame?

Имеется такой DataFrame: df = pd.DataFrame(((1, 'Vasya', 13, 'Да', 'Было щекотно'),), columns=('user_id', 'user_name', 'poll_id', 'Тебе понравилось?', 'Дай комментарий')) | user_id | user_name | ...
0 голосов
1 ответ
90 показов

Как объединить 2 датафрейма с сохранением индексов и добавлением пустых строк между ними?

есть два дата фрейма a = **индексы** **кол1** **кол2** **кол 3** **первое** 5 6 7 **второе** 8 9 10 b = **индексы** **кол4** **кол5** **кол ...
0 голосов
1 ответ
1k показов

Как правильно сохранить дататест с помощью pandas?

Есть текстовый файл, его нужно обработать и записать данные в csv файл. Я обрабатываю данные и по строчке присоединяю их к заранее созданному датасету, а потом сохраняю этот датасет. Но данные ...
2 голоса
1 ответ
2k показов

Как из колонки с датой получить только номер месяца?

Имею фрейм данных: d = {'name': ['carl', 'tot', 'brick', 'rick', None], 'Date': ['11/05/2011', '9/02/2010', '1/01/2014', '12/20/2020', '9/30/2009'], 'Address': ['AR', 'YU', 'RU', 'EU', 'BY']} df = pd....
0 голосов
1 ответ
2k показов

преобразование столбца файла csv в список

Есть файл 1.csv. В нём есть столбец с заглавием "SBX-1237". Я читаю файл csv и преобразую столбец с заглавием "SBX-1237" в список SBX: import pandas as pd file = pd.read_csv('1.csv'...
0 голосов
2 ответа
788 показов

Как реализовать one-hot кодирование?

Имею фреймы данных new_df и df_train1 соответственно: a d Id 0 NaN NaN 1 NaN NaN 2 NaN NaN target1 0 [a, b, c] 1 [a] 2 [b, d] Я хотел бы пробегать по ...
3 голоса
1 ответ
286 показов

Как добавить пропущенные индексы даты?

Есть фрейм, индексами которого являются даты: Id Close 2021-09-16 148.789993 2021-09-17 146.059998 2021-09-20 142.940002 Как дополнить его строками с индексами с интервалом каждый день с ...
1 голос
2 ответа
1k показов

Как склеить последовательно датафреймы pandas на основе дат?

Есть два фрейма данных: A, B. Хочу получить фрейм C в виде последовательной склейки A и B на основе столбца дат, но так, чтобы в случае совпадающих дат в склейку были записаны данные из B. Подскажите, ...
5 голосов
1 ответ
87 показов

Как из столбца с датой и временем получить два столбца со значениями минут и секунд?

Если открыть в фрейме данных файл CSV (пример файла), то получится вот такие слитые дата и время: timestamp size 59 2021-10-06T22:23:39.783Z 30200 60 2021-10-06T22:23:39....
0 голосов
2 ответа
1k показов

В датасете даты разного формата, как привести все к единому? [закрыт]

В основном даты формата YYYY-MM-DD, но есть и DD.MM.YYYY, как привести все даты к одному формату используя питон и пандас? Хочу чтоб все были формата YYYY-MM-DD, можно ли регулярками вытащить неверный ...
0 голосов
1 ответ
44 показа

Как правильно подсчитать количество минут поверх заданного тарифа - pandas

Подскажите, пожалуйста, как можно подсчитать правильно количество минут поверх заданного тарифа и записать результат в один столбец? Задача следующая : есть таблица с данными по количеству клиентов в ...
1 голос
1 ответ
61 показ

Запись переменной в новую строку DataFrame

Есть переменная (в примере ниже - measurement), значение которой изменяется. Нужно записывать её каждое новое значение в новую строку датафрейма. Код df = pd.DataFrame({'Measurement': [str(measurement....
2 голоса
1 ответ
108 показов

PostgreSQL оптимальный поиск даты

Есть SQL таблица в которой хранятся данные по товарам: | ИМЯ | дата | количество продаж | цена | Но данные не полные, только за последние 30 дней есть статистика за каждый час в сутках(до этого ...
0 голосов
3 ответа
90 показов

Добавление столбца в DataFrame, заполняемого результатом поиска подстроки в существующем столбце

Есть DataFrame, загружаемый из csv-файла (это получается). Надо сформировать (добавить) столбец, заполняемый цифрами, идущими после totalSum= в столбце F15 исходного DataFrame. В итоге родилась ...
0 голосов
1 ответ
54 показа

pandas найти значение из ячейки-списка

Есть датафрейм, где в transactions_ids располагаются списки month transactions_ids 0 1 [0, 5, 1] 1 2 [7, 4] 2 3 [8, 10, 9, 11] 3 6 ...
0 голосов
1 ответ
51 показ

построение разрывного графика

Пытаюсь визуализировать данные из dataframe с помощью Matplotlib, изначально имею df следующего формата: date name total ok изначально данные в таблице сгруппированны по часам, но, если за какой-то ...
-1 голос
1 ответ
40 показов

Перебор элементов внутри датасета

У меня есть датасет, колонки с которыми я работаю это chactnoe и DATE, в общем составила такое условие, но оно останавливается после первого принта, подскажите пожалуйста как исправить это. Заранее ...
0 голосов
0 ответов
37 показов

как читать формат числа [дубликат]

[![применив метод describe() к датасету pandas, я получила статданные по столбцу в виде числа+2цифры - как читать этот формат и что означает этот + ? прилагаю скрин столбца][1]][1] например count 3....
0 голосов
2 ответа
130 показов

заполнение пропусков в столбце

нужна помощь с заполнением пропусков. У нас условный датафрейм. Столбец goal - это ключевой столбец, в котором есть много пропусков. Эти пропуски можно заполнить, ориентируясь на столбец col_1: Если ...
0 голосов
0 ответов
76 показов

Как создать маску для датафрейма по списку подходящих значений в колонке?

Есть датафрейм по продажам автомобилей. Каждая строка соответствует событию продажи автомобиля. Одна из колонок - "dealers". В ней указаны дилер, осуществивший продажу. Я хочу сделать маску ...
3 голоса
1 ответ
1k показов

Как заменить нули во фрейме данных на определенные значения?

Как получить из такого фрейма данных: df = Date m-t vil 3/15/1990 11 0 3/16/1990 11 3.98 3/19/1990 12 0 3/20/1990 12 0 3/21/1990 12 0 3/22/1990 12 0 3/23/1990 12 -4.69 3/...