Вопросы с меткой [pandas]

Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.

Фильтрация
Сортировка
Метки
1 голос
1 ответ
143 показа

Пропадают запятые при парсинге Python

при парсинге страницы пропадают запятые в валюте. помогите разобраться import bs4 import pandas as pd url = "https://ru.investing.com/currencies/gbp-usd-historical-data" page = requests.get(...
ДЮХА's user avatar
0 голосов
2 ответа
133 показа

python pandas как лучше отфильтровать данные dataframe до первого найденного значения

import pandas as pd # assign data df_new = pd.DataFrame({'value_1': [4, 1, 7, 2, 3, 0, 10, 1, 9], 'value_2': [6, 5, 4, 6, 7, 3, 5, 2, 3]}) print(df_new) # фильтруем данные по ...
almaz's user avatar
  • 613
0 голосов
2 ответа
117 показов

Pandas поиск совпадений в любой ячейке

Есть фрейм типа: Подскажите как удалить строки, где есть совпадения хотя бы в одном столбце (в моем случае это вторая строка 1, т.к. у нее в одном из столбцов значение 'a3' совпадате со начением из ...
Name1278's user avatar
1 голос
1 ответ
56 показов

Как реализовать обработку датафрейма с помощью цепочки методов?

У меня есть до неприличия кривой брокерский отчет. Ссылка на исходный файл Я его считываю следующим образом: df = ( pd.read_excel(tinkoff_folder + tinkoff_files[0], skiprows=7) .dropna(axis=0, ...
John Doe's user avatar
0 голосов
4 ответа
94 показа

Pandas. Удаление записей о повторных ошибках из dataframe

Привет всем! Имеется dataframe типа: SrvName Started Status Size server1 2023-06-01 14:00:00 sucsess 10000 server2 2023-06-01 14:05:00 sucsess 12000 server3 2023-06-01 14:25:00 sucsess 20000 ...
Лацитус's user avatar
0 голосов
1 ответ
248 показов

Нужно сделать таблицу из 3-х столбцов - рекомендательную систему

Есть список cо значениями(id разных курсов) - он будет первым столбиком в таблице из 3-х колонок Например: course = [515, 572, 570, 551, 490, 515, 566, 551, 489, 551, 566] Есть словарь, который ...
Артур's user avatar
0 голосов
2 ответа
78 показов

Как найти среднее по числовому диапазону столбца в датафрейме python

Есть следующий датафрейм, где в колонке Q29 - задан числовой диапазон, например, 10,000 - 15,000. Нужно добавить колонку со средним значением от этих цифр. Предполагаю, что надо разбить сплитом а ...
Nat Apel's user avatar
0 голосов
1 ответ
888 показов

Как в pandas разделить строку на несколько по разделителю

Есть датафрейм pandas из одного столбца. В каждой ячейке от одного до нескольких слов разделенных запятыми. Подскажите как объединить все слова в один столбец, чтобы в каждой ячейке было только одно ...
Name1278's user avatar
1 голос
1 ответ
136 показов

Как улучшить алгоритм поиска поддержки/проторговки на временном ряде dataframe

Есть такой DataFrame по ссылке: https://dropmefiles.com/y473o. Dataframe содержит временной ряд валютной пары USDCHF за определенный промежуток времени. Кратко: поиск на данном dataframe уровня ...
almaz's user avatar
  • 613
0 голосов
2 ответа
119 показов

Как удалить название колонки, когда используешь value_counts() в pandas?

Как удалить название колонки, когда используешь value_counts() в pandas? df[['id']].value_counts() выдает: id 7313055922 2 7315995136 2 7311721201 2 7316417087 2 7316803329 2 ...
Александр 's user avatar
0 голосов
2 ответа
129 показов

pandas: отбор строк с максимальным значением определенного столбца для каждого индекса

Помогите, пожалуйста, в pandas создать сводную таблицу, содержащую для каждого индекса значения из всех столбцов, соответствующее максимальному значению из column1 Пример: Создаем датафрейм: df = pd....
Green's user avatar
  • 36
0 голосов
0 ответов
54 показа

Не получается отфильтровать сводную таблицу на python(pandas)

Есть таблица Excel, из которой я сделал сводную. Необходимо отфильтровать по коду tnved4(работает) и по месяцам, годам. Загвоздка заключается в том, что год и месяцы в Excel сохранены как текст. Есть ...
adelorean's user avatar
0 голосов
0 ответов
54 показа

TypeError: unsupported operand type(s) for -: 'str' and 'str' как избежать этой проблемы при определении выбросов?

При определении выбросов в датафрейме столкнулся с данной ошибкой. Создал новый столбец используя код, пример файла в вопросе Как создать новый столбец, суммировав значения из первого столбца по ...
Voort's user avatar
  • 45
0 голосов
1 ответ
34 показа

MS SQL 2008 / в названии таблицы

пытаюсь получить данные из таблицы, таблица существует(проверено не один раз), название совпадает (проверено не один раз), как я понял (насколько моего уровня знаний хватает) проблема в самом названии ...
Max Prokopenko's user avatar
0 голосов
2 ответа
145 показов

Присваивание значения группе groupby pandas

Есть дата фрейм вида: df = pd.DataFrame({'ID': [111, 222, 333, 333, 444, 555, 555], 'Номер': ['1', '2','3', '4', '5', '6', '7']}) Требуется присвоить случайный номер между 1 и 3 всем ID, но с ...
Ilay's user avatar
  • 33
0 голосов
1 ответ
56 показов

Поиск совпадений слов одного df в другом df

Есть 2 df. Один с запросами от пользователей, он состоит из колонок: id пользователя и собственно самим запросом от этого пользователя Второй df состоит из тем которые ищут эти пользователи. В нем так ...
Артур's user avatar
0 голосов
0 ответов
23 показа

Скользящее окно на pandas аналогично SQL-запросу

у меня есть датасет step_student, в котором есть столбцы: step_id(номера шагов), student_id(номера студентов), res_bin (содержит 1 и 0 значения, описывающие успешность прохождения шага), sub_time(...
Дмитрий Баженов's user avatar
-1 голос
1 ответ
250 показов

Как создать новый столбец, суммировав значения из первого столбца по условию из второго?

Прошу не кидаться камнями, я - только учусь) Есть датафрейм на основе csv, в который нужно добавить столбец с суммой чека, т.е. суммировать все значения sum по id, где sum - это стоимость товара, а id ...
Voort's user avatar
  • 45
0 голосов
1 ответ
73 показа

Как корректно вывести в JSON из таблицы Excel

Задача состоит в парсинге таблицы Excel. В этой таблице есть колонки, в которых ячейки состоят из букв на русском языке. При выводе в JSON - \u0418\u041c. Как корректно отобразить? df = pd.read_excel('...
adelorean's user avatar
3 голоса
1 ответ
63 показа

Как сделать индекс с определенного числа

Есть df, в котором есть индекс с номером по порядку. Как мне сделать индекс с определенного числа? К примеру с 49362 и по порядку. Знаю, что банальный вопрос, но ничего найти не могу. Помогите, ...
julia's user avatar
  • 69
1 голос
0 ответов
46 показов

Данные по нескольким условиям из столбцов контрольных точек

У меня возникла проблема со скоростью обработки своих данных. Есть датафрейм из трех блоков: наименование, признаки, контрольные точки. И проще говоря мне нужно собрать наименования с признаками в ...
sergeyvyazov's user avatar
0 голосов
2 ответа
110 показов

Как отфильтровать датафрейм по нескольким условиям?

подскажите пожалуйста как можно 'отфильтровать' таблицу по нескольким условиям без использования цикла? Есть dataframe: dataframe = {'article': {205: '21001', 206: '21001', 218: '21004', 220: '21004', ...
Rett_oo's user avatar
  • 423
1 голос
1 ответ
48 показов

Можно ли разбить dataframe на несколько?

Есть dataframe типа ['time','data'] base_df: time data 1970-1-1 12:55:50 data1 1970-1-1 12:55:52 data2 2023-6-3 12:35:50 data3 2023-6-3 12:55:50 data4 1970-1-1 12:12:12 data5 1970-1-...
Denis Korolev's user avatar
0 голосов
0 ответов
21 показ

Не получается продублировать строки по условию [дубликат]

Не получается продублировать строки по условию: строка должна быть продублирована столько раз сколько указано в столбце 'sale' и заменить в нем значение на 1. Есть dataframe: df = pd.DataFrame({'id':['...
Olya 's user avatar
0 голосов
1 ответ
28 показов

Excel неправильный поиск в строке python

У меня в файле значение name находится в строке 10 но почему-то код определяет как 8 import pandas as pd df = pd.read_excel(r'C:\Users\Cat\AppData\Roaming\ACode\first project\basedata.xlsx') ...
user1340-843724753637946374569's user avatar
-1 голос
1 ответ
143 показа

Распаковка словаря из колонки в dataframe на колонки и значения

Как на python распаковать awards на колонку названия наград и в значение год сезон, когда была получена. Примерная структура таблицы: player_name russia2_silver_medal mhl_allstar_game Sergei Belov ...
niksmns's user avatar
1 голос
2 ответа
51 показ

Почему функция Python не возвращает ожидаемое представление колонки Pandas?

Рассчитываю функцию поиска корня в уравнении dichotomy() способом дихотомии и затем вывожу значения с помощью декоратора print_dichotomy(). Полагаю, что в итоге увижу колонки корень - значение функции ...
Alex_Kazantsev's user avatar
1 голос
2 ответа
86 показов

Удаление строк из датафрейма, если значение встречается меньше или больше, чем N раз

Как удалить строки из df, если значение встречается меньше 3 или больше 3 раз в колонке match_id match_id player win 111 1 0 111 2 0 111 3 0 112 1 1 112 2 1 113 1 0 113 2 0 113 3 0 113 4 0 ...
julia's user avatar
  • 69
0 голосов
0 ответов
39 показов

Удаление Nan значений

Есть датасет с большим количеством NaN значений: shape (12988, 45) vydacha_dt 0 activation_dt 0 pro0 0 pro1 ...
sweet_math's user avatar
0 голосов
0 ответов
96 показов

Ошибка при использовании pandas concat

from lxml.html import fromstring from urllib.parse import urljoin from lxml import etree from numpy import FLOATING_POINT_SUPPORT import requests from pandas import DataFrame, ExcelWriter import ...
fermeg's user avatar
  • 363
0 голосов
0 ответов
287 показов

Не работает библиотека Pandas

Здраствуйте, недавно установил библиотеку Pandas (pip install pandas). Пишу код в pyCharm. Так вот, возникла проблема, pandas не работает, причём никаких ошибок не выдаёт. Вот код, который не работает....
Илья's user avatar
1 голос
2 ответа
101 показ

дублирование строк в датасете [закрыт]

Есть датасет продаж ПК со столбцами "цена", "наименование", "объем ПЗУ", "продажи". В столбце "продажи" указано количество проданных ПК. Чтобы в ...
Арслан Бутиков's user avatar
0 голосов
0 ответов
55 показов

Нет данных в боксплот matplotlib

У меня есть дата сет с средними чеком по магазинам в недельной разбивке, и я хочу посмотреть плотность через боксплот. На графике отображены все магазины, но по половине данных не показаны, хотя в ...
Дарья Ворожейкина's user avatar
0 голосов
1 ответ
283 показа

группировка данных по времени пандас

не могу додуматься как сгруппировать данные по времени.Нужно что бы код сгруппировал колонки currency_pair и side по времени из колонки Time_ms те строки которые укладываются в промежуток <=200ms и ...
Вадим Мотеюнас's user avatar
2 голоса
2 ответа
574 показа

Как выделить цветом значение строки/столбца/ячейки в Pandas Dataframe на Python

Есть datafram на pandas. Нужно определенное значение строки/столбца/ячейки выделить цветом
asterio's user avatar
  • 21
0 голосов
1 ответ
41 показ

Как заменить значения дубликатов на уникальные значения?

Подскажите пожалуйста, возможно ли без циклов в pandas заменить дублирующийся значения на уникальные? К примеру, если в столбце есть значения 100, 100, 200, 200, 200, то на выходе должно получиться, ...
Rett_oo's user avatar
  • 423
1 голос
2 ответа
150 показов

Как сгруппировать несколько колонок по одинаковым значениям и сделать sum и count в pandas

Есть df, с такими данными: name_0 name_1 name_2 day Катя Ира Аня 1 Ира Лена Катя 0 Настя Оля Катя 2 Помогите, пожалуйста, не могу понять, как сгруппировать колонки и посчитать sum и count, чтобы ...
julia's user avatar
  • 69
0 голосов
1 ответ
115 показов

Как построить график используя колонки таблицы?

У меня есть вот такая таблица где 1-ая колонка - сторона света. Остальные колонки - месяца. А значения - некая абстрактная численная величина. df = pd.DataFrame({ 'side of the world': ['север', '...
hesoyam's user avatar
  • 23
1 голос
1 ответ
108 показов

Как отобразить значения на колонках в диаграмме matplotlib?

Пытаюсь выровнять значения на колонках инвертированной диаграммы, но не получается, с правой всё получилось, а вот как с левой быть не знаю import matplotlib.pyplot as plt import matplotlib as mpl %...
Salavat97's user avatar
0 голосов
0 ответов
163 показа

Как сделать нормальное логарифмирование в гистограмме

Я хочу начертить гистограмму, используя библеотекн plotly - csv я прикреплю ниже, как и код - и при желаю логарифмировать получивышийся график. НО возникает проблема в том, что ось х на графике, ...
Tails Man's user avatar
1 голос
0 ответов
37 показов

Архитектура и методы для нейросетевого классификатора

Подскажите ответ на вопрос: Вводные: Есть многомерный набор данных, использующийся как вход для сети. Есть бинарный выход - 1 или 0. Проблема: В наборе данных не у всех есть зависимость выхода от ...
venanen's user avatar
  • 123
1 голос
0 ответов
44 показа

отключение регулярных выражений pandas

Всем добрый день! Парсю df - дело в том, что нужно отключить регулярные выражения. К примеру, есть слова с "." и их необходимо обработать именно с точкой - с точки зрения регулярных ...
Максим Царьков's user avatar
1 голос
2 ответа
61 показ

сравнение данных из одного датафрейма в с данными в другом

Есть две таблицы: table1 номер 2877348604945 2654787454945 2877325684945 1568565685656 5623565432565 table2 номер 2877348123587 2654722121211 2877325620121 1568561212121 5623565232323 ...
Aizhan Askhatova's user avatar
0 голосов
0 ответов
25 показов

Pandas, сортировка колонок

Есть датафрейм, к примеру: колонка 1 колонка 2 колонка 3 строка 1 5 7 9 А нужно чтобы колонки располагались в порядке убывания по строке: колонка 1 ...
Jumstic's user avatar
  • 15
1 голос
2 ответа
237 показов

Pandas. Фильтрация колонок по всем значениям в ней

Не силен в пандасе, но сделать нужно. Есть датафрейм с произвольным количеством колонок и строк, в каждой колонке записаны значения от 0 до 10. Мне нужно оставить только те колонки, в которых ВСЕ ...
Jumstic's user avatar
  • 15
1 голос
1 ответ
81 показ

Как создать колонки из списка словарей

Необходимо конвертировать колонку players(список с словарями), чтобы ключи стали названием новых колонок, а значения строками в едином датафрейме. Подскажите, пожалуйста, как это сделать? Пробовала ...
julia's user avatar
  • 69
0 голосов
2 ответа
99 показов

Получение всех совпадений из списка

Есть поле датафрейма dataset['genres'], там лежат данные в формате: [{"id": 28, "name": "Action"}, {"id": 12, "name": "Adventure"}, {"...
pavel's user avatar
  • 3
0 голосов
1 ответ
213 показов

Как заполнить ячейки Nan в выбранных столбцах вышестоящими значениями в этих же столбцах?

Есть большой файл (пример привёл). Вопрос - как заполнить пустые ячейки в выбранных столбцах вышестоящими значениями в этих же столбцах по типу экселевской формулы замещения (=ЕСЛИ(H3="нет данных&...
Voort's user avatar
  • 45
0 голосов
3 ответа
206 показов

Как выборочно удалить строки по частичному текстовому соответствию из ячейки pandas

Есть большой xslx файл (краткий пример привёл ниже). Вопрос: как мне удалить в файле все строки, где хотя бы в одной ячейке которых, есть слово "Итог"? Нужно именно удалить, а не ...
Voort's user avatar
  • 45
0 голосов
0 ответов
44 показа

Как использовать apply() функцию после rolling() с method="table"

Я пытаюсь прогнать DataFrame с 5 колонками через функцию rolling() и применить к ней apply(). Однако получается так, что при попадании в apply(x) входящий аргумент x имеет вид строки вместо таблицы, ...
NiceVoice's user avatar