Вопросы с меткой [pandas]

Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
25 показов

парсинг по вложенным спискам

4-й день воюю с задачей, вопрос следующий: Есть пара DF (очевидно что фреймы тестовые - реальные немного отличаются но суть та же): import pandas as pd df = pd.DataFrame({'Отдел': ['отд_1', 'отд_1', '...
Максим Царьков's user avatar
0 голосов
1 ответ
37 показов

Как сократить цифры в колонках таблицы до двух сотых, применяя .style в функции? python

Пишу функцию для вывода таблиц с одинаковым стилем. Никак не могу в колонках с типом float сократить цифры до двух сотых. Вернее убрать лишние нули. Сейчас таблица выглядит так. Мой код: def ...
Angelina's user avatar
0 голосов
3 ответа
41 показ

Как удалить текстовые значения в ячейке xslx с помощью pandas?

Есть большой xslx файл (пример привёл ниже). Вопрос: как мне удалить в файле все строки, в одной ячейке которой, есть слово "Итог"? Нужно именно удалить, а не отфильтровать)) никак не могу ...
Voort's user avatar
  • 27
1 голос
3 ответа
31 показ

Как применить функцию только к некоторым столбцам датафрейма?

import pandas as pd def pr(income): if random.random() > 0,8: return [int(round(income[0]*income[1] , -1 )) , income[0]+income[1]] else: return [income[0] , income[1]] ...
Sasha Kurzenev's user avatar
1 голос
1 ответ
32 показа

Заполнить NaN в столбце, по данным из другого, если те не входят в определенный список?

Датафрейм: name year_of_release platform Rayman Arena 2001.0 PS2 Rayman Arena 2002.0 GBA Rayman Arena NaN GC Madden NFL 2004 2003.0 XB Madden NFL 2004 NaN GBA Madden NFL 2004 NaN PS2 Я хочу ...
Angelina's user avatar
1 голос
1 ответ
39 показов

Как раскрыть словарь внутри датафрейма

Необходимо раскрыть в датафрейме колонки posting, items, services, чтобы получился единый датафрейм. Подскажите пожалуйста как правильно действовать в таких ситуациях ? {'result': {'operations': [{'...
Ilia's user avatar
  • 11
0 голосов
2 ответа
62 показа

Удаление строки в файле Excel с помощью Python Pandas на основе нескольких условий

Пытаюсь решить задачу удаления строк в excel файле на основании нескольких условий (нужно удалить строки содержащте ячейки с цифрами не равными 0 и имеющие ячеки содержащие "+"). ...
Norax's user avatar
  • 11
0 голосов
0 ответов
41 показ

python не ставятся модули numpy и pandas

"Раньше всё работало". Переставил Python (был 3.8.7) win 32 bit Пробовал версии 3.8.7 / 3.10.11 / 3.11.3 Ставлю модуль Pandas: python -m pip install pandas Сообщает, что успешно установлено. ...
alar73's user avatar
  • 1
-1 голос
1 ответ
27 показов

Как сделать столбец по времени с условиями? В какой тип данных перевести, чтобы посчитать

При расчете стоит 2 задачи: есть отдельный столбец "Время". Нужно посчитать по нему разницу. Например, от каждой даты нужно начинать сначала, те первая ноль, а дальше 1- предыдущая дата - ...
Любитель's user avatar
1 голос
1 ответ
33 показа

VS Code криво показывает кириллицу во вкладке "Выходные данные" (Python). Не могу победить

Всем доброго дня! Вопрос явно избитый, но почему-то не могу нагуглить ответ. Вопрос простой: пишу код на Python в VSCode(обновлен до последней версии), надо посмотреть вывод во вкладке "Выходные ...
Mangol's user avatar
  • 45
1 голос
4 ответа
61 показ

последовательный срез по одному символу номера

Есть номер 466896223223. Нужно вывести в dataframe последовательный срез по одному символу с конца. Результат: 466896223223 46689622322 4668962232 466896223 46689622 4668962 466896 46689 4668 ...
Aizhan Askhatova's user avatar
0 голосов
2 ответа
38 показов

Разделение строк df pandas на определенный делитель

Подскажите как можно разделить строки на кратное количество. Из такого A B C 0 a b 16 # Делитель 2 1 a c 22 # Делитель 3 2 b d 12 # Делитель 5 Получить такой A B ...
Nikita Deryabin's user avatar
0 голосов
4 ответа
39 показов

Извлечь данные из столбца DataFrame формата словаря

В столбце 'production countries' (pandas.DataFrame) датасета 'data' все данные выглядят подобным образом: [{"iso_3166_1": "IN", "name": "India"}] и имеют тип ...
Karina's user avatar
  • 39
1 голос
2 ответа
25 показов

Pandas - Сложить все значения в списке ячейки

Есть датафрейм такого вида: x y z [1.0, 2.0] [5.0, 2.0] [7.0, 1.0] [2.0, 2.0] [1.0, 2.0] [7.0, 1.0] Нужно сложить списки в каждой ячейке, т.е. превратить в такой: x y z 3.0 7.0 8.0 4.0 3.0 8.0 ...
alexandra's user avatar
0 голосов
1 ответ
36 показов

replace pandas по спискам

Нужно в pandas сделать списочную замену слов. Есть код: import pandas as pd df = pd.read_excel('replace_origin.xlsx', engine='openpyxl') df_lib = pd.read_excel('replace_lib.xlsx', engine='openpyxl') ...
Максим Царьков's user avatar
1 голос
2 ответа
34 показа

Как подтянуть данные из DF Pandas (Выбор столбца ВПР Excel)

Такой вопрос: Есть пара df (в примере столбцы упразднены) нужно на выходе получить значение следующего столбца от анализируемого. Пример: import pandas as pd df1 = pd.DataFrame({'Имя': ['Стейк свинной'...
Максим Царьков's user avatar
-4 голоса
1 ответ
65 показов

Хочу сделать диаграмму распределения по классам в Pandas [закрыт]

Хочу сделать диаграмму распределения в Pandas Для этого сделал группировку из датафрейма по 2 столбцам Но мне нужны проценты в каждом классе(Pclass) Поэтому принимаю решение создать еще один столбец с ...
Дэнис Русак's user avatar
0 голосов
2 ответа
48 показов

Прошу помочь сгруппировать одинаковые значение в строке pandas

Есть следующий dataframe состоящий из одинаковых строк. id name 1 Оператор фронтального погрузчика 2 Оператор фронтального погрузчика 3 Продавец продовольственных товаров 4 Продавец ...
Denis Dark's user avatar
2 голоса
1 ответ
55 показов

Как сделать update таблицы в БД массивом?

Подскажите пожалуйста, как можно сделать update таблицы используя массивы pd.DataFrame? Сохранился фрагмент старой функции которая сравнивала значения таблицы из БД и таблицы которая приходит по API: ...
Rett_oo's user avatar
  • 363
0 голосов
1 ответ
31 показ

содержится ли строки одного датафрейма в другом датафрейме

Есть два датафрейма с одним стобцом данных (номера): DF1 Номер 218456 789562 514 787862 894514 DF2 Номер 893514 787862 896514 789562 2184 Результат: добавить к df2 номера из df1, которые ...
Aizhan Askhatova's user avatar
-3 голоса
1 ответ
50 показов

Pandas из колонок в строки

У меня есть дф А мне нужно перевести колонки Comp1...Comp10 в одну колонку Сomp Помогите, пожалуйста
Victor56's user avatar
3 голоса
1 ответ
35 показов

Не удается переименовать столбцы в таблице Python

Не получается переименовать столбцы.Я получила файл, где первая строка таблицы стала названием колонок, поэтому использовала user_companys = pd.read_csv('user_companys-2.csv', header=None) Столбцы ...
happyanalytics's user avatar
0 голосов
3 ответа
48 показов

Удаление всех символов после пробела в отдельной колонке pandas

Не могу понять, как удалить все символы после первого пробела в столбце pandas. Вот пример кода: import pandas as pd df = pd.read_csv("log.txt", delimiter=";", names=["Date&...
Павел Божко's user avatar
1 голос
1 ответ
23 показа

Как в dataframe удалить дубликаты строк кроме первого последнего?

В списке, в колонке, несколько фамилий, необходимо удалить все, кроме первой и последней строки каждой фамилии, если такие появляются. Параметр keep не подходит, т.к. удаляет (точнее должен удалять) ...
Александр А's user avatar
1 голос
1 ответ
58 показов

Проверка наличия списка в другом списке

Подскажите пожалуйста, что не правильно работает в функции ниже? if len(in_db_not_existed) > 0: for i in dataframe.values: print("*******") print(i) print(...
Rett_oo's user avatar
  • 363
0 голосов
2 ответа
61 показ

Не удаляются выбросы в таблице pandas

Пытаюсь удалить выбросы в таблице. Данные можно скачать по этой ссылке: http://data.insideairbnb.com/belize/bz/belize/2023-03-30/visualisations/listings.csv Загружаю таблицу: df = pd.read_csv('...
Oskar's user avatar
  • 1
0 голосов
2 ответа
32 показа

как из датафрейма размером 5*5 сделать датафрейм с одним столбцом

Есть датафрейм размером 3х5 1 2 3 095 093 094 109 NaN NaN 09 10 NaN 019 020 NaN 04 05 123 Возможно ли из датафрейма 3Х5 сделать датафрейм 1Х11 без пустых значений 1 095 109 09 019 04 093 ...
Aizhan Askhatova's user avatar
1 голос
2 ответа
33 показа

из диапазона в последовательность (dataframe) [закрыт]

Есть начало и конец диапазона. Помогите вывести список всех последовательностей, если можно, в dataframe Start End 00 02 092 107 019 109 Результат: 00,01,02,092,093,094,095,096,097,098,099,100,...
Aizhan Askhatova's user avatar
-1 голос
2 ответа
51 показ

срезы в dataframe [закрыт]

Есть данные. В столбец Range New необходимо получить SN Range Start[: длина]. Заранее спасибо.
Aizhan Askhatova's user avatar
0 голосов
1 ответ
32 показа

загрузка данных с 0 в начале

Подскажите, пожалуйста, есть столбец данных, которые загружаются с excel. num 0312999 009999 005999 Но при загрузке данных в jupyter notebook 0 исчезают. Как экспортировтаь данные без изменений с ...
Aizhan Askhatova's user avatar
1 голос
1 ответ
33 показа

Ошибка [HY010] [Microsoft][ODBC Driver 13 for SQL Server]Function sequence error (0) (SQLFetch) при записи в файл

Делаю выгрузку из БД (диалект Microsoft SQL Server). Программа запускается на сервере под Линуксом, ресурс оперативной памяти ограничен. Поэтому использую функцию pd.read_sql_query() c параметром ...
Naughty Runner's user avatar
1 голос
1 ответ
24 показа

Добавление числовых значений в колонку с другой колонки [закрыт]

Не знаю, как добавить значения из 2 столбца в первый столбец в одной строке, только если там пусто. На фотографии исходный датафрейм, нужно заполнить левую колонку значениями с правой [1]: https://i....
vitaliy's user avatar
  • 13
-1 голос
1 ответ
69 показов

отбросить подряд идущие цифры [закрыт]

Есть данные в столбце num. Нужно отбросить подряд, идущие 9. num prefix 0312999 0312 589999 58 245999 245
Aizhan Askhatova's user avatar
0 голосов
1 ответ
34 показа

Как исправить ошибку, чтобы я мог реализовать машину больцмена?

Я написал простой скрипт, который должен обучиться на основе моего датасета, получать данные, и отдавать самый близкий к ним результат. Вот мой основной код: import pandas as pd from sklearn....
Givi363's user avatar
0 голосов
0 ответов
25 показов

Падение Docker контейнера при выгрузке большого pandas.Dataframe в Excel

Дисклеймер: Я не являюсь опытным разработчиком. Мой проект - веб-сервис для рассылки отчётов. Использую Django, DRF, SQLAlchemy, pandas, openpyxl Суть проекта: подключиться к БД сделать запрос ...
Naughty Runner's user avatar
1 голос
0 ответов
50 показов

Как написать функции для DataFrame, которая будет заполнять пропуски в столбцах, при этом используя данные других столбцов? Python, pandas

Пытался написать функцию для обработки датасета (для последующего использования в машинном обучении). В процессе подготовки данных столкнулся с тем, что по некоторым важным параметрам отсутствует ...
Step1709's user avatar
  • 821
1 голос
3 ответа
49 показов

Заполнение значений датафрейма через цикл

Требуется заполнить датафрейм списком, изменяющимся через цикл. Ожидается что на выходе будет датафрейм со следующими строками: x= 1 work_ls = [1] x= 2 work_ls = [1, 2] x= 3 work_ls = [1, 2, 3] x= ...
Censor's user avatar
  • 33
0 голосов
0 ответов
30 показов

Ошибка при чтении xlsx-файла, скачанного с помощью requests

Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет. Скачиваю следующим образом: def ...
Anna Shevchenko's user avatar
0 голосов
1 ответ
51 показ

Найти строку в dataframe по условию не первого вхождения

Есть dataframe, в котором один из столбцов строки содержит строку вида от 3.6.12 до 3.6.14 (Python), от 3.7.0 до 3.7.11 (Python), от 3.8.0 до 3.8.11 (Python) Мне нужно понять, входит ли в данное ...
Святослав Сергеев's user avatar
0 голосов
1 ответ
25 показов

Уже скачанный объект для pandas read_csv

df = pd.read_csv(file_patch, sep='|') прекрасно качает и парсит файл формата csv в dataframe. А как ему вскормить объект уже скачанный с помощью import httpx r = httpx.get('https://site.org/file.csv'...
GreenX5's user avatar
  • 75
0 голосов
2 ответа
37 показов

Конвертировать список строк или строковое поле SQL в datetime

Получаю из postgresql поле строк, в виде списка строк, которые выглядят как дата-время: 2022-12-29 01:17:59.274000 Надо получить список/массив/pd.Series из объектов datetime.datetime. Не было бы ...
Alexey Trukhanov's user avatar
0 голосов
1 ответ
46 показов

Найти вхождения строк в DataFrame по сравнению значения, полученного регулярным выражением

Есть структура DataFrame, в которой хранится таблица с уязвимостями (много столбцов с различной информацией, такой как Идентификатор, Наименование, Версия ПО и т.д.). Нужно отобрать определенные ...
Святослав Сергеев's user avatar
0 голосов
1 ответ
33 показа

сканирующее окно для большого датафрейма

Подскажите как оптимальней написать сканирующее окно большого df? Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
Oleksandr Krestiankin's user avatar
0 голосов
1 ответ
39 показов

Почему не работает метод replace на объекте Series

df_apps["Price"] = df_apps["Price"].replace('$', '', regex=True).astype(float) В столбце Price цены формата $1.49, пытаюсь преобразовать их в числовой формат, но получаю ошибку: ...
Kleso's user avatar
  • 59
1 голос
1 ответ
39 показов

Почему вместе с нужным листом 4, сохраняются все 20 листов при сохранение файлов Excel?

Задача: Есть шаблон файла с 20 разными таблицами для отчёта, нужно заполнить их все, используя различную логику. Я прописываю её на pandas. Далее покажу свою проблему, на примере отчёта 4: Есть файл1, ...
RoTar's user avatar
  • 30
0 голосов
0 ответов
31 показ

list comprehension c несколькими списками и условиями

Есть дата фрейм df = pd.DataFrame({'Val': [10, 150, 9, 13], 'R1':[101,102,103,104]}) требуется создать новую колонку 'Rnew' на основе имеющихся данных. условия для заполнения ...
another_one_minsk's user avatar
0 голосов
0 ответов
41 показ

Как сделать кластеры?

Подскажите, где можно найти руководство по созданию кластеров в python? Ни как не могу найти. Вот пример:
Кирилл Маколов's user avatar
0 голосов
1 ответ
34 показа

Как получить результат value_counts() Pandas Python в виде списка списков?

Результат value_counts() пакую в JSON, он выходит в таком виде s = pd.Series([3, 1, 5, 3, 9, 4]) jsn = s.value_counts(bins=3).to_json() print(jsn) {"(0.991, 3.667]":3,"(3.667, ...
GreenX5's user avatar
  • 75
0 голосов
2 ответа
37 показов

Как в pandas выбрать строки по колонке, содержащей список, заканчивающейся определённым значением?

У меня есть dataframe который содержит listlike столбец. data = {'Маршрут': ['344с', '344', '1062'], 'Остановки': [('Ховрино', 'Совхозная'), ('Ховрино', 'Зеленая', 'Аптека', 'Левобережная',...
Smoooky's user avatar
  • 28
0 голосов
0 ответов
20 показов

Как сделать рассчетный столбец с обращение к столбцу датафрейма через .at[][]?

У меня есть исходная таблица: Доходы Расходы Прибыль_убыток 18 3951.75 3694.90 19 2367.36 2397.76 20 5059.94 7034.75 21 617238.27 730198.44 22 543420.00 564063....
John Doe's user avatar