Вопросы с меткой [pandas]
Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.
2,985
вопросов
0
голосов
0
ответов
25
показов
парсинг по вложенным спискам
4-й день воюю с задачей, вопрос следующий:
Есть пара DF (очевидно что фреймы тестовые - реальные немного отличаются но суть та же):
import pandas as pd
df = pd.DataFrame({'Отдел': ['отд_1', 'отд_1', '...
0
голосов
1
ответ
37
показов
Как сократить цифры в колонках таблицы до двух сотых, применяя .style в функции? python
Пишу функцию для вывода таблиц с одинаковым стилем. Никак не могу в колонках с типом float сократить цифры до двух сотых. Вернее убрать лишние нули.
Сейчас таблица выглядит так.
Мой код:
def ...
0
голосов
3
ответа
41
показ
Как удалить текстовые значения в ячейке xslx с помощью pandas?
Есть большой xslx файл (пример привёл ниже). Вопрос: как мне удалить в файле все строки, в одной ячейке которой, есть слово "Итог"? Нужно именно удалить, а не отфильтровать)) никак не могу ...
1
голос
3
ответа
31
показ
Как применить функцию только к некоторым столбцам датафрейма?
import pandas as pd
def pr(income):
if random.random() > 0,8:
return [int(round(income[0]*income[1] , -1 )) , income[0]+income[1]]
else:
return [income[0] , income[1]]
...
1
голос
1
ответ
32
показа
Заполнить NaN в столбце, по данным из другого, если те не входят в определенный список?
Датафрейм:
name
year_of_release
platform
Rayman Arena
2001.0
PS2
Rayman Arena
2002.0
GBA
Rayman Arena
NaN
GC
Madden NFL 2004
2003.0
XB
Madden NFL 2004
NaN
GBA
Madden NFL 2004
NaN
PS2
Я хочу ...
1
голос
1
ответ
39
показов
Как раскрыть словарь внутри датафрейма
Необходимо раскрыть в датафрейме колонки posting, items, services, чтобы получился единый датафрейм. Подскажите пожалуйста как правильно действовать в таких ситуациях ?
{'result': {'operations': [{'...
0
голосов
2
ответа
62
показа
Удаление строки в файле Excel с помощью Python Pandas на основе нескольких условий
Пытаюсь решить задачу удаления строк в excel файле на основании нескольких условий (нужно удалить строки содержащте ячейки с цифрами не равными 0 и имеющие ячеки содержащие "+").
...
0
голосов
0
ответов
41
показ
python не ставятся модули numpy и pandas
"Раньше всё работало".
Переставил Python (был 3.8.7)
win 32 bit
Пробовал версии 3.8.7 / 3.10.11 / 3.11.3
Ставлю модуль Pandas:
python -m pip install pandas
Сообщает, что успешно установлено.
...
-1
голос
1
ответ
27
показов
Как сделать столбец по времени с условиями? В какой тип данных перевести, чтобы посчитать
При расчете стоит 2 задачи:
есть отдельный столбец "Время". Нужно посчитать по нему разницу. Например, от каждой даты нужно начинать сначала, те первая ноль, а дальше 1- предыдущая дата - ...
1
голос
1
ответ
33
показа
VS Code криво показывает кириллицу во вкладке "Выходные данные" (Python). Не могу победить
Всем доброго дня!
Вопрос явно избитый, но почему-то не могу нагуглить ответ. Вопрос простой: пишу код на Python в VSCode(обновлен до последней версии), надо посмотреть вывод во вкладке "Выходные ...
1
голос
4
ответа
61
показ
последовательный срез по одному символу номера
Есть номер 466896223223.
Нужно вывести в dataframe последовательный срез по одному символу с конца.
Результат:
466896223223
46689622322
4668962232
466896223
46689622
4668962
466896
46689
4668
...
0
голосов
2
ответа
38
показов
Разделение строк df pandas на определенный делитель
Подскажите как можно разделить строки на кратное количество.
Из такого
A B C
0 a b 16 # Делитель 2
1 a c 22 # Делитель 3
2 b d 12 # Делитель 5
Получить такой
A B ...
0
голосов
4
ответа
39
показов
Извлечь данные из столбца DataFrame формата словаря
В столбце 'production countries' (pandas.DataFrame) датасета 'data' все данные выглядят подобным образом: [{"iso_3166_1": "IN", "name": "India"}] и имеют тип ...
1
голос
2
ответа
25
показов
Pandas - Сложить все значения в списке ячейки
Есть датафрейм такого вида:
x
y
z
[1.0, 2.0]
[5.0, 2.0]
[7.0, 1.0]
[2.0, 2.0]
[1.0, 2.0]
[7.0, 1.0]
Нужно сложить списки в каждой ячейке, т.е. превратить в такой:
x
y
z
3.0
7.0
8.0
4.0
3.0
8.0
...
0
голосов
1
ответ
36
показов
replace pandas по спискам
Нужно в pandas сделать списочную замену слов.
Есть код:
import pandas as pd
df = pd.read_excel('replace_origin.xlsx', engine='openpyxl')
df_lib = pd.read_excel('replace_lib.xlsx', engine='openpyxl')
...
1
голос
2
ответа
34
показа
Как подтянуть данные из DF Pandas (Выбор столбца ВПР Excel)
Такой вопрос: Есть пара df (в примере столбцы упразднены) нужно на выходе получить значение следующего столбца от анализируемого. Пример:
import pandas as pd
df1 = pd.DataFrame({'Имя': ['Стейк свинной'...
-4
голоса
1
ответ
65
показов
Хочу сделать диаграмму распределения по классам в Pandas [закрыт]
Хочу сделать диаграмму распределения в Pandas
Для этого сделал группировку из датафрейма по 2 столбцам
Но мне нужны проценты в каждом классе(Pclass)
Поэтому принимаю решение создать еще один столбец с ...
0
голосов
2
ответа
48
показов
Прошу помочь сгруппировать одинаковые значение в строке pandas
Есть следующий dataframe состоящий из одинаковых строк.
id
name
1
Оператор фронтального погрузчика
2
Оператор фронтального погрузчика
3
Продавец продовольственных товаров
4
Продавец ...
2
голоса
1
ответ
55
показов
Как сделать update таблицы в БД массивом?
Подскажите пожалуйста, как можно сделать update таблицы используя массивы pd.DataFrame?
Сохранился фрагмент старой функции которая сравнивала значения таблицы из БД и таблицы которая приходит по API:
...
0
голосов
1
ответ
31
показ
содержится ли строки одного датафрейма в другом датафрейме
Есть два датафрейма с одним стобцом данных (номера):
DF1
Номер
218456
789562
514
787862
894514
DF2
Номер
893514
787862
896514
789562
2184
Результат: добавить к df2 номера из df1, которые ...
-3
голоса
1
ответ
50
показов
Pandas из колонок в строки
У меня есть дф
А мне нужно перевести колонки Comp1...Comp10 в одну колонку Сomp
Помогите, пожалуйста
3
голоса
1
ответ
35
показов
Не удается переименовать столбцы в таблице Python
Не получается переименовать столбцы.Я получила файл, где первая строка таблицы стала названием колонок, поэтому использовала
user_companys = pd.read_csv('user_companys-2.csv', header=None)
Столбцы ...
0
голосов
3
ответа
48
показов
Удаление всех символов после пробела в отдельной колонке pandas
Не могу понять, как удалить все символы после первого пробела в столбце pandas.
Вот пример кода:
import pandas as pd
df = pd.read_csv("log.txt", delimiter=";", names=["Date&...
1
голос
1
ответ
23
показа
Как в dataframe удалить дубликаты строк кроме первого последнего?
В списке, в колонке, несколько фамилий, необходимо удалить все, кроме первой и последней строки каждой фамилии, если такие появляются.
Параметр keep не подходит, т.к. удаляет (точнее должен удалять) ...
1
голос
1
ответ
58
показов
Проверка наличия списка в другом списке
Подскажите пожалуйста, что не правильно работает в функции ниже?
if len(in_db_not_existed) > 0:
for i in dataframe.values:
print("*******")
print(i)
print(...
0
голосов
2
ответа
61
показ
Не удаляются выбросы в таблице pandas
Пытаюсь удалить выбросы в таблице. Данные можно скачать по этой ссылке: http://data.insideairbnb.com/belize/bz/belize/2023-03-30/visualisations/listings.csv
Загружаю таблицу:
df = pd.read_csv('...
0
голосов
2
ответа
32
показа
как из датафрейма размером 5*5 сделать датафрейм с одним столбцом
Есть датафрейм размером 3х5
1
2
3
095
093
094
109
NaN
NaN
09
10
NaN
019
020
NaN
04
05
123
Возможно ли из датафрейма 3Х5 сделать датафрейм 1Х11 без пустых значений
1
095
109
09
019
04
093
...
1
голос
2
ответа
33
показа
из диапазона в последовательность (dataframe) [закрыт]
Есть начало и конец диапазона. Помогите вывести список всех последовательностей, если можно, в dataframe
Start
End
00
02
092
107
019
109
Результат: 00,01,02,092,093,094,095,096,097,098,099,100,...
-1
голос
2
ответа
51
показ
срезы в dataframe [закрыт]
Есть данные. В столбец Range New необходимо получить SN Range Start[: длина].
Заранее спасибо.
0
голосов
1
ответ
32
показа
загрузка данных с 0 в начале
Подскажите, пожалуйста, есть столбец данных, которые загружаются с excel.
num
0312999
009999
005999
Но при загрузке данных в jupyter notebook 0 исчезают. Как экспортировтаь данные без изменений с ...
1
голос
1
ответ
33
показа
Ошибка [HY010] [Microsoft][ODBC Driver 13 for SQL Server]Function sequence error (0) (SQLFetch) при записи в файл
Делаю выгрузку из БД (диалект Microsoft SQL Server).
Программа запускается на сервере под Линуксом, ресурс оперативной памяти ограничен.
Поэтому использую функцию pd.read_sql_query() c параметром ...
1
голос
1
ответ
24
показа
Добавление числовых значений в колонку с другой колонки [закрыт]
Не знаю, как добавить значения из 2 столбца в первый столбец в одной строке, только если там пусто. На фотографии исходный датафрейм, нужно заполнить левую колонку значениями с правой
[1]: https://i....
-1
голос
1
ответ
69
показов
отбросить подряд идущие цифры [закрыт]
Есть данные в столбце num.
Нужно отбросить подряд, идущие 9.
num
prefix
0312999
0312
589999
58
245999
245
0
голосов
1
ответ
34
показа
Как исправить ошибку, чтобы я мог реализовать машину больцмена?
Я написал простой скрипт, который должен обучиться на основе моего датасета, получать данные, и отдавать самый близкий к ним результат.
Вот мой основной код:
import pandas as pd
from sklearn....
0
голосов
0
ответов
25
показов
Падение Docker контейнера при выгрузке большого pandas.Dataframe в Excel
Дисклеймер: Я не являюсь опытным разработчиком.
Мой проект - веб-сервис для рассылки отчётов.
Использую Django, DRF, SQLAlchemy, pandas, openpyxl
Суть проекта:
подключиться к БД
сделать запрос
...
1
голос
0
ответов
50
показов
Как написать функции для DataFrame, которая будет заполнять пропуски в столбцах, при этом используя данные других столбцов? Python, pandas
Пытался написать функцию для обработки датасета (для последующего использования в машинном обучении).
В процессе подготовки данных столкнулся с тем, что по некоторым важным параметрам отсутствует ...
1
голос
3
ответа
49
показов
Заполнение значений датафрейма через цикл
Требуется заполнить датафрейм списком, изменяющимся через цикл. Ожидается что на выходе будет датафрейм со следующими строками:
x= 1 work_ls = [1]
x= 2 work_ls = [1, 2]
x= 3 work_ls = [1, 2, 3]
x= ...
0
голосов
0
ответов
30
показов
Ошибка при чтении xlsx-файла, скачанного с помощью requests
Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет.
Скачиваю следующим образом:
def ...
0
голосов
1
ответ
51
показ
Найти строку в dataframe по условию не первого вхождения
Есть dataframe, в котором один из столбцов строки содержит строку вида
от 3.6.12 до 3.6.14 (Python), от 3.7.0 до 3.7.11 (Python), от 3.8.0 до 3.8.11 (Python)
Мне нужно понять, входит ли в данное ...
0
голосов
1
ответ
25
показов
Уже скачанный объект для pandas read_csv
df = pd.read_csv(file_patch, sep='|')
прекрасно качает и парсит файл формата csv в dataframe.
А как ему вскормить объект уже скачанный с помощью
import httpx
r = httpx.get('https://site.org/file.csv'...
0
голосов
2
ответа
37
показов
Конвертировать список строк или строковое поле SQL в datetime
Получаю из postgresql поле строк, в виде списка строк, которые выглядят как дата-время:
2022-12-29 01:17:59.274000
Надо получить список/массив/pd.Series из объектов datetime.datetime.
Не было бы ...
0
голосов
1
ответ
46
показов
Найти вхождения строк в DataFrame по сравнению значения, полученного регулярным выражением
Есть структура DataFrame, в которой хранится таблица с уязвимостями (много столбцов с различной информацией, такой как Идентификатор, Наименование, Версия ПО и т.д.).
Нужно отобрать определенные ...
0
голосов
1
ответ
33
показа
сканирующее окно для большого датафрейма
Подскажите как оптимальней написать сканирующее окно большого df?
Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
0
голосов
1
ответ
39
показов
Почему не работает метод replace на объекте Series
df_apps["Price"] = df_apps["Price"].replace('$', '', regex=True).astype(float)
В столбце Price цены формата $1.49, пытаюсь преобразовать их в числовой формат, но получаю ошибку:
...
1
голос
1
ответ
39
показов
Почему вместе с нужным листом 4, сохраняются все 20 листов при сохранение файлов Excel?
Задача: Есть шаблон файла с 20 разными таблицами для отчёта, нужно заполнить их все, используя различную логику. Я прописываю её на pandas. Далее покажу свою проблему, на примере отчёта 4:
Есть файл1, ...
0
голосов
0
ответов
31
показ
list comprehension c несколькими списками и условиями
Есть дата фрейм
df = pd.DataFrame({'Val': [10, 150, 9, 13],
'R1':[101,102,103,104]})
требуется создать новую колонку 'Rnew' на основе имеющихся данных.
условия для заполнения ...
0
голосов
0
ответов
41
показ
Как сделать кластеры?
Подскажите, где можно найти руководство по созданию кластеров в python? Ни как не могу найти.
Вот пример:
0
голосов
1
ответ
34
показа
Как получить результат value_counts() Pandas Python в виде списка списков?
Результат value_counts() пакую в JSON, он выходит в таком виде
s = pd.Series([3, 1, 5, 3, 9, 4])
jsn = s.value_counts(bins=3).to_json()
print(jsn)
{"(0.991, 3.667]":3,"(3.667, ...
0
голосов
2
ответа
37
показов
Как в pandas выбрать строки по колонке, содержащей список, заканчивающейся определённым значением?
У меня есть dataframe который содержит listlike столбец.
data = {'Маршрут': ['344с', '344', '1062'],
'Остановки': [('Ховрино', 'Совхозная'), ('Ховрино', 'Зеленая', 'Аптека', 'Левобережная',...
0
голосов
0
ответов
20
показов
Как сделать рассчетный столбец с обращение к столбцу датафрейма через .at[][]?
У меня есть исходная таблица:
Доходы Расходы Прибыль_убыток
18 3951.75 3694.90
19 2367.36 2397.76
20 5059.94 7034.75
21 617238.27 730198.44
22 543420.00 564063....