Вопросы с меткой [pandas]
Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.
2,530
вопросов
0
голосов
0
ответов
30
показов
Преобразовать вложенный словарь в dataframe
Имеются след. исходные данные , которые нужно преобразовать в dataframe :
[{'id': 11029,
'name': 'Ростовская область',
'parent': {'id': 26,
'name': 'Южный федеральный округ',
...
1
голос
1
ответ
13
показов
Заменить пустые значения pandas
подскажите как заменить пустые значения быстро, имею таблицу
d = {'col1': [1, 2, np.nan, np.nan], 'col2': [1, 2, 3, 4]}
df = pd.DataFrame(data=d)
нужно заменить значения отсутствующие колонки в col1 ...
0
голосов
1
ответ
21
показ
Добавление областей и линий на график из фрейма данных
Мне требуется нарисовать диаграмму Парето. Делаю это следующим образом:
data = pd.DataFrame({"Вид дефекта":["А","Б","В","Г","Д","Е"...
0
голосов
3
ответа
29
показов
Как при сортировке в Pandas одну из строк поместить в конец вне зависимости от её значения
Есть датафрейм, содержащий следующие значения:
Мне требуется отсортировать его по столбцу Кол-во, однако строка с "Вид дефекта" = "Прочее" должна остаться в конце. Подскажите, ...
0
голосов
1
ответ
31
показ
Взять значения по индексам
Есть расчетная векторная величина sum_concentrat взятая из df_full.
пример:
sum_concentrat = df_full[1]+df_full[2]+df_full[3]+df_full[4]
есть нулевые значения данного показателя.
ВОПРОС: Как убрать ...
-2
голоса
0
ответов
32
показа
Нужна помощь с парсингом данных [закрыт]
Парсинг данных.
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
1.1 Парсинг данных
# Загрузка данных из репозитория
df=pd.read_csv('https://raw.githubusercontent.com/owid/...
0
голосов
1
ответ
33
показа
как сохранить правильный порядок строк pandas
Код:
import pandas as pd
df1 = pd.DataFrame({ 'Name' : ['LingS', 'DoammB', 'VoammE', 'CommI'],
'ID' : ['DOAM4', 'LOAM4', 'COAM2', 'VOAM1']})
df2 = pd.DataFrame({ 'ID' : ['DOAM4'...
0
голосов
1
ответ
21
показ
Как удалить столбцы с типом данных object?
У меня есть df в котором 149 столбцов. Мне нужно удалить из него поля с типом данных object.
Подскажите, как это можно сделать?
вот пример df:
Sher = [None, None, None] - object
Hlop = [0.1, 0.7, None]...
0
голосов
2
ответа
28
показов
Как можно ускорить обработку текста в Python
У меня есть *.csv файлик, в котором около 40000 наименований товаров. Из них 2-3k уникальных названий имеют по 2-3 схожих (слегка видоизмененных) наименования, но не полностью похожи. Я их сравниваю ...
0
голосов
1
ответ
21
показ
Обработка дат разных локализаций в Pandas. PyICU или "ручками"?
При работе с интернет магазином приходится обрабатывать данные разных локализаций. В них присутствует дата, которая важна для обработки. Естественно, формат даты разный в смысле разных языков - ...
0
голосов
1
ответ
8
показов
Обрезание текста в Pandas и замена обрезанного троеточиями
Имеется следующий код:
import pandas as pd
pd.set_option('display.width', 10000)
pd.set_option('display.max_rows', 1000)
df = pd.read_excel("body/tabl.xlsx")
text = df.loc[(df['...
0
голосов
2
ответа
27
показов
Запись списка строкой в Excel python
У меня есть список values = [1, 2, 3, 4, 5]. Мне нужно его записать строкой (то есть в ячейки A1, B1, C1, D1, E1) в excel. Выходило лишь записать в столбец. Список может быть разной длины. Может, кто ...
0
голосов
0
ответов
18
показов
phyton/pandas: Отбор данных из таблицы по двум значениям из одного столбца
Всем привет! Помогите пожалуйста, вытащить данные из столбца по 2-м признакам.
В общем, у нас есть датафрейм, с данными по продажам игр:
Сперва я отбираю игры по определенным платформам в сводную ...
-1
голос
0
ответов
14
показов
Ошибка индексации при заполнении dataframe данными [закрыт]
Есть данные о погоде, идущие с локального сервера HomeAssistant через MariaDB и MyPHPAdmin, у каждой переменной свое время обновления данными.
Пример входных данных:
Сгруппировал датафрейм по двум ...
0
голосов
0
ответов
15
показов
Как скрывать текст выходящий за рамки ячейки Excel в Pandas?
Как при сохранение датафрейма Pandas в excel сделать, чтобы текст(в моем случае ссылка) не выходил за рамки своей ячейки, а то что заходит - пряталось?
-1
голос
1
ответ
16
показов
Добавить диапазон дат к каждому id
Есть df с одним столбцом id. Мне необходимо к каждому id добавить диапазон дат. id много больше 100 тысяч. подробнее на фото. Для примера для двух id добавлены даты от 01.04.2022 до 03.04.2022.
0
голосов
0
ответов
13
показов
Как сделать столбец индексом в обеих таблицах
Есть таблица df_train в ней присутсвуют только признаки БЕЗ целевого. По ней нужно обучить модель. Целевой признак находится в другой таблице, она больше, чем df_train, т.к это полный датасет df_full. ...
0
голосов
1
ответ
56
показов
как по условию (значение в столбце) искать подстроки в другом столбце на Python циклично
Здраствуйте, нужно сделать поиск подстроки в строке по условию во втором столбце. У меня есть 2 dataframe:
df1 = {'Descr': ["VALVE, PRESSURE", "pump ttf", "Valve, electrical&...
0
голосов
1
ответ
28
показов
Анализ логов IIS с использованием pandas
Задача сама по себе не сложная и решается силами чистого питона плюс-минус понятно, но пытаюсь прикрутить к ее решению pandas. Раньше для подобных задач все конвертил в эксель, но в данном случае (...
0
голосов
1
ответ
21
показ
Pandas построение графика для определения накладывающихся друг на друга задач
У меня есть датафрейм с 3 колонками Type, Start, END. Type колонка указывает название повторяющейся задачи, Start и END время начала и окончания этой задачи. Например дф, с небольшой выборкой
d1 = ...
0
голосов
0
ответов
14
показов
Сделать заливку и границы ячеек выгрузки Pandas в Excel
Всем привет! Не ругайтесь плиз, пришлось взяться за работу, в которой понимаю не много)
У меня есть фрейм в pandas, который я выгружаю в документ эксель. Я бы хотел залить заголовки фрейма одним ...
0
голосов
1
ответ
22
показа
Два графика boxplot внутри одного
Как отобразить два графика boxplot на одном графике. Имеются два одинаковых по названию столбца, но в разных датасетах. Они в одном масштабе и с одинаковыми единицами измерения.
a=df_train['rougher....
1
голос
3
ответа
56
показов
Pandas read_csv() выдает ошибку ParserError: Error tokenizing data. C error: EOF inside string
В обработке файлов получаю их из разных источников и разных кодировок. Поэтому в цикле перебираю возможные кодировки из списка en_codings = ['utf-8', "cp1250", "cp1251", "...
0
голосов
0
ответов
16
показов
Посчитать количество различных вкусов чипсов Doritos
Делаю задачу по анализу данных на pandas
Цель - посчитать количество различных вкусов чипсов Doritos
Моя основная проблема - в датасете есть указание размера упаковки чипсов => чипсы одного вкуса в ...
0
голосов
1
ответ
14
показов
Как сгруппировать значения в столбике из таблицы и чтоб группировка шла от большего к меньшему?
meaned = df.groupby(['Инструментальность']).mean()
Но группировка идет от меньшего к большему, а надо наоборот.
1
голос
1
ответ
37
показов
Как посчитать количество символов в строке в python?
Есть таблица, в ней есть столбец с названиями песен (сам столбец называется song_name).
Надо найти 5 самых которых названий (по символам) и 5 самых длинных.
С помощью каких команд можно посчитать ...
0
голосов
0
ответов
14
показов
Проблема с установкой google colab
Пыталась решить простенькую задачу
from google.colab import files
import numpy as np
file = files.upload()
!ls
my_array = np.loadtxt('train_vector.csv', delimiter=',')
type(my_array)
Выдаёт
No ...
0
голосов
0
ответов
31
показ
pandas парсинг htlm таблицы
Есть HTML файл из таблицами. Их приблизительно 100шт. и у всех часто одинаковые значения. Нестатическими являются значения во втором и первом столбце всех таблиц (это те колонки, с которыми я буду ...
0
голосов
2
ответа
53
показа
Группировка данных по столбцам в csv файле
Всем привет! Подскажите, пожалуйста, как сгруппировать значения в csv? Привожу пример. В файле csv есть столбцы с именованием городов:
Москва Калининград Курск
Нужно получить таблицу с группировкой по ...
0
голосов
1
ответ
55
показов
Pandas как получить ближайшую меньшую дату
Дан df:
a = pd.DataFrame([{'b': 'Собака', 'c': 'Кот', 'd': 18.12.2012},
{'b': 'Еж', 'c': 'Птица', 'd': 15.12.2012},
{'b': 'Кот', 'c': 'Еж', 'd': 16.12.2012},
{...
0
голосов
1
ответ
32
показа
python сортировка колонки датафрейма по нескольким ключам
Предположим есть датафрейм такого вида (колонок может быть больше):
d = {'ATTRIBUTE_NAME':
['Raw_Read_Error_Rate',
'Reallocate_NAND_Blk_Cnt',
'Power_On_Hours',
'...
1
голос
1
ответ
48
показов
pandas сортировка по столбцам
Есть DF:
IDs
Names
group
Projects
TIRL002
WebSupp1
0
KLL-0223
TIRL003
WebSupp1
0
KLL-0224
TIRL004
WebSupp1
0
KLL-0225
TIRL005
WebSupp3
11
KLL-0226
TIRL006
WebSupp3
11
TIRL007
WebSupp3
11
...
1
голос
3
ответа
29
показов
Как сравнить значения списка строки датафрейма с константным значением?
Имеется датафрейм с колонкой содержащей список значений.
Примерно такого вида:
Нужно создать новую колонку, в которой будет сравниваться константное значение с каждым значением списка. Если все ...
0
голосов
1
ответ
17
показов
Как разделить значение столбца DF по условию?
Есть DataFrame с множеством столбцов, в одном из них 'age' часть данных вместо дней записана в часах. По данным сразу видно что данные свыше 1000 это часы.
Не могу понять как, с помощью pandas, ...
0
голосов
0
ответов
34
показа
python pandas как получить индекс строки содержащей минимальное значение в столбце
Есть такой dataframe: df
id
datetime
high
close
1
2022-05-02
1.0542
1.46579
2
2022-05-03
1.04187
1.42004
minimum_close = df.close.min()
Как можно получить индекс строки или значение даты для ...
0
голосов
1
ответ
14
показов
Как удалить столбцы или строки , в которых по меньшей мере X значений НЕ Nan?
С помощью dropna я могу удалить столбцы или строки в которых сколько-то значений Null?
Например:
#Датафрейм gl3: удалить из gl1 сначала строки, в которых по меньшей мере 130 значений Nan,
gl3 = gl1....
0
голосов
0
ответов
18
показов
Как обрабатывать серии с многоуровневой индексацией в pandas?
Допустим у меня есть таблица данных по лапшчике, в ней есть столбцы brand, country, style, stars. Самые важные на данный момент это столбцы country и style, первый содержит в себе соответственно ...
0
голосов
1
ответ
15
показов
Как у всех столбцов в DF Pandas увидеть значения min/max не являющихся выбросами
Есть набор DF. Подскажите, пожалуйста, как можно увидеть у всех столбцов минимальное и максимальное значение не являющиеся выбросами (обведены на скрине)? При вызове метода df.describe() эти данные не ...
0
голосов
0
ответов
21
показ
ValueError при работе с фиктивными переменными
Я делаю задание на построение модели линейной регрессии и тут возникает ошибка при присвоении переменной нового значения
Для начала мой датасет:
import pandas as pd
ind = [5375, 11681, 5325, 679, ...
0
голосов
1
ответ
23
показа
Python, Pandas: Разбить период даты построчно
Прошу помочь разбить период даты построчно, как на примере:
Файл: data.xlsx.
1
голос
2
ответа
59
показов
Поиск заголовка в текстовом файле Python Pandas
Итак, есть несколько вот таких файлов, в которые каждый день пишется SMART дисков.
Пример содержимого
23.04.2022 15:57:51,76
smartctl 7.0 2018-12-30 r4883 [i686-w64-mingw32-w10-b19041(64)] (sf-7.0-1)
...
0
голосов
1
ответ
20
показов
Построить гистограмму распределения целевой переменной и рассчитать коэффициент наклона
Нужно построить гистограмму распределения целевой переменной и рассчитать коэффициент наклона. У меня есть кусок с датасета и описание каждой с переменных
import pandas as pd
ind = [5375, 11681, 5325, ...
2
голоса
2
ответа
19
показов
Не выполнять замену строки если не выполняется правило регулярного выражения
есть список ссылок и существует список из правил, согласно которым необходимо из этих строк вытащить определенную часть строки, если же правило не подходит, то ничего не отображать
был написан такой ...
0
голосов
0
ответов
23
показа
Сохранение файлов циклично
Как можно организовать генерацию нового файла каждую итерацию? В программе в образец (картинку) вставляю определенные данные из Excel.
from PIL import Image, ImageDraw, ImageFont
import pandas as pd
...
-3
голоса
1
ответ
44
показа
Как найти 3 самые сильные корреляционные связи в DataFrame pandas? [закрыт]
У меня есть DataFrame, нужно найти 3 самые сильные корреляционные связи. Как это можно сделать?
0
голосов
1
ответ
23
показа
Python запись строк Excel в множество txt файлов
Всем привет, подскажите как реализовать, чтобы 1 строка Excel равнялась 1 txt файлу, у меня никак не получается это реализвать. К примеру: 1 строчка эксель файла записывалась в один txt файл построчно,...
1
голос
1
ответ
33
показа
Как в столбце найти индекс ближайшего сверху противоположного значения от текущего
import pandas as pd
import numpy as np
df=pd.DataFrame.from_dict({'Color':['black','black','white','white']},orient='index').transpose()
df['serch_index']=np.nan
Для первого значения 'white' ...
0
голосов
1
ответ
16
показов
Как в датафрейме сравнить 2 столбца на наличие несовпадений более чем в 1 символ?
У меня есть датафрейм,
в нем есть df['x'] - столбец и df['y'] - столбец.
В этих столбцах, в каждой строке содержится по 7-8 символов. Нужно найти те, где различий больше, чем в 1 символ.
1
голос
0
ответов
28
показов
Слияние многосегментных временных рядов при помощи pandas.merge_asof()
Есть два набора данных:
Набор ежедневных значений множества однородных объектов (много клиентов и их транзакции, много магазинов и их ежедневные продажи). Они организованные в длинную таблицу так, ...
0
голосов
1
ответ
8
показов
ошибка при сортировке dataframe pandas
Имею фрейм:
d.groupby(['наименование']).describe()
пытаюсь отсортировать по колонке - 50% (медиана):
d.groupby(['наименование']).describe().sort_values(by='50%')
получаю ошибку:
Что не так, как ...