Новые ответы с меткой pandas
2
голоса
Преобразование русской даты в тип datetime pandas
pandas не понимает по умолчанию не англоязычную дату. поэтому, выставляйте локаль и вперёд.
import pandas as pd
import locale
locale.setlocale(locale.LC_TIME, 'ru_RU.UTF-8')
df = pd.DataFrame(['18-...
2
голоса
Принятый
Как найти для каждого значения pd.Series сколько из предшествующих 10 значений = ему?
Вы несколько неверно понимаете работу метода rolling. я бы порекомендовал сделать так:
import pandas as pd
import numpy as np
np.random.seed(123)
m = pd.Series(np.random.rand(100).round(1))
def ...
0
голосов
Принятый
Как заполнить ключи вложенного словаря, если они находятся в одной колонке Excel файла?
Возможно, я не совсем понял вопрос, но то, что я понял, можно сделать так:
import pandas as pd
df = pd.read_excel("1.xlsx").dropna(subset=["name"])
df = df[df["name"]!=&...
1
голос
Принятый
Есть два графика lineplot в одной оси координат. Один из графиков почему-то сдвинут по оси x
А у вас время не превратилось в тип "датавремя". Оно осталось строкой. Поэтому такой странный эффект. Преобразуйте колонку time в тип datetime явным образом:
df['time'] = pd.to_datetime(df['...
2
голоса
Группировка датафрейма по части строки и подсчет номеров элементов внутри группы
Ну буквально так и делаете:
выделяете первые две цифры
делаете по ним группировку
используете cumcount для подсчёта номера внутри группы
import pandas as pd
df = pd.DataFrame(
"""...
1
голос
Python R Как удалить строки в CSV файле по аналогичному значению столбца другого CSV файла
Недавно же был похожий вопрос.
Просто делаете инверсивную маску по индексу:
res = df1[~df1.index.isin(df2.index)]
res:
s1 s2 s3 s4
id
2222 0 2 3 4
3333 0 3 3 ...
1
голос
Принятый
(matplotlib) Как увеличить интервалы?
Как я уже советовал, либо измените размер фигуры:
pd.DataFrame(df['Category'].value_counts()).plot(kind='barh', figsize=(10,25))
либо выводите не все метки, но это вам вряд ли подойдет,
либо ...
2
голоса
Принятый
Изменение индексов временных промежутков
Вот если взять ваш пример в вопросе, то сделать можно так:
import pandas as pd
# 8 - это ваш столбец с датами
df = pd.read_csv("5.csv", header=None, parse_dates=[8])
df=df.set_index(8)
# ...
2
голоса
Принятый
Pandas: сравнить два df
Вообще, должно работать универсальное решение:
res = df1[(~df1.isin(df))].dropna()
res:
A B C D F
1 56 55 55 55 55
можно было бы поработать с методом merge, но тогда будут проблемы, ...
2
голоса
Pandas: сравнить два df
Наверное, можно короче как-то, но я только через вычитание множеств догадаться смог:
import pandas as pd
data = """A B C D F
12 34 55 5t yh
33 rt gg 34 rr
wd fg tg hh jm""...
0
голосов
Принятый
Как поменять значение в первой строке датафрейма?
Вы присваиваете 0 не ячейке в датафрейме, а значению, из него полученному. Если уж вы хотите делать именно таким способом, то такая монструозная конструкция вам должна помочь:
df.loc[df.loc[(df['Пункт ...
0
голосов
Pandas как добавить название столбцов в первую строку дата фрейма, без промежуточного сохранения в файл
А нужно именно первой строкой? Если у вас обработчик всё-равно ориентируется на названия строк (имена строк в индексе), то может разницы и нет и можно просто вот так сделать:
df.loc['name',:] = df....
1
голос
Принятый
Pandas как добавить название столбцов в первую строку дата фрейма, без промежуточного сохранения в файл
Попробуйте сделать так:
при df:
a b
0 10 100
1 20 200
2 30 300
делаем:
df = pd.concat([pd.DataFrame([df.columns.values], columns=df.columns), df], ignore_index=True)
получаем df:
a ...
0
голосов
Принятый
Промежутки времени Datafrate
Ну, примерно так:
df[(df['date'].dt.time>=dt.datetime.strptime('20:25:00','%H:%M:%S').time() )
&(df['date'].dt.time<=dt.datetime.strptime('20:55:00','%H:%M:%S').time() )]
Конкретно на ...
1
голос
Принятый
разделение содержимого столбца
Что-то вы намудрили, мне кажется
df.loc[df["Project name"].str.contains("LI|KD")] = df.loc[df["Project name"].str.contains("LI|KD")].applymap(lambda x: "-&...
1
голос
Посчитать уникальные текстовые значения в столбце нарастающим итогом (по месяцам)
Когда вы применяете группировку, аггрегирующая функция применяется только к группе.
Я бы рекомендовал сделать так:
сначала проверяете, является ли user_id дубликатом,если да, помечаете его и ...
1
голос
Принятый
Python Превратить столбец DF из json в отдельный DF
data.csv
date;json
1;{"ad_type":"banner","placement":"a","view_index":1,}
2;{"ad_type":"banner","placement":"a"...
0
голосов
как сравнить все элементы массива с определенной границей
не очень понятно сформулировано пожелание того, что должно получиться на выходе, но для сравнения значений вот такая конструкция должна работать:
(df<-0.19) | (df>0.19)
1
голос
Принятый
как сравнить все элементы массива с определенной границей
Используйте метод applymap:
import pandas as pd
df = pd.DataFrame({"a":[0,1,2], "b":[2,0,1]})
print(df)
a b
0 0 2
1 1 0
2 2 1
print(df.applymap(lambda x:( x==0)|(x>...
0
голосов
Принятый
Как сформировать DataFrame из словаря и списков
Так как это полуструктурированный JSON, поэтому берем соответствующий метод. Заодно 'dimensions' распаковываем, а 'metrics' добавляем.
df = pd.json_normalize(data, 'dimensions', ['metrics'])
...
2
голоса
Поиск числовых закономерностей(паттернов) в массиве на Python
Однозначного ответа на ваш вопрос нет.
Начнем с того, что вы даже не определили, а что есть "паттерн" в вашем представлении. Но давайте рассмотрим просто два набора чисел (кстати - вы не ...
1
голос
Принятый
Поиск числовых закономерностей(паттернов) в массиве на Python
Можно сделать так, например:
df = pd.DataFrame({
'Date' : ['2022.06.13','2022.06.12','2022.06.11','2022.06.10','2022.06.9','2022.06.8','2022.06.7','2022.06.6', '2022.06.5','2022.06.4','2022.06.3',...
1
голос
не могу привести к int
\xa0 - это неразрывный пробел. Его только вручную заменять:
import pandas as pd
df = pd.DataFrame({'data': ['2\xa0098', '2\xa00456', '1\xa0234']})
df['data'] = df['data'].str.replace('\xa0', '')....
3
голоса
Принятый
Timestamp преобразовать в дату pandas - любой вариант выдает ошибку
import pandas as pd
from datetime import datetime
a = [[1513382400000, 702.244612799479],
[1513468800000, 728.700471211578],
[1513555200000, 798.115404033608],
[1513641600000, 829.989201766042],
[...
2
голоса
Построение сложной столбчатой диаграммы pandas
Я не совсем уверен, что правильно понял, что вы хотите, но если речь о гистограмме, то можно сделать так:
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("dataframe.csv"...
2
голоса
Принятый
Построение сложной столбчатой диаграммы pandas
Я был не прав, нужно использовать параметр palette. Ну и, чтобы всё уместилось, лучше имена писать по оси y. Цвета сами подберёте наиболее подходящие, я не дизайнер что-то совсем. Ну и по-хорошему ...
0
голосов
удаление столбцов по значению в таблице pandas
Что-то типа такого:
df = df.loc[:, (df != 5).all(axis=1)]
0
голосов
Как красиво вывести таблицу, ровно по полям?
```
from prettytable import PrettyTable
x = PrettyTable()
x.field_names = ["City name", "Area", "Population", "Annual Rainfall"]
x.add_row(
[
["Adelaide", 1295, 1158259, 600.5],
...
0
голосов
Почему не объединяются датафреймы внутри цикла?
Как это сделать правильно?
a_list = [x, y, z, ...] # сколько нужно
result = a_list[0] # первый
for i in a_list[1:] # для всех остальных
result = result.merge(i, ...)
1
голос
Принятый
Почему не объединяются датафреймы внутри цикла?
Метод .merge() не изменяет датафрейм, на который вы его применили, только возвращает новый датафрейм.
Чтобы сохранить этот новый датафрейм, нужно его присвоить какой-нибудь переменной:
df_merged = con....
0
голосов
Принятый
Отобразить столбцы в csv
Используйте стандартную группировку, примерно так:
df_grouped = df.groupby(['Улица','№ дома'])['Начислено'].sum().reset_index()
1
голос
Принятый
Как циклом создавать новый df1, df2....dfn из каждой колонки и записывать новые df на разные листы эксель файла
Не совсем понятно, зачем так всё сложно, но вот, например, собираем колонки в отдельные значения словаря, ключ - номер колонки:
df_dict = {}
for i, col in enumerate(df):
df_dict[i] = df.loc[:,col]
...
0
голосов
Формат даты в датафрейме
На сколько я понимаю, вы желаете невозможного. В пакете datetime объект типа date (и соответственно - datetime) ВСЕГДА представляется как составной объект из трех компонент year, month, day. Что легко ...
2
голоса
Принятый
Переделать Словарь, где значения это список из списков в DataFrame
Сначала вам нужно преобразовать списки в словаре так, чтобы они удовлетворяли условию. Далее преобразуем словарь в датафрейм и производим распаковку:
import pandas as pd
dct = {101:[['apple', 'fruit']...
1
голос
Принятый
Удалить строки в Dataframe выше медианы по условию
Да вроде ничего сложного. Буквально всё делается:
df = df.merge(df.groupby('partnumber').median().reset_index(), on='partnumber', suffixes=('','_'))
df = df.loc[df['price'] <= df['price_']].drop(...
2
голоса
Принятый
Фильтрация типов данных
Примерный сценарий:
Пытаемся преобразовать колонку с предположительными датами в даты (можно при желании указать точный формат и другие параметры)
Отфильтруем из получившегося NA и нереалистичные ...
1
голос
Принятый
Не удается копирование столбца из одного dataframe в другой
Помимо уже отмеченных ошибок с StandartScaler вместо StandardScaler и days вместо day, основная проблема у вас в том, что вы делаете новый датафрейм и у него индексы сбрасываются, а при копировании ...
1
голос
Принятый
Оптимизация сортировки - Python
Работу замедляют проверки вида not in для списков и вызовы .index() для них же. Если рядом со списком завести словарь, то оба вызова из линейных (от длины списка) станут константными (обращение к ...
1
голос
Принятый
Pandas пропуск строки и добавление значений в начало таблицы
Второй вопрос я не понял, а по первому просто делаете ещё один датафрейм и присоединяете свой к нему:
df1 = pd.DataFrame([['Имя товара', 'Имя'],['Ссылка на товар', 'Ссылка']])
df = pd.concat([df1, df])...
1
голос
Фильтр DataFrame по строкам и числам
Воспользуйтесь методом .isin:
choose = new_df[new_df['BMW X5'].isin(['red', 3.])]
BMW X5
1 red
2 3.0
0
голосов
Принятый
Сопоставить два датафрейма
Что-то вы намудрили с задачей и с исходными данными. Непонятно, зачем вам вообще нужен df1, если ы все равно перемножаете и суммируете все столбцы.
Можете сначала для наглядности сгруппировать фрейм ...
1
голос
Посчитать количество значений в столбцах датафрейма в Питоне
Команда ниже даст желаемый результат:
df[['Netflix','Hulu','Prime Video','Disney+']].sum()
Успехов!
1
голос
Разделение ячеек в колонке на определенные группы исходя из текстового значения в другой колонке
Самый простой вариант - сделать так:
df["Column 2"] ="Значение " + df.groupby("Column 1").ngroup().astype(str)
df:
Column 1 Column 2
...
0
голосов
Преобразовать вложенный словарь в dataframe
Более правильное решение задачи - так как данные объекты почти JSON:
df = pd.DataFrame()
for adds in lst:
df = pd.concat([df, pd.json_normalize(adds)], ignore_index=True)
50 лучших ответов включены
Связанные метки
pandas × 2577python × 2433
dataframe × 1263
python-3.x × 458
numpy × 323
обработка-данных × 252
анализ-данных × 206
csv × 185
excel × 129
matplotlib × 129
group-by × 111
datetime × 98
машинное-обучение × 83
парсер × 59
scikit-learn × 45
join × 36
оптимизация × 35
json × 33
pivot × 33
nan × 30
регулярные-выражения × 29
циклы × 28
seaborn × 28
статистика × 26
визуализация × 26