Вопросы с меткой [dataframe]
Фрейм данных - это табличная структура данных. Обычно он содержит данные, в которых строки являются наблюдениями, а столбцы-переменными различных типов. В то время как "data frame" или "dataframe"-это термин, используемый для этого понятия в нескольких языках (R, Apache Spark, deedle, Maple, библиотека pandas в Python и библиотека DataFrames в Julia), "table"-это термин, используемый в MATLAB и SQL.
1,335
вопросов
0
голосов
1
ответ
26
показов
Обратиться к элементу списка словарей
Имеется набор данных DataFrame. В нем столбец key_skills. В key_skills в каждой строке либо пустой список, либо список словарей в формате:
[{'name': 'PHP'}, {'name': '1С-Битрикс'}, {'name': 'Git'}, {'...
0
голосов
1
ответ
40
показов
Pandas как получить ближайшую меньшую дату
Дан df:
a = pd.DataFrame([{'b': 'Собака', 'c': 'Кот', 'd': 18.12.2012},
{'b': 'Еж', 'c': 'Птица', 'd': 15.12.2012},
{'b': 'Кот', 'c': 'Еж', 'd': 16.12.2012},
{...
0
голосов
1
ответ
32
показа
python сортировка колонки датафрейма по нескольким ключам
Предположим есть датафрейм такого вида (колонок может быть больше):
d = {'ATTRIBUTE_NAME':
['Raw_Read_Error_Rate',
'Reallocate_NAND_Blk_Cnt',
'Power_On_Hours',
'...
0
голосов
0
ответов
22
показа
python pandas как получить индекс строки содержащей минимальное значение в столбце
Есть такой dataframe: df
id
datetime
high
close
1
2022-05-02
1.0542
1.46579
2
2022-05-03
1.04187
1.42004
minimum_close = df.close.min()
Как можно получить индекс строки или значение даты для ...
0
голосов
1
ответ
14
показов
Как у всех столбцов в DF Pandas увидеть значения min/max не являющихся выбросами
Есть набор DF. Подскажите, пожалуйста, как можно увидеть у всех столбцов минимальное и максимальное значение не являющиеся выбросами (обведены на скрине)? При вызове метода df.describe() эти данные не ...
0
голосов
0
ответов
18
показов
Устранение грамматических ошибок в Excel с помощью Python
Здраствуйте, не могу найти примеров реализации исправления грамматических ошибок в excel, с выбором необходимого столбца, другии столбци не изменять, с помощью Python, а затем записать в excel файл, ...
0
голосов
1
ответ
9
показов
Как производить математические вычисления над определенной колонкой DataFrame?
Как можно вычислить пример со следующим видом “с_с = (с – с_min)/с_max” со всеми элементами колонки с, и вывести в другой dataframe, где будут хранится данные из колонки с из прежнего df и вычисленные ...
0
голосов
0
ответов
17
показов
Как вывести конкретные данные из датафрейма?
dif = pd.read_csv('h03.csv')
value = dif.height.max()
print(dif[dif.height == value])
Вот этот код выводит:
name gender age height weight
2 Stephen Jones M 49 199.3 101.6
...
-1
голос
1
ответ
17
показов
датафрейм из листа [закрыт]
подскажите пожалуйста, у меня есть лист:
test = ['1','start1','2','3','end','4','5','start2','6','end']
хочу сделать из него датафрейм
INDEX
Column
start1
2,3
start2
6
0
голосов
0
ответов
11
показов
Выдает ошибку при использовании One-Hot Encoding через dummies. Помогите исправить
categorical_features = df['specialityId']
df_output = pd.get_dummies(df, columns=categorical_features, dummy_na=False)
KeyError Traceback (most recent call last)
C:\...
0
голосов
1
ответ
27
показов
Python pandas - преобразовать часть "верхнего" мультииндекса в столбец
имеем датафрейм с мультииндексом в части столбцов
pd.DataFrame(
data=np.array([[31. , 38.7, 32. , 36.7],
[44. , 37.7, 50. , 35. ]]),
columns=pd.MultiIndex.from_product([['Bob', 'Guido'], ['...
0
голосов
1
ответ
40
показов
Получить все не числовые значения в нескольких столбцах
Похожий вопрос
Пытаюсь создать что то вроде автотеста для данных из sql.
Как я могу отобрать все не числа в нескольких столбцах и получить их в виде нового DF?
По аналогии с данной функцией (...
0
голосов
0
ответов
19
показов
Удаление поля из большой структуры (spark dataframe)
Есть таблица, в полях вложенные структуры <array<struct ...>>
Например:
{
"problems": [{
"Diabetes":[{
"medications":[{
"...
0
голосов
1
ответ
30
показов
Рассчитывание среднего значения и отклонения из рандомных данных из датафрейма
Сделав рандомную выборку из таблицы, выссчитать среднее значение и отклонение с определенной колонны. Для этого процесса нужно написать функцию.
Получается я написал функцию, но оно с начала не ...
0
голосов
0
ответов
12
показов
Соединение dataframes по периоду даты
Доброго времени суток!
Есть dataframe1, в котором есть дата.
Есть dataframe2, в котором также есть дата.
нужно их соединить (left join) так, что бы дата из dataframe2 была в диапазоне dataframe1['date'...
0
голосов
1
ответ
30
показов
Вектор из из значений датафрейма на pathon
Есть датафрейм координат точек:
x y z
3 4 5
7 4 1
и есть произвольная точка [1,2,1]
как мне преобразовать большой датафрейм и точку в массив векторов, то есть
[[3-1,4-2,5-1], [7-1,4-2,1-1], [......
0
голосов
1
ответ
19
показов
Изменение Датафрейма
Пожалуйста помогите решить вопрос. Имеем датафрейм-
df1 = pd.DataFrame({'transaction code': '100 100 102 102 102'.split(),
'fruit': 'fruit_1 fruit_2 fruit_3 fruit_4 fruit_5'.split(),})
df1
...
0
голосов
1
ответ
16
показов
объединение всех значений столбца в одну ячейку
подскажите, пожалуйста, как выполнить объединение значений
исходная таблица типа:
name
value
x
(1,2,3)
x
(4,5,6)
x
(7,8,9)
в итоге нужно получить
x | (1,2,3,4,5,6,7,8,9)
на самом деле таблица ...
0
голосов
2
ответа
31
показ
Как произвести обработку данных столбца, содержащих значения?
Необходимо убрать в колонке name кавычки и квадратные скобки и преобразовать в список, не изменяя ячейки с отсутствующими значениями (как добавить пустое значение на этапе создания df не знаю, поэтому ...
0
голосов
0
ответов
27
показов
Python подсчёт одинаковых значений подряд
Есть большой датафрейм. Как можно посчитать по дате количество одинаковых значений подряд (code) для каждого user_id? Например, user_id 1 обращался в сервис по коду 1 около 6 раз и по коду 2 около 3 ...
2
голоса
2
ответа
48
показов
Dataframe выбор большего
Был предыдущий вопрос, на который был дан ответ.
В датафрейме есть неизвестное кол-во столбцов.
Есть столбец res['number'] (это не индекс). Есть остальные.
В каждой строке значения.
Как построчно ...
0
голосов
3
ответа
60
показов
Как создать колонку с наиболее часто встречающимися значениями другой колонки?
Необходимо создать колонку Temp для размещения в ней значения из колонки 'Net', наиболее часто встречающегося для каждого значения из колонки 'Address':
d = {'name': ['rick, mike, morty', 'tot, piter, ...
1
голос
0
ответов
62
показа
Проблема с отображением pandas.core.series в pycharm
Подскажите пожалуйста, почему pycharm выводит out[81] в виде null - null.
https://github.com/Dmitrysw/studies/blob/master/karpov_intro_ml/intro.ipynb
1
голос
2
ответа
84
показа
Замена части элемента ячейки в датафрейм Pandas
Помогите, пожалуйста, знающие люди.
Не пойму каким оператором воспользоваться
Имеется датафрейм
Полоса Позиция
1 24-1
1 24-2
1 24-2
2 1-1
2 1-1
2 1-2
2 1-3
2 ...
1
голос
2
ответа
73
показа
Поиск по ячейкам датафрейма Pandas
Люди добрые, помогите пожалуйста, хотя бы идеей, а то перепробовал все из мануалов, и не получается
Имеется датафрейм, в котором ячейки заполнены сложными цифровыми и буквенными данными.
Необходимо ...
0
голосов
0
ответов
41
показ
Рассчитать количество пользователей в месяц, сгруппированных по первому месяцу, python
Мне нужно подсчитать количество пользователей за каждый месяц, сгруппировав их по месяцам первого посещения. Есть таблица visit, содержащая данные: id — номер пользователя, FirstVisit — дата первого ...
1
голос
0
ответов
24
показа
Группировка по timeseries в диапазоне
У меня сейчас есть таблица такого типа:
create_time; ts_1; ts_2
'2021-03-12'; [1615562361, 1615562691, 1615563290]; [1615562284, 1615562284, 1615562284, 1615562284, 1615562361, 1615562579, 1615562614, ...
0
голосов
3
ответа
43
показа
Как создать датафрейм
Как создать dataframe res из a, если каждый [ ] в a это столбец с названием 1,2,3 (но может быть и больше), а кол-во строк 40. Пропуски заполнены np.nan, к примеру значение 25 должно лежать по индексу ...
0
голосов
1
ответ
87
показов
Как в python выбрать дату из большого числа в каждой строке столбца из excel и записать результат по условию в соседний столбец excel?
Есть столбец в excel с номерами ИИН (в Казахстане), где первые 6 цифр - это зашифрованная дата рождения, а остальные цифры не важны совсем. Например, 760729000345 - это:1976-07-29 (1976 год июль (07) ...
0
голосов
1
ответ
75
показов
Вопрос по объединению DataFrame
Есть dataframe
ID
Name
Price
Совпадение
Название1
Цена1
21cd1231dw
czxca21
1324512
Совпадение
Название2
Цена2
Совпадение
Название3
Цена3
Надо по нему пробежаться и если совпадает id добавляем ...
0
голосов
1
ответ
50
показов
Как при соединении n таблиц потом прописать условия для удаления строк?
В цикле соединяется n-ое количество csv файлов. В связи с этим образуются столбцы с похожими названиями отличающиеся суффиксами
Пример полученной таблицы для n = 3:
id
class
count
class_1
count_1
...
0
голосов
1
ответ
26
показов
Как заменить значения, встречающиеся более 1 раза?
Дан фрейм данных. Необходимо заменить все, встречающиеся более 1 раза значения в колонке name на 1, а остальные на 0.
d = {
'name': ['mike, rick, morty', 'tot, piter, carl',
'brick, ...
1
голос
4
ответа
45
показов
Как удалить из столбца строку с пустым списком?
Дан датафрейм:
d = {'name': [['rick', 'mike', 'morty'], [], ['brick', 'nick'], ['rick', 'reaven', 'bart', 'homer'], ['rick', 'morty']],
'Date': ['11/05/2011', '9/02/2010', '1/01/2014', '12/20/...
0
голосов
1
ответ
42
показа
Как подсчитать количество упоминаний каждого значения в колонке?
Дан DataFrame:
d = {'name': [['rick', 'mike', 'morty'], 'NaN', ['brick', 'nick'], ['rick', 'reaven', 'bart', 'homer'], ['rick', 'morty']],
'Date': ['11/05/2011', '9/02/2010', '1/01/2014', '12/20/...
0
голосов
1
ответ
82
показа
рассчитать рост месячных продаж по стране в процентах по данному датафрейму
Прошу помощи с решением интересной задачи, к которой мне не удается найти решение. Если кратко переходить к сути, то задача следующая:
Некое предприятие продает товары покупающим из различных стран. ...
0
голосов
0
ответов
52
показа
Какой по счету месяц покупки с момента публикации? Dataframe
У меня есть два датафрейма df_rep и df_pub.
df_rep: В этом датафрейме хранится информация о том, что именно продано, когда и за какую цену.
Product
Date
Price
Phone
2021-12-26
30
Phone
2021-12-15
...
0
голосов
2
ответа
42
показа
Сортировка каждой строки в dataframe по возрастанию python
pd.DataFrame:
101 99 110
40 10 55
200 42 81
как отсортировать строки по возрастанию так, чтобы:
99 101 110
10 40 55
42 81 200
0
голосов
2
ответа
45
показов
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
3
голоса
1
ответ
32
показа
правильно перевести словарь в датафрейм, где значения будут разделены по ключам
прошу помощи от тех, кто решил в данную минуту заглянуть ко мне в данный вопрос.
скорее всего, решение задачи, с которой я столкнулся довольно легкое, однако мне нужна помощь от вас в этом вопросе. ...
0
голосов
2
ответа
49
показов
Преобразовать столбец времени датафрейм
В датафрейме время записано в столбце Time как 235500 или 101400 или 82300. Пробую к этим минуткам добавить столбец с интервалами к какому часу они принадлежат через df['hour'] = pd.DatetimeIndex(df['...
0
голосов
1
ответ
29
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
1
голос
2
ответа
89
показов
Есть датасет. Нужно найти ср. длину в км, предварительно выкинув замкнутые траектории у которых совпадают start station id = end station id [закрыт]
Поскольку в данной области новичок, помогите пожалуйста с написанием кода.
Нужно найти ср. длину в км, предварительно выкинув замкнутые траектории у которых совпадают start station id = end station ...
0
голосов
1
ответ
34
показа
Dataframe копировать значение взамен предыдущих
Как можно из столбца df['t'] копировать первое встретившееся значение на все предыдущие нули, затем снова первое встретившиеся значение после нулей копировать на них и т.д. В данном случае итоговый ...
4
голоса
1
ответ
29
показов
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
1
ответ
91
показ
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
49
показов
Как передать недостающие строки из одной DataFrame в другую?
У меня есть две таблицы "Main_Report" и "New_Report". В таблице "Main_Report" как и в "New_Report" есть строки с одинаковыми датами и названиями продукта.
В ...
0
голосов
2
ответа
64
показа
Убрать из датафрейма строки по времени
В датафрейме нужно оставить только те строки, в которых df.Time_1 больше предыдущего df.Time_2 и df.Time_1. Например - вторая строка выкидывается, потому что 2/1/2022 22:49:00 меньше чем 23:50:00 в ...
1
голос
2
ответа
78
показов
Сортировка даты/время датафрейм
Как отсортировать в dataframe дату и время в таком примере как внизу?
(пример .csv тут)
Примечательно, что время здесь от '20:00:00' до '23:59:00' и от '00:00:00' до '06:00:00', тоесть 2/4/2022 0:29:...
0
голосов
1
ответ
53
показа
Как отнять проценты от числа и добавить в новый столбец DataFrame? Python Pandas
Я создаю новый столбец с названием "Final_Price" в котором добавляю числа из столбца Price отняв 18%. Но отняв проценты я получаю числа с лишними двумя цифрами на конце (10 - 18% = 8.2000).
...
0
голосов
1
ответ
37
показов
Перемешать данные в столбцах
У меня есть датасет, у него есть колонка победителя и проигравшего. Как сделать так, чтобы данные в части датасета поменялись между друг другом?
Что я пытался.
from random import randint
switcher = ...