Вопросы с меткой [обработка-данных]
Вопросы об обработке и анализе данных.
304
вопроса
0
голосов
0
ответов
9
показов
Создание новой таблицы для нового пользователя telegrambot python?
Есть бот записывающий данные пользователей. ссылка на гит
Если пользователей несколько то, данные сохраняются в одну таблицу. Как можно реализовать код, что бы для каждого пользователя данные ...
1
голос
0
ответов
13
показов
Ошибка при открытии файла формата pkl
У меня есть папка расширения .tar в которой хранится информация о модели машинного обучения (веса, лосс и другие значения). Также в архиве имеется файл data.pkl, который как раз-таки содержит эту ...
0
голосов
0
ответов
26
показов
python помогите с обходом дерева в цикле
Нужно обойти дерево с тремя слоями, но это не бинарное дерево, в слое может быть много элементов и не у каждого может быть снизу элемент.
Обойти нужно без ООП, а вложенными циклами внутри одной ...
0
голосов
0
ответов
53
показа
Какой по счету месяц покупки с момента публикации? Dataframe
У меня есть два датафрейма df_rep и df_pub.
df_rep: В этом датафрейме хранится информация о том, что именно продано, когда и за какую цену.
Product
Date
Price
Phone
2021-12-26
30
Phone
2021-12-15
...
0
голосов
0
ответов
45
показов
Pandas. Выборочное обновление данных
Столкнулся с проблемой, хотел соединить два фрейма так чтоб обновлялись данные по двух параметрах.
Наглядно покажу в скриншотах:
df0
df1
Хочу их соединить так чтоб обновились данные колонок "...
-1
голос
2
ответа
266
показов
Заполнение таблицы разными медианами
Дано две таблицы. Одна эта датафрейм, вторая с медианами зарплат в зависимости от занятости.
**занятость** **медиана зарплат**
0 безработный 131339.751676
1 в декрете 53829.130729
2 ...
1
голос
1
ответ
54
показа
как найти повторяющиеся слова в массиве
Если в массиве имена животных повторяются то нужно напротив этого имени написать что оно не уникальное, а если не повторяются та уникальное
вот мой код:
import pandas as pd
import numpy as np
d = {&...
0
голосов
2
ответа
68
показов
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
3
голоса
1
ответ
35
показов
правильно перевести словарь в датафрейм, где значения будут разделены по ключам
прошу помощи от тех, кто решил в данную минуту заглянуть ко мне в данный вопрос.
скорее всего, решение задачи, с которой я столкнулся довольно легкое, однако мне нужна помощь от вас в этом вопросе. ...
0
голосов
2
ответа
62
показа
Преобразовать столбец времени датафрейм
В датафрейме время записано в столбце Time как 235500 или 101400 или 82300. Пробую к этим минуткам добавить столбец с интервалами к какому часу они принадлежат через df['hour'] = pd.DatetimeIndex(df['...
0
голосов
1
ответ
36
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
0
голосов
1
ответ
40
показов
Dataframe копировать значение взамен предыдущих
Как можно из столбца df['t'] копировать первое встретившееся значение на все предыдущие нули, затем снова первое встретившиеся значение после нулей копировать на них и т.д. В данном случае итоговый ...
0
голосов
2
ответа
29
показов
Удаление колонок DF по списку
есть таблица состоящая более чем из 20 столбцов, нужно удалить определённые столбцы.
А именно сохранить в итоговой таблице столбцы 'Отдел','Имя' и ВСЕ столбцы "Факт" а все столбцы "План&...
4
голоса
1
ответ
31
показ
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
1
ответ
124
показа
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
53
показа
Как передать недостающие строки из одной DataFrame в другую?
У меня есть две таблицы "Main_Report" и "New_Report". В таблице "Main_Report" как и в "New_Report" есть строки с одинаковыми датами и названиями продукта.
В ...
2
голоса
2
ответа
92
показа
Используя pycountry получить названия стран
Есть вот такой массив данных (это кусочек от столбца датафрейма).
time latitude longitude depth mag place
0 1949-12-31 22:30:09.770000+00:00 34.191167 ...
2
голоса
1
ответ
150
показов
Как пронумеровать строки удовлетворяющие критерию в каждой группе?
У меня есть дата фрейм.
Мне надо преобразовать существующие колонки.
У меня следующее значение в колонке будет зависеть от предыдущего.
Я могу сделать эти калькуляции и преобразования с помощью ...
0
голосов
0
ответов
30
показов
Как в Pandas из значений списка вычленить уникальные(в значениях разделитель запятая)?
Пробую через Pandas. В таблице Excel есть столбец с индексами моторов df['Engine'] в одной ячейке может быть 5-6 моторов разделённые запятой. Часть из значений может повторятся в различных ячейках. Я ...
1
голос
1
ответ
71
показ
Pandas: проверка верхней строки на идентичность нижней стоке
Имеется датасет
В столбце "А" построчно перечислены дубли имен объектов, в последующих столбцах указаны свойства каждого объекта.
Код должен работать по следующему алгоритму:
Если в столбце &...
0
голосов
1
ответ
41
показ
Pandas и openpyxl и Nan
Есть два столбца в Excel. Один заполнен, в другом есть пустые ячейки. Задача: заменить пустые ячейки одного столбца, на значения соответствующих ячеек другого столбца. Данную задачу реализовала с ...
1
голос
2
ответа
68
показов
Как прочитать только необходимые столбы таблицы в CSV файле?
Файл csv состоит из заголовка и таблицы. Подсчет столбцов начинается с 0. Каждый столб разделён запятыми и кол-во клеток таблицы в каждой строке одинаковое. Каждая строчка в столбе начинается и ...
2
голоса
1
ответ
67
показов
Ускорить работу функции
Помогите оптимизировать код. Написал такую функцию
def vp(df):
df_v=df.groupby('col1').sum().reset_index()
df['target']=0
for i in range(0, (len(df)-1)):
for j in range (0, (len(...
1
голос
1
ответ
54
показа
Использование минимального и максимального значения типовых операций
Имеется следующий датасет:
Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию?
Ожидаемый обновленный датасет на изображении ниже:
...
0
голосов
2
ответа
68
показов
Не работает фильтр DataFrame по дате
Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе.
При попытке реализовать это через метод dataframe.loc я получаю ошибку:
TypeError: '<' not supported ...
0
голосов
1
ответ
158
показов
Почему при использовании метода groupby в pandas колонки по которым происходит группировка исчезают из расчета?
Её размерность (6, 3)
После применения groupby:
df_gr = df.groupby(['Towns', 'Country']).sum()
Её размерность (6, 1)
Что из себя представляют "Country" и "Towns" столбцы?
Как они ...
0
голосов
1
ответ
31
показ
Конкатенация числа и строки по условию
У меня есть фрейм, в котором две колонки:
Цена(int) и промо. В промо два вида значений: либо NaN, либо str. Не могу написать цикл, который пробегался бы по столбцу промо и выполнял следующее условие: ...
0
голосов
1
ответ
37
показов
Как Разбить столбец с местом проживания на страну/город/регион?
У меня получается такая таблица (изначально есть только столбец [регион] и ['пол']). Хотелось бы получить по итогу колонки:
Город;
Субъект;
Страна.
пол
Регион
Страна
Город
Область
a
b
1
ж
Россия, ...
0
голосов
1
ответ
13
показов
Каким способом можно применить программу ко всем файлам и сохранить результат?
Мне необходимо применить вот эту программу ( = r"Details.csv" (pd .read_csv(tweet_ids, skipinitialspace=True) .query("Language == 'ru'") .to_csv(r"result.csv", index=...
2
голоса
1
ответ
31
показ
Сохранить из csv-файла только данные с определенным атрибутом
Подскажите пожалуйста как можно из огромного Csv-файла выбрать из сохранить новый файл только с теми теми id которые имеют в столбце language атрибут ru?
Например если файл выглядит вот так:
ID,...
1
голос
1
ответ
110
показов
Извлечь целое число из строки DataFrame
Необходимо из текста, содержащегося в ячейке DataFrame вычленить численную часть и заменить тест на нее.
Пример содержимого ячейки: '1560 MHz', на выходе должно быть: 1560.
Написал простую функцию:
...
2
голоса
2
ответа
44
показа
Отметить в датафрейм время кратное 5 ти
Каким образом для df['Time'] можно сделать столбик df['Time2']=0, в котором каждые 5 или 10 минут (допустим 5) будет обозначение, что сейчас 5-я минута пошла.
df = pd.read_csv('1.csv')
df.columns = ['...
2
голоса
1
ответ
28
показов
Временной ряд. Как после изменение частоты и групперовки получить данные из конкретной строки
Есть временной ряд с данными OHLCV (открытие, максимум, минимум, закрытие, значение). Начальная частота 15 минут.
Необходимо изменить частоту до 1 часа.
Данные OHLC получаются замечательно ...
1
голос
1
ответ
60
показов
Как расположить 2 DataFrame на одном листе excel рядом друг с другом?
Подскажите, как можно расположить второй DataFrame рядом с первым
df2 = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],...
1
голос
1
ответ
28
показов
Группировка таблицы по выборочному диапазону дат для каждой группы
Имеется таблица продаж по магазинам:
Дата Магазин Продажи
0 01.01.2020 first 1
1 02.01.2020 first 2
2 03.01.2020 first 3
3 04.01.2020 first 5
4 ...
2
голоса
1
ответ
45
показов
Почему 2 одинаковых фрейма оказываются не равны?
Сравниваю 2 фрейма вывожу не совпадения в третий
df = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],axis=0)
df1 = pd....
0
голосов
1
ответ
58
показов
SyntaxError: can't assign to function call в pandas
Я решаю вот такую задачу на Stepik: В dataframe с именем my_stat сохранены данные с 4 колонками: session_value, group, time, n_users.В переменной session_value замените все пропущенные значения на ...
1
голос
1
ответ
56
показов
При "склеивании" трех датафреймов Pandas в итоговом датафрейме появляются лишние столбцы. Не могу понять в чем причина
Всем привет!
Есть три excel файла. Мне нужно собрать из них один датафрейм (в каждом файле 22 столбца и разное количество строк). Вроде бы элементарная задача, но итоговый файл получается непонятной ...
0
голосов
1
ответ
42
показа
как вернуть значения в DataFrame, индексы которых не равны индексу из списка?
Код:
uniq = df.drop_duplicates(subset='norm').index.values
df.iloc[~uniq, :]
Нужно, чтобы из df вернулись те значения, индексы которых не находятся в списке, но этот код возвращает мне таблицу ...
1
голос
1
ответ
2k
показов
Как получить индекс строки, где находится значение?
У меня есть массив. Я хочу получить индекс строки, в котором находится искомое значение.
Начало
Конец
Продолжительность
Сумма
2020-01-01
2020-03-15
75
-961.4
2020-03-16
2020-03-16
1
0.2
2020-03-17
...
0
голосов
1
ответ
71
показ
Удаление строк датафрейма со строковыми данными
Изучаю нейронки, возникла проблема с датасетом. Вот первые 5 строк датасета.
data = [['daewoo', 'nexia 1 поколение [2-й рестайлинг]', '140200', '2012', '60500', 'седан', 'механика', 'бензин', '1.5', '...
1
голос
1
ответ
35
показов
Как получить содержание колонок в Excel файле через Pandas?
Работаю с таблицей структуры1:
Нужно получить содержание определённых колонок, для этого использую конструкцию df1 = pd.read_excel(self.filename)[['1', '2', '21']], но программа закрывается с ошибкой....
1
голос
1
ответ
31
показ
Проверка вхождения слов в список ячейки
Надо создать столбец 'test', который будет содержать обобщённую характеристику содержания ячеек 'keywords'.
Если в 'keywords'входит слово 'marriage', то в 'test'поместить слово 'мелодрама'.
Если в '...
0
голосов
2
ответа
63
показа
сравнить даты между собой в одном столбце датафрейма. И если они одинаковые посчитать их количество
У меня получается булевые значения, но мне нужно оставить даты и посчитать сколько их одинаковых. Например [10.10.2021, 10.10.2021, 11.10.2021, 12.10.2021] Желаемый результат [2,1,1]##
file_path="...
3
голоса
2
ответа
70
показов
Как оставить только первые появления True и последующие повторения заменить на False?
Надо производительным способом без циклов. Исходный вектор:
arr = np.array([True, True, False, True, True, False, False, False, True, True, True, False, True])
Ожидаемый результат:
[ True False False ...
2
голоса
2
ответа
510
показов
Заполнение датафрейма через цикл
Встала такая задача: заполнить df через цикл на основании значения переменной i. То есть, получить что то подобное:
test1
test2
wq
0
1
30
40
1
2
40
40
2
3
50
40
3
4
60
40
4
5
70
40
5
6
80
40
6
...
0
голосов
1
ответ
33
показа
Как выбрать столбцы в Pandas [закрыт]
Хочу попробовать сделать классификатор документов используя этот датасет https://www.kaggle.com/olegbartenyev/doc-cls/discussion .
При открытии пытаюсь сделать столбцы , там где содержится символ # .
...
1
голос
2
ответа
51
показ
Поиск строк в датафрейме, данные которых предоставлены в виде процентов в столбце ratings, и замена значений этих строк в столбце ratings на float
Есть датафрейм data с данными минкультуры о кинопрокате за какой-то промежуток времени. В таблице есть столбец ratings, в нём хранятся рейтинги фильмов (данные взяты с кинопоиска) в виде вещественного ...
2
голоса
1
ответ
79
показов
Добавить колонку с нумерацией
Есть DataFrame
myData ={'Order':[1,1,2,3,18,18,18,18,19,19,16,17],
'Date':['2016-09-09','2016-09-09','2016-09-09','2016-09-10','2016-09-22','2016-09-22','2016-09-23','2016-09-24','2016-09-21','...
0
голосов
2
ответа
77
показов
Слить разные датафрейм в один
Не могу слить разные датафрейм в один. Есть 4-ре датафрейма, файлы тут https://dropmefiles.com/tSnDL
Открываю один из них:
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
df = ...