Вопросы с меткой [обработка-данных]
Вопросы об обработке и анализе данных.
308
вопросов
1
голос
1
ответ
32
показа
Двоичная классификация текста
Помогите разобраться или направьте в нужное русло.
Есть 100.000 строк со словом вилка.
Вилка разная бывает.
Столовый прибор
Вилка в спортивных ставках
Велосипедная вилка
Вилка цен
Вилка в розетку
и т....
0
голосов
0
ответов
21
показ
Js перебор свойств объекта и заполнение допустимыми значениями
Всем привет!
Есть объект, который содержит шаблон настроек:
/**
* rate:
* - true - пользователь может задавать любое значение
* - false - пользователь не может задавать значение
* - deny - ...
0
голосов
1
ответ
124
показа
Не выполняется функция преобразования числа в пропись на JavaScript
Проектирую бота на lowcode платформе Aimylogic. Их система упорно не хочет работать с этим кодом преобразования чисел в пропись.
Причем в песочницах он работает. Со знаками $ не очень корректно, а вот ...
0
голосов
1
ответ
482
показа
Как заполнить пропуски в столбце на основании данных из нескольких других столбцов?
Мне необходимо заполнить пропуски в столбце birth_date значениями, которые уже известны для именно этих пользователей (на основании группировки по f_name, s_name и tel). Точно известно, что такие ...
0
голосов
0
ответов
17
показов
Как запустить чужой код на мак м1? [дубликат]
Мне скинули телеграм бота файлом в ехе и чистый код отдельно, подскажите пожалуйста как его запустить в pycharm, он выдает ошибку No such file or directory.
Может я как то неправильно его открываю, ...
0
голосов
1
ответ
60
показов
Ищу штуку для получения и ввода "с листа" распечаток дампов с проверкой контрольных сумм построчно под linux
Ищу штуковину, которая позволит вводить с бумаги дампы с подсчётом построчных контрольных сумм. Раньше такие дампы печатались в журналах типа "Радио", выглядят примерно так:
B3 F2 65 0D 82 ...
0
голосов
0
ответов
23
показа
Создание новой таблицы для нового пользователя telegrambot python?
Есть бот записывающий данные пользователей. ссылка на гит
Если пользователей несколько то, данные сохраняются в одну таблицу. Как можно реализовать код, что бы для каждого пользователя данные ...
1
голос
0
ответов
76
показов
Ошибка при открытии файла формата pkl
У меня есть папка расширения .tar в которой хранится информация о модели машинного обучения (веса, лосс и другие значения). Также в архиве имеется файл data.pkl, который как раз-таки содержит эту ...
0
голосов
0
ответов
45
показов
python помогите с обходом дерева в цикле
Нужно обойти дерево с тремя слоями, но это не бинарное дерево, в слое может быть много элементов и не у каждого может быть снизу элемент.
Обойти нужно без ООП, а вложенными циклами внутри одной ...
0
голосов
0
ответов
111
показов
Pandas. Выборочное обновление данных
Столкнулся с проблемой, хотел соединить два фрейма так чтоб обновлялись данные по двух параметрах.
Наглядно покажу в скриншотах:
df0
df1
Хочу их соединить так чтоб обновились данные колонок "...
-1
голос
2
ответа
3k
показов
Заполнение таблицы разными медианами
Дано две таблицы. Одна эта датафрейм, вторая с медианами зарплат в зависимости от занятости.
**занятость** **медиана зарплат**
0 безработный 131339.751676
1 в декрете 53829.130729
2 ...
1
голос
1
ответ
217
показов
как найти повторяющиеся слова в массиве
Если в массиве имена животных повторяются то нужно напротив этого имени написать что оно не уникальное, а если не повторяются та уникальное
вот мой код:
import pandas as pd
import numpy as np
d = {&...
0
голосов
2
ответа
762
показа
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
3
голоса
1
ответ
177
показов
правильно перевести словарь в датафрейм, где значения будут разделены по ключам
прошу помощи от тех, кто решил в данную минуту заглянуть ко мне в данный вопрос.
скорее всего, решение задачи, с которой я столкнулся довольно легкое, однако мне нужна помощь от вас в этом вопросе. ...
0
голосов
2
ответа
379
показов
Преобразовать столбец времени датафрейм
В датафрейме время записано в столбце Time как 235500 или 101400 или 82300. Пробую к этим минуткам добавить столбец с интервалами к какому часу они принадлежат через df['hour'] = pd.DatetimeIndex(df['...
0
голосов
1
ответ
79
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
0
голосов
1
ответ
90
показов
Dataframe копировать значение взамен предыдущих
Как можно из столбца df['t'] копировать первое встретившееся значение на все предыдущие нули, затем снова первое встретившиеся значение после нулей копировать на них и т.д. В данном случае итоговый ...
0
голосов
2
ответа
144
показа
Удаление колонок DF по списку
есть таблица состоящая более чем из 20 столбцов, нужно удалить определённые столбцы.
А именно сохранить в итоговой таблице столбцы 'Отдел','Имя' и ВСЕ столбцы "Факт" а все столбцы "План&...
4
голоса
1
ответ
86
показов
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
2
ответа
610
показов
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
83
показа
Как передать недостающие строки из одной DataFrame в другую?
У меня есть две таблицы "Main_Report" и "New_Report". В таблице "Main_Report" как и в "New_Report" есть строки с одинаковыми датами и названиями продукта.
В ...
2
голоса
2
ответа
698
показов
Используя pycountry получить названия стран
Есть вот такой массив данных (это кусочек от столбца датафрейма).
time latitude longitude depth mag place
0 1949-12-31 22:30:09.770000+00:00 34.191167 ...
2
голоса
1
ответ
769
показов
Как пронумеровать строки удовлетворяющие критерию в каждой группе?
У меня есть дата фрейм.
Мне надо преобразовать существующие колонки.
У меня следующее значение в колонке будет зависеть от предыдущего.
Я могу сделать эти калькуляции и преобразования с помощью ...
0
голосов
0
ответов
69
показов
Как в Pandas из значений списка вычленить уникальные(в значениях разделитель запятая)?
Пробую через Pandas. В таблице Excel есть столбец с индексами моторов df['Engine'] в одной ячейке может быть 5-6 моторов разделённые запятой. Часть из значений может повторятся в различных ячейках. Я ...
1
голос
1
ответ
295
показов
Pandas: проверка верхней строки на идентичность нижней стоке
Имеется датасет
В столбце "А" построчно перечислены дубли имен объектов, в последующих столбцах указаны свойства каждого объекта.
Код должен работать по следующему алгоритму:
Если в столбце &...
0
голосов
1
ответ
204
показа
Pandas и openpyxl и Nan
Есть два столбца в Excel. Один заполнен, в другом есть пустые ячейки. Задача: заменить пустые ячейки одного столбца, на значения соответствующих ячеек другого столбца. Данную задачу реализовала с ...
1
голос
2
ответа
750
показов
Как прочитать только необходимые столбы таблицы в CSV файле?
Файл csv состоит из заголовка и таблицы. Подсчет столбцов начинается с 0. Каждый столб разделён запятыми и кол-во клеток таблицы в каждой строке одинаковое. Каждая строчка в столбе начинается и ...
2
голоса
1
ответ
263
показа
Ускорить работу функции
Помогите оптимизировать код. Написал такую функцию
def vp(df):
df_v=df.groupby('col1').sum().reset_index()
df['target']=0
for i in range(0, (len(df)-1)):
for j in range (0, (len(...
1
голос
1
ответ
56
показов
Использование минимального и максимального значения типовых операций
Имеется следующий датасет:
Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию?
Ожидаемый обновленный датасет на изображении ниже:
...
0
голосов
2
ответа
244
показа
Не работает фильтр DataFrame по дате
Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе.
При попытке реализовать это через метод dataframe.loc я получаю ошибку:
TypeError: '<' not supported ...
0
голосов
1
ответ
1k
показов
Почему при использовании метода groupby в pandas колонки по которым происходит группировка исчезают из расчета?
Её размерность (6, 3)
После применения groupby:
df_gr = df.groupby(['Towns', 'Country']).sum()
Её размерность (6, 1)
Что из себя представляют "Country" и "Towns" столбцы?
Как они ...
0
голосов
1
ответ
82
показа
Конкатенация числа и строки по условию
У меня есть фрейм, в котором две колонки:
Цена(int) и промо. В промо два вида значений: либо NaN, либо str. Не могу написать цикл, который пробегался бы по столбцу промо и выполнял следующее условие: ...
0
голосов
1
ответ
98
показов
Как Разбить столбец с местом проживания на страну/город/регион?
У меня получается такая таблица (изначально есть только столбец [регион] и ['пол']). Хотелось бы получить по итогу колонки:
Город;
Субъект;
Страна.
пол
Регион
Страна
Город
Область
a
b
1
ж
Россия, ...
0
голосов
1
ответ
47
показов
Каким способом можно применить программу ко всем файлам и сохранить результат?
Мне необходимо применить вот эту программу ( = r"Details.csv" (pd .read_csv(tweet_ids, skipinitialspace=True) .query("Language == 'ru'") .to_csv(r"result.csv", index=...
2
голоса
1
ответ
39
показов
Сохранить из csv-файла только данные с определенным атрибутом
Подскажите пожалуйста как можно из огромного Csv-файла выбрать из сохранить новый файл только с теми теми id которые имеют в столбце language атрибут ru?
Например если файл выглядит вот так:
ID,...
1
голос
1
ответ
658
показов
Извлечь целое число из строки DataFrame
Необходимо из текста, содержащегося в ячейке DataFrame вычленить численную часть и заменить тест на нее.
Пример содержимого ячейки: '1560 MHz', на выходе должно быть: 1560.
Написал простую функцию:
...
2
голоса
2
ответа
76
показов
Отметить в датафрейм время кратное 5 ти
Каким образом для df['Time'] можно сделать столбик df['Time2']=0, в котором каждые 5 или 10 минут (допустим 5) будет обозначение, что сейчас 5-я минута пошла.
df = pd.read_csv('1.csv')
df.columns = ['...
2
голоса
1
ответ
40
показов
Временной ряд. Как после изменение частоты и групперовки получить данные из конкретной строки
Есть временной ряд с данными OHLCV (открытие, максимум, минимум, закрытие, значение). Начальная частота 15 минут.
Необходимо изменить частоту до 1 часа.
Данные OHLC получаются замечательно ...
1
голос
1
ответ
355
показов
Как расположить 2 DataFrame на одном листе excel рядом друг с другом?
Подскажите, как можно расположить второй DataFrame рядом с первым
df2 = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],...
1
голос
1
ответ
101
показ
Группировка таблицы по выборочному диапазону дат для каждой группы
Имеется таблица продаж по магазинам:
Дата Магазин Продажи
0 01.01.2020 first 1
1 02.01.2020 first 2
2 03.01.2020 first 3
3 04.01.2020 first 5
4 ...
2
голоса
1
ответ
62
показа
Почему 2 одинаковых фрейма оказываются не равны?
Сравниваю 2 фрейма вывожу не совпадения в третий
df = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],axis=0)
df1 = pd....
0
голосов
1
ответ
101
показ
SyntaxError: can't assign to function call в pandas
Я решаю вот такую задачу на Stepik: В dataframe с именем my_stat сохранены данные с 4 колонками: session_value, group, time, n_users.В переменной session_value замените все пропущенные значения на ...
1
голос
1
ответ
81
показ
При "склеивании" трех датафреймов Pandas в итоговом датафрейме появляются лишние столбцы. Не могу понять в чем причина
Всем привет!
Есть три excel файла. Мне нужно собрать из них один датафрейм (в каждом файле 22 столбца и разное количество строк). Вроде бы элементарная задача, но итоговый файл получается непонятной ...
0
голосов
1
ответ
299
показов
как вернуть значения в DataFrame, индексы которых не равны индексу из списка?
Код:
uniq = df.drop_duplicates(subset='norm').index.values
df.iloc[~uniq, :]
Нужно, чтобы из df вернулись те значения, индексы которых не находятся в списке, но этот код возвращает мне таблицу ...
1
голос
1
ответ
7k
показов
Как получить индекс строки, где находится значение?
У меня есть массив. Я хочу получить индекс строки, в котором находится искомое значение.
Начало
Конец
Продолжительность
Сумма
2020-01-01
2020-03-15
75
-961.4
2020-03-16
2020-03-16
1
0.2
2020-03-17
...
0
голосов
1
ответ
214
показов
Удаление строк датафрейма со строковыми данными
Изучаю нейронки, возникла проблема с датасетом. Вот первые 5 строк датасета.
data = [['daewoo', 'nexia 1 поколение [2-й рестайлинг]', '140200', '2012', '60500', 'седан', 'механика', 'бензин', '1.5', '...
1
голос
1
ответ
54
показа
Как получить содержание колонок в Excel файле через Pandas?
Работаю с таблицей структуры1:
Нужно получить содержание определённых колонок, для этого использую конструкцию df1 = pd.read_excel(self.filename)[['1', '2', '21']], но программа закрывается с ошибкой....
1
голос
1
ответ
99
показов
Проверка вхождения слов в список ячейки
Надо создать столбец 'test', который будет содержать обобщённую характеристику содержания ячеек 'keywords'.
Если в 'keywords'входит слово 'marriage', то в 'test'поместить слово 'мелодрама'.
Если в '...
0
голосов
2
ответа
151
показ
сравнить даты между собой в одном столбце датафрейма. И если они одинаковые посчитать их количество
У меня получается булевые значения, но мне нужно оставить даты и посчитать сколько их одинаковых. Например [10.10.2021, 10.10.2021, 11.10.2021, 12.10.2021] Желаемый результат [2,1,1]##
file_path="...
3
голоса
2
ответа
149
показов
Как оставить только первые появления True и последующие повторения заменить на False?
Надо производительным способом без циклов. Исходный вектор:
arr = np.array([True, True, False, True, True, False, False, False, True, True, True, False, True])
Ожидаемый результат:
[ True False False ...