Вопросы с меткой [обработка-данных]

Вопросы об обработке и анализе данных.

Фильтрация
Сортировка
Метки
1 голос
1 ответ
32 показа

Двоичная классификация текста

Помогите разобраться или направьте в нужное русло. Есть 100.000 строк со словом вилка. Вилка разная бывает. Столовый прибор Вилка в спортивных ставках Велосипедная вилка Вилка цен Вилка в розетку и т....
Xzizz's user avatar
  • 1,494
0 голосов
0 ответов
21 показ

Js перебор свойств объекта и заполнение допустимыми значениями

Всем привет! Есть объект, который содержит шаблон настроек: /** * rate: * - true - пользователь может задавать любое значение * - false - пользователь не может задавать значение * - deny - ...
Александр's user avatar
0 голосов
1 ответ
124 показа

Не выполняется функция преобразования числа в пропись на JavaScript

Проектирую бота на lowcode платформе Aimylogic. Их система упорно не хочет работать с этим кодом преобразования чисел в пропись. Причем в песочницах он работает. Со знаками $ не очень корректно, а вот ...
IndieDev's user avatar
0 голосов
1 ответ
482 показа

Как заполнить пропуски в столбце на основании данных из нескольких других столбцов?

Мне необходимо заполнить пропуски в столбце birth_date значениями, которые уже известны для именно этих пользователей (на основании группировки по f_name, s_name и tel). Точно известно, что такие ...
Nataly's user avatar
  • 23
0 голосов
0 ответов
17 показов

Как запустить чужой код на мак м1? [дубликат]

Мне скинули телеграм бота файлом в ехе и чистый код отдельно, подскажите пожалуйста как его запустить в pycharm, он выдает ошибку No such file or directory. Может я как то неправильно его открываю, ...
antikvar's user avatar
0 голосов
1 ответ
60 показов

Ищу штуку для получения и ввода "с листа" распечаток дампов с проверкой контрольных сумм построчно под linux

Ищу штуковину, которая позволит вводить с бумаги дампы с подсчётом построчных контрольных сумм. Раньше такие дампы печатались в журналах типа "Радио", выглядят примерно так: B3 F2 65 0D 82 ...
user_587's user avatar
  • 2,531
0 голосов
0 ответов
23 показа

Создание новой таблицы для нового пользователя telegrambot python?

Есть бот записывающий данные пользователей. ссылка на гит Если пользователей несколько то, данные сохраняются в одну таблицу. Как можно реализовать код, что бы для каждого пользователя данные ...
Daniil Zhernosek's user avatar
1 голос
0 ответов
76 показов

Ошибка при открытии файла формата pkl

У меня есть папка расширения .tar в которой хранится информация о модели машинного обучения (веса, лосс и другие значения). Также в архиве имеется файл data.pkl, который как раз-таки содержит эту ...
Илья's user avatar
0 голосов
0 ответов
45 показов

python помогите с обходом дерева в цикле

Нужно обойти дерево с тремя слоями, но это не бинарное дерево, в слое может быть много элементов и не у каждого может быть снизу элемент. Обойти нужно без ООП, а вложенными циклами внутри одной ...
AlgiZ's user avatar
  • 55
0 голосов
0 ответов
111 показов

Pandas. Выборочное обновление данных

Столкнулся с проблемой, хотел соединить два фрейма так чтоб обновлялись данные по двух параметрах. Наглядно покажу в скриншотах: df0 df1 Хочу их соединить так чтоб обновились данные колонок "...
Aleksandr Kholod's user avatar
-1 голос
2 ответа
3k показов

Заполнение таблицы разными медианами

Дано две таблицы. Одна эта датафрейм, вторая с медианами зарплат в зависимости от занятости. **занятость** **медиана зарплат** 0 безработный 131339.751676 1 в декрете 53829.130729 2 ...
VANjKE's user avatar
  • 81
1 голос
1 ответ
217 показов

как найти повторяющиеся слова в массиве

Если в массиве имена животных повторяются то нужно напротив этого имени написать что оно не уникальное, а если не повторяются та уникальное вот мой код: import pandas as pd import numpy as np d = {&...
git abbuser's user avatar
0 голосов
2 ответа
762 показа

Выборка значений в pandas при условии равенства других значений в строке

Есть к примеру датафрейм: S A B C Q A B D R Z V H Y I H F U A B M Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B? Гуглил, искал, но так ничего не ...
Гордон Шамуэй's user avatar
3 голоса
1 ответ
177 показов

правильно перевести словарь в датафрейм, где значения будут разделены по ключам

прошу помощи от тех, кто решил в данную минуту заглянуть ко мне в данный вопрос. скорее всего, решение задачи, с которой я столкнулся довольно легкое, однако мне нужна помощь от вас в этом вопросе. ...
izcrezi's user avatar
  • 67
0 голосов
2 ответа
379 показов

Преобразовать столбец времени датафрейм

В датафрейме время записано в столбце Time как 235500 или 101400 или 82300. Пробую к этим минуткам добавить столбец с интервалами к какому часу они принадлежат через df['hour'] = pd.DatetimeIndex(df['...
user avatar
0 голосов
1 ответ
79 показов

Сумма последовательных значений строк dataframe

Имеются данные о хронологической последовательности побед игроков и получении наград: import pandas as pd df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'], ...
P.A.V.r.o.c.'s user avatar
0 голосов
1 ответ
90 показов

Dataframe копировать значение взамен предыдущих

Как можно из столбца df['t'] копировать первое встретившееся значение на все предыдущие нули, затем снова первое встретившиеся значение после нулей копировать на них и т.д. В данном случае итоговый ...
user avatar
0 голосов
2 ответа
144 показа

Удаление колонок DF по списку

есть таблица состоящая более чем из 20 столбцов, нужно удалить определённые столбцы. А именно сохранить в итоговой таблице столбцы 'Отдел','Имя' и ВСЕ столбцы "Факт" а все столбцы "План&...
Aleksandr's user avatar
4 голоса
1 ответ
86 показов

Как объединить столбцы с переносом на новую строку?

Имею df следующего формата: name 1 2 3 4 AB 12 | none | none | none CD none | rty | none | none df none | none | gh | none ZD none | rg | none | ty Как можно привести его ...
xcplat's user avatar
  • 513
3 голоса
2 ответа
610 показов

Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить

Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения: найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
izcrezi's user avatar
  • 67
2 голоса
1 ответ
83 показа

Как передать недостающие строки из одной DataFrame в другую?

У меня есть две таблицы "Main_Report" и "New_Report". В таблице "Main_Report" как и в "New_Report" есть строки с одинаковыми датами и названиями продукта. В ...
HansVenl's user avatar
2 голоса
2 ответа
698 показов

Используя pycountry получить названия стран

Есть вот такой массив данных (это кусочек от столбца датафрейма). time latitude longitude depth mag place 0 1949-12-31 22:30:09.770000+00:00 34.191167 ...
aufloren's user avatar
2 голоса
1 ответ
769 показов

Как пронумеровать строки удовлетворяющие критерию в каждой группе?

У меня есть дата фрейм. Мне надо преобразовать существующие колонки. У меня следующее значение в колонке будет зависеть от предыдущего. Я могу сделать эти калькуляции и преобразования с помощью ...
ivan100096's user avatar
0 голосов
0 ответов
69 показов

Как в Pandas из значений списка вычленить уникальные(в значениях разделитель запятая)?

Пробую через Pandas. В таблице Excel есть столбец с индексами моторов df['Engine'] в одной ячейке может быть 5-6 моторов разделённые запятой. Часть из значений может повторятся в различных ячейках. Я ...
Алексей Суворов's user avatar
1 голос
1 ответ
295 показов

Pandas: проверка верхней строки на идентичность нижней стоке

Имеется датасет В столбце "А" построчно перечислены дубли имен объектов, в последующих столбцах указаны свойства каждого объекта. Код должен работать по следующему алгоритму: Если в столбце &...
Peter's user avatar
  • 13
0 голосов
1 ответ
204 показа

Pandas и openpyxl и Nan

Есть два столбца в Excel. Один заполнен, в другом есть пустые ячейки. Задача: заменить пустые ячейки одного столбца, на значения соответствующих ячеек другого столбца. Данную задачу реализовала с ...
van.tat's user avatar
1 голос
2 ответа
750 показов

Как прочитать только необходимые столбы таблицы в CSV файле?

Файл csv состоит из заголовка и таблицы. Подсчет столбцов начинается с 0. Каждый столб разделён запятыми и кол-во клеток таблицы в каждой строке одинаковое. Каждая строчка в столбе начинается и ...
taycants's user avatar
2 голоса
1 ответ
263 показа

Ускорить работу функции

Помогите оптимизировать код. Написал такую функцию def vp(df): df_v=df.groupby('col1').sum().reset_index() df['target']=0 for i in range(0, (len(df)-1)): for j in range (0, (len(...
Himik's user avatar
  • 23
1 голос
1 ответ
56 показов

Использование минимального и максимального значения типовых операций

Имеется следующий датасет: Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию? Ожидаемый обновленный датасет на изображении ниже: ...
Alex Morgan's user avatar
0 голосов
2 ответа
244 показа

Не работает фильтр DataFrame по дате

Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе. При попытке реализовать это через метод dataframe.loc я получаю ошибку: TypeError: '<' not supported ...
NeViNez's user avatar
0 голосов
1 ответ
1k показов

Почему при использовании метода groupby в pandas колонки по которым происходит группировка исчезают из расчета?

Её размерность (6, 3) После применения groupby: df_gr = df.groupby(['Towns', 'Country']).sum() Её размерность (6, 1) Что из себя представляют "Country" и "Towns" столбцы? Как они ...
VladislavSoren's user avatar
0 голосов
1 ответ
82 показа

Конкатенация числа и строки по условию

У меня есть фрейм, в котором две колонки: Цена(int) и промо. В промо два вида значений: либо NaN, либо str. Не могу написать цикл, который пробегался бы по столбцу промо и выполнял следующее условие: ...
Artart's user avatar
  • 11
0 голосов
1 ответ
98 показов

Как Разбить столбец с местом проживания на страну/город/регион?

У меня получается такая таблица (изначально есть только столбец [регион] и ['пол']). Хотелось бы получить по итогу колонки: Город; Субъект; Страна. пол Регион Страна Город Область a b 1 ж Россия, ...
convair36's user avatar
0 голосов
1 ответ
47 показов

Каким способом можно применить программу ко всем файлам и сохранить результат?

Мне необходимо применить вот эту программу ( = r"Details.csv" (pd .read_csv(tweet_ids, skipinitialspace=True) .query("Language == 'ru'") .to_csv(r"result.csv", index=...
Kathi's user avatar
  • 41
2 голоса
1 ответ
39 показов

Сохранить из csv-файла только данные с определенным атрибутом

Подскажите пожалуйста как можно из огромного Csv-файла выбрать из сохранить новый файл только с теми теми id которые имеют в столбце language атрибут ru? Например если файл выглядит вот так: ID,...
Kathi's user avatar
  • 41
1 голос
1 ответ
658 показов

Извлечь целое число из строки DataFrame

Необходимо из текста, содержащегося в ячейке DataFrame вычленить численную часть и заменить тест на нее. Пример содержимого ячейки: '1560 MHz', на выходе должно быть: 1560. Написал простую функцию: ...
Leonid Efremov's user avatar
2 голоса
2 ответа
76 показов

Отметить в датафрейм время кратное 5 ти

Каким образом для df['Time'] можно сделать столбик df['Time2']=0, в котором каждые 5 или 10 минут (допустим 5) будет обозначение, что сейчас 5-я минута пошла. df = pd.read_csv('1.csv') df.columns = ['...
user avatar
2 голоса
1 ответ
40 показов

Временной ряд. Как после изменение частоты и групперовки получить данные из конкретной строки

Есть временной ряд с данными OHLCV (открытие, максимум, минимум, закрытие, значение). Начальная частота 15 минут. Необходимо изменить частоту до 1 часа. Данные OHLC получаются замечательно ...
Юрий's user avatar
  • 175
1 голос
1 ответ
355 показов

Как расположить 2 DataFrame на одном листе excel рядом друг с другом?

Подскажите, как можно расположить второй DataFrame рядом с первым df2 = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],...
Аполлинарий's user avatar
1 голос
1 ответ
101 показ

Группировка таблицы по выборочному диапазону дат для каждой группы

Имеется таблица продаж по магазинам: Дата Магазин Продажи 0 01.01.2020 first 1 1 02.01.2020 first 2 2 03.01.2020 first 3 3 04.01.2020 first 5 4 ...
Alexandr 's user avatar
2 голоса
1 ответ
62 показа

Почему 2 одинаковых фрейма оказываются не равны?

Сравниваю 2 фрейма вывожу не совпадения в третий df = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],axis=0) df1 = pd....
Аполлинарий's user avatar
0 голосов
1 ответ
101 показ

SyntaxError: can't assign to function call в pandas

Я решаю вот такую задачу на Stepik: В dataframe с именем my_stat сохранены данные с 4 колонками: session_value, group, time, n_users.В переменной session_value замените все пропущенные значения на ...
Hallteon's user avatar
1 голос
1 ответ
81 показ

При "склеивании" трех датафреймов Pandas в итоговом датафрейме появляются лишние столбцы. Не могу понять в чем причина

Всем привет! Есть три excel файла. Мне нужно собрать из них один датафрейм (в каждом файле 22 столбца и разное количество строк). Вроде бы элементарная задача, но итоговый файл получается непонятной ...
Mangol's user avatar
  • 45
0 голосов
1 ответ
299 показов

как вернуть значения в DataFrame, индексы которых не равны индексу из списка?

Код: uniq = df.drop_duplicates(subset='norm').index.values df.iloc[~uniq, :] Нужно, чтобы из df вернулись те значения, индексы которых не находятся в списке, но этот код возвращает мне таблицу ...
Makss123's user avatar
  • 179
1 голос
1 ответ
7k показов

Как получить индекс строки, где находится значение?

У меня есть массив. Я хочу получить индекс строки, в котором находится искомое значение. Начало Конец Продолжительность Сумма 2020-01-01 2020-03-15 75 -961.4 2020-03-16 2020-03-16 1 0.2 2020-03-17 ...
Дмитрий Емельянов's user avatar
0 голосов
1 ответ
214 показов

Удаление строк датафрейма со строковыми данными

Изучаю нейронки, возникла проблема с датасетом. Вот первые 5 строк датасета. data = [['daewoo', 'nexia 1 поколение [2-й рестайлинг]', '140200', '2012', '60500', 'седан', 'механика', 'бензин', '1.5', '...
Ruslan's user avatar
  • 45
1 голос
1 ответ
54 показа

Как получить содержание колонок в Excel файле через Pandas?

Работаю с таблицей структуры1: Нужно получить содержание определённых колонок, для этого использую конструкцию df1 = pd.read_excel(self.filename)[['1', '2', '21']], но программа закрывается с ошибкой....
Аполлинарий's user avatar
1 голос
1 ответ
99 показов

Проверка вхождения слов в список ячейки

Надо создать столбец 'test', который будет содержать обобщённую характеристику содержания ячеек 'keywords'. Если в 'keywords'входит слово 'marriage', то в 'test'поместить слово 'мелодрама'. Если в '...
Trulimon's user avatar
  • 466
0 голосов
2 ответа
151 показ

сравнить даты между собой в одном столбце датафрейма. И если они одинаковые посчитать их количество

У меня получается булевые значения, но мне нужно оставить даты и посчитать сколько их одинаковых. Например [10.10.2021, 10.10.2021, 11.10.2021, 12.10.2021] Желаемый результат [2,1,1]## file_path="...
Марк Алексеев's user avatar
3 голоса
2 ответа
149 показов

Как оставить только первые появления True и последующие повторения заменить на False?

Надо производительным способом без циклов. Исходный вектор: arr = np.array([True, True, False, True, True, False, False, False, True, True, True, False, True]) Ожидаемый результат: [ True False False ...
nick's user avatar
  • 439

1
2 3 4 5
7