Вопросы с меткой [обработка-данных]

Вопросы об обработке и анализе данных.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
13 показов

Как сделать так, чтобы парсер на SCRAPY сначала собирал все данные, а уже после их обрабатывал

Мне необходимо собрать данные с сайта, которые находятся на разных страницах и обработать их с помощью pandas. По логике парсера (если я её правильно понял, тк. новичок) он сначала заходит на страницу ...
AlexKerama's user avatar
0 голосов
0 ответов
15 показов

Дубли в мат вью на БД АренаДата

Могут ли возникать дубли при пересчете материализованных представлений, построенных на Аренадате, связанные с особенностями СУБД? (Сам скрипт при разовом ручном запуске дубли не создает)
Нина's user avatar
0 голосов
2 ответа
46 показов

Python(Pandas) выделение списка из строки и добавление в разные строки

Всем доброго дня. Не нашел подобную тему, возможно ли сделать такое: Допустим, что у нас есть список с наименованием клиентов, client = [1, 2, 3, 4]. Есть услуги, которые находятся под запретом для ...
Алексей's user avatar
0 голосов
0 ответов
23 показа

Как увеличить количество признаков ML?

Я решаю одну задачу ML, когда мне нужно спрогнозировать цену игры. У меня около 60 столбцов с 10 целыми числами и 50 логическими значениями. Как я могу увеличить количество своих признаков (возможно, ...
Vlad's user avatar
  • 35
1 голос
1 ответ
242 показа

Как получить содержание колонок в Excel файле через Pandas?

Работаю с таблицей структуры1: Нужно получить содержание определённых колонок, для этого использую конструкцию df1 = pd.read_excel(self.filename)[['1', '2', '21']], но программа закрывается с ошибкой....
Аполлинарий's user avatar
1 голос
1 ответ
249 показов

Проверка вхождения слов в список ячейки

Надо создать столбец 'test', который будет содержать обобщённую характеристику содержания ячеек 'keywords'. Если в 'keywords'входит слово 'marriage', то в 'test'поместить слово 'мелодрама'. Если в '...
Trulimon's user avatar
  • 466
2 голоса
1 ответ
281 показ

Ошибка при импорте CSV файла в DataFrame из ZIP

Я пытаюсь импортировать CSV файл в DataFrame, но сам CSV файл находиться в zip (помимо нужного файла в zip находиться много других CSV файлов). Я сначала использую zipfile, потом pd.read_csv: import ...
ralph_lauren's user avatar
2 голоса
1 ответ
426 показов

Как сохранить новый лист в .xls файле через цикл?

Имею следующий запрос: ids = ['766', '976'] for id in ids: writer = pd.ExcelWriter('Statistics.xls', engine='xlsxwriter') submit_ = pd.read_sql(con=connection, sql=sql, params={'id': '%{}%'....
xcplat's user avatar
  • 525
0 голосов
3 ответа
3k показов

Получение выборки из таблицы по нескольким условиям pandas/numpy

Есть таблица в формате csv, из неё нужно получить количество значений удовлетворяющих условию: в столбце TARGET равные нулю и в столбце значения MIP > 82, но меньше 84. Такое выражение не работает: ...
Alex's user avatar
  • 73
1 голос
1 ответ
1k показов

вывести предыдущие строки по условию

Имеется фрейм данных: import pandas as pd import numpy as np data = {'fruit': ['pear','pear','banana','banana', 'pear', 'pear','apple', 'apple', 'cherry','cherry'], 'fruit_type': ['unknown','...
formanite's user avatar
  • 351
0 голосов
1 ответ
98 показов

Как найти средние значение по каждому столбцу и добавить результат в конец?

У меня есть DataFrame считанный с Excel. Мне надо найти средние значение по каждому столбцу. Потом добавить результат в конец. Не могу понять как добавить в конец результаты. import pandas ...
Ольга Сергиенко's user avatar
2 голоса
3 ответа
2k показов

Как разбить данные из одного столбца и вставить их в два новых?

Нужно из столбца Общие данные (красный) вырезать гео-данные и вставить в два столбца - Широта и Долгота (синие). import pandas data = {'Имя': ['Москва, 1п.', 'Питер, 2п', 'Владик 3пп', '...
Nevskiy's user avatar
  • 115
0 голосов
1 ответ
273 показа

Как проверить тип значения при конвертации timestamp в дату

Конвертирую timestamp в date, как оказалось во frame могут попасться уже даты Пример df = pd.DataFrame({'LAST_DATE': [274696742000, -1301790829000, None, -9544861678232, 8960604955000, pd.Timestamp(...
gijarak657's user avatar
1 голос
1 ответ
104 показа

Google Sheets проверка значений по двум спискам

Есть две таблицы: Phone1 88312333666; 89101054581; 88312617706 89307167823 89307167823 89200211539; 89200239899; 89519012568 89108917638 89108917638 89063661063 89063661063 И таблица: Phone2 ...
bboris's user avatar
  • 93
2 голоса
1 ответ
113 показов

Регулярные выражения для Python c использование openpyxl

Написал скрипт для сбора логов СХД NetApp: import openpyxl import subprocess import os import datetime import re time = datetime.datetime.now().strftime('%Y-%m-%d_%H-%M-%S') path_to_SMCIPMItool = 'C:/...
Jacob_616's user avatar
3 голоса
1 ответ
41 показ

Как объединить таблицы по подстроке?

Пытаюсь сделать объединение двух фреймов по некоторому условию, но не пойму как это сделать. DataFrame: my Operator phone Date Year Month Weekday 0 Иванов Иван ...
bboris's user avatar
  • 93
4 голоса
2 ответа
426 показов

Как к XMLTYPE добавить дочерний элемент?

Надо к XMLTYPE добавить дочерний элемент, полученный из другого XMLTYPE. Пробую с функцией APPENDCHILDXML: declare xmlHead xmlType := xmlType (' <order> <head> <...
0xdb's user avatar
  • 51.6k
1 голос
1 ответ
146 показов

Как игнорировать None при конвертации даты?

DataFrame: df = pd.DataFrame({'DEP_DATE': [4274696742, None, -1544861678, 48960604955]}) Преобразовывается так: df["DEP_DATE"] = (df["DEP_DATE"].apply(lambda x: pd.Period(datetime....
gijarak657's user avatar
2 голоса
2 ответа
291 показ

Как отобрать максимальные значения в группе строк?

Имею вот такой фрейм данных: cid num bdate cost payed upto pdate 0 29 233128 2021-06-05 15000.0000 15000.0000 2021-06-06 2021-06-06 1 29 233128 2021-06-05 ...
Даниил Ермошин's user avatar
2 голоса
1 ответ
2k показов

Как отфильтровать все пустые значения в колонках которые соответстуют списку?

Есть список: lst = ['ATR1','ATR2'] DataFrame: df = pd.DataFrame({'ATR1': [111, None, 444], 'ATR2': [None, None, 555], 'ATR3': [777,888,None]}) Нужно отфильтровать пустые значения в колонках, ...
i4zgt's user avatar
  • 37
2 голоса
1 ответ
63 показа

Как получить только последнее значение за день?

Пример входных данных csv: ,ammount,time,currency 0,1470.01,2020-01-02 00:00:00,Евро 1,2530.01,2020-01-02 06:01:00,Доллар 2,1840.01,2020-01-02 18:25:00,Евро 3,1400.01,2020-01-03 00:00:00,Евро 4,...
Ivan's user avatar
  • 125
4 голоса
1 ответ
3k показов

Как выбрать колонки в DataFrame по списку?

Нужно по списку выбрать определенные колонки в DataFrame. Cписок c колонками: lst = ['JOHN', 'GARRY'] DataFrame: df = pd.DataFrame({'JOHN': [1111, 2222, 3333], 'EMMA': [1234, 6666, None], 'GARRY': [...
higot4625's user avatar
1 голос
1 ответ
119 показов

Как поменять значение в столбце на основе условия к другому столбцу?

Пытаюсь пробежаться по столбцу кто, и если там есть значение "2010", поменять значение в столбце Марка на "55п". При этом, другие значения в этом столбце должны оставаться ...
Николай's user avatar
2 голоса
1 ответ
2k показов

Как объединить 4 DataFrame в один?

import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns %matplotlib inline df1 = pd.DataFrame({'type' : [3200, 3210, 3800, 4000, 4001]}) df2 = pd.DataFrame({'...
Rustam 's user avatar
1 голос
1 ответ
2k показов

Как объединить несколько Excel файлов в один?

Нужно объединить несколько прайс-листов в виде Excel файлов в один. Все .xlsx файлы с прайс-листами одинаковы по структуре: в первой строке шапка, дальше данные, количество столбцов одинаковое. ...
Hatach1's user avatar
  • 13
2 голоса
1 ответ
365 показов

Как выбрать всю строку с максимальным значением в одном столбце для каждой группы?

Имеется общий df приблизительно следующего вида: df po oh io yh qw er ty yu io id 09 09 87 89 12 23 34 45 1 id 09 09 87 89 12 23 34 2 id 09 09 87 89 12 23 35 3 id 09 09 87 89 12 23 36 4 ...
xcplat's user avatar
  • 525
0 голосов
1 ответ
9k показов

Как удалить строки по условию с помощью метода drop?

Не получается удалить строки по условию. Где ошибка? data = data.drop(data[data['Комнат'] == 'Для заметок:'], axis=0, inplace=True) data.head() data = data.drop(data[data.columns[0] == 'Для заметок:']...
Борис Винокуров's user avatar
2 голоса
1 ответ
143 показа

Группирования с исключением по столбцам

Имеется df следующего вида: qw er ty yu io 12 23 34 45 1 12 23 34 2 34 56 42 45 2 34 56 42 1 Как сгруппировать, чтобы таблица имела следующий вид: qw er ty yu io 12 23 34 2 34 56 42 45 2 ...
xcplat's user avatar
  • 525
2 голоса
2 ответа
2k показов

Как корректно транспонировать (развернуть) строку в столбцы?

Имею следующий df: qw as df rt fg gh qw fg 12 34 56 67 87 89 98 09 Данный df получаю следующим способом, выборкой строки из общего table_df: df = table_df.loc[[18]] Просьба, подсказать, как можно ...
xcplat's user avatar
  • 525
1 голос
1 ответ
87 показов

Как сделать генератор вывода запроса?

cur.execute('SELECT admin, status FROM admins') with cur.fetchall() as admin, status: ... Мне нужен словарь {admin:status}, но боюсь что у меня все результаты собьются.
nellvincent's user avatar
2 голоса
2 ответа
4k показов

Как указать несколько условий внутри loc?

Имеется фрейм данных: data= {'фрукт': ['груша','огурец','вишня', 'абрикос', 'груша','арбуз','груша','банан', 'груша', 'вишня','яблоко', 'дыня', 'вишня','банан', ...
formanite's user avatar
  • 351
1 голос
2 ответа
2k показов

Как отобрать группы строк по условию?

Имеется фрейм данных: import pandas as pd import numpy as np data = {'фрукт': ['груша','огурец','вишня', 'абрикос', 'груша','арбуз','груша','банан', 'груша', 'вишня','яблоко', 'груша', 'вишня', '...
formanite's user avatar
  • 351
-1 голос
3 ответа
378 показов

Сдвинуть все строки датафрейма на +1 к индексу. Чтобы верхняя строка осталась пустой

У меня есть датафрейм Есть ли возможность перенести все данные датафрейма на один индекс ниже(Без удаления данных), чтобы нулевой индекся стал пустым или заполненным(Nan) для дальнейшей работы с ним? ...
David's user avatar
  • 3
2 голоса
1 ответ
590 показов

Объединение строк разных столбцов

К примеру, имеем такой DataFrame. Можно ли с помощью внутренних методов объединить состав заказов, если дата покупки совпадает? my_df = pd.DataFrame({'Дата заказа № 1': ['10.02.19', '09.11.19', '15.01....
Bizzarro's user avatar
  • 133
2 голоса
1 ответ
489 показов

Как работать с объединенными ячейками Excel?

Есть файл с объединенными ячейками (пример файла). Пробывала так: df1 = df1.fillna(method='ffill') Но этот способ помогает заполнить ячейки, которые объединены по строкам, но не по столбцам:
Elena Barbanova's user avatar
0 голосов
1 ответ
117 показов

Отсортировать фрейм данных по порядку, заданному индексом другого фрейма

Eсть 2 дата фрейма, нужно отсортировать второй датафрейм по порядку индексов первого. То есть если df1.index = ["mother", "sister", "brother"] df2['A'] = ["brother&...
Elena Barbanova's user avatar
2 голоса
4 ответа
111 показов

Объединить строки

Есть файл csv: 0,10,15,14 0,12,17,17 1,14,19,15 1,11,12,13 Я его считываю, и даю названия колонкам data = pd.read_csv('data.csv', names=['name' + str(i) for i in range(3)]) res = dataset.groupby(&...
Leonid's user avatar
  • 348
0 голосов
2 ответа
313 показов

При переводе столбцов в datetime выдает ошибку: ValueError: cannot assemble the datetimes: unconverted data remains: 1

Есть фрейм данных, который содержит год, месяц, дату, минуты, часы и секунды: year month day minute hour second 0 2008 1 1 3.0 0.0 30.0 1 2008 1 1 4.0 ...
aufloren's user avatar
2 голоса
1 ответ
66 показов

Как применить функцию concat с параметром axis ='columns' к двум идентичным по размеру фреймам?

Есть два фрейма данных одинакового размера. Основная задача состоит в том, чтобы найти различия в ячейках и строках. Как первым шагом на пути решения вижу применение следующего кода: df_all = pd....
Elena Barbanova's user avatar
1 голос
2 ответа
637 показов

Как добавить индекс и значения всей строки None к имеющемуся фрейму данных?

Есть фрейму данных df, нужно добавить последней строкой значения None с индексом "моя строка". for ind in df2.index: if ind not in df1.index: df1.at[ind] = None # df1....
Elena Barbanova's user avatar
2 голоса
1 ответ
67 показов

Не меняя DataFrame по заданному условию произвести операцию со строками столбца

Имеется следующий DataFrame: Необходимо по условию: если в столбце "Усреднённая скорость" значение < 0, то значение в этой строке в столбце "Масштабный коэффициент" умножить на ...
leach's user avatar
  • 387
5 голосов
2 ответа
504 показа

Как в векторе чисел посчитать количество положительных или отрицательных элементов в ряд?

Есть вектор с числами. import numpy as np arr = np.array([3, 2, 1, 1, -1, -2, -3, 1, 1, 2, 1], float) Задача посчитать количество положительных или отрицательных чисел в ряд векторизированным ...
nick's user avatar
  • 439
1 голос
1 ответ
136 показов

Как преобразовать массив в фрейм данных?

Как преобразовать массив в фейм данных, где первый столбце - время, а второй - df['numbers']? [[1619247540000, 5028], [1619247600000, 5029], [1619247660000, 5011], [1619247720000, 5005], [...
user avatar
0 голосов
2 ответа
210 показов

Запрос ss = df.query('@x in name and year_of_release == @n').index возвращает пустой фрейм

RangeIndex: 16715 entries, 0 to 16714 Data columns (total 11 columns): name 16713 non-null object platform 16715 non-null object year_of_release 16446 non-null float64 genre ...
Даниил Ермошин's user avatar
1 голос
2 ответа
2k показов

замена значений в столбце по условию

Имеем фрейм данных import pandas as pd import numpy as np data = {'фрукт': ['груша','огурец','вишня', 'абрикос', 'груша','арбуз', 'груша','банан', 'груша', 'вишня','яблоко', 'груша', ...
formanite's user avatar
  • 351
3 голоса
1 ответ
170 показов

Убрать пропущенные значения в цикле

Подсчитываю точечно-биссериальный коэффициент таким кодм: def tbk(col): tbk_ras = stats.pointbiserialr(col, df['Общий']) df1 = pd.DataFrame({"statistic": [tbk_ras[0]], ...
Io Io's user avatar
  • 461
2 голоса
1 ответ
453 показа

Как преобразовать дату из первой строки?

Как преобразовать дату в '2010-07-17'? data['Date'][0:1] 0 2010-07-17 Name: Date, dtype: datetime64[ns]
user avatar
-1 голос
1 ответ
879 показов

Как вычислить среднее для группы строчек по определенному условию?

Есть большой набор данных (300МБ). Приведу несколько строчек из этого набора: id;OUTPUT;Year;Doy;Seconds;X[m];Y[m];Z[m];latitude[degrees];longitude[degrees];height[m] 0;OUTPUT;2010;186;210,00;1592131,...
aufloren's user avatar
1 голос
1 ответ
159 показов

Присвоить год для даты dataframe

Как присвоить столбцу датафрейму data, соответствие диапазанону годов 10 и 20 (data['10'],data['20']). Например, 1900 - это начало - 1 год. 2000 - это тоже 1й год. Для диапозона 10, слеудующие года ...
user avatar
3 голоса
1 ответ
1k показов

Как обрезать DataFrame по дате?

Как обрезать data['Date'] чтобы DataFrame шел после 1959-07-28? Не помогает: data = data.loc['1959-07-27':] Date 1959-07-21 1959-07-22 1959-07-23 1959-07-24 1959-07-27 1959-07-28 1959-07-29 1959-07-...
user avatar