Вопросы с меткой [dataframe]

Фрейм данных - это табличная структура данных. Обычно он содержит данные, в которых строки являются наблюдениями, а столбцы-переменными различных типов. В то время как "data frame" или "dataframe"-это термин, используемый для этого понятия в нескольких языках (R, Apache Spark, deedle, Maple, библиотека pandas в Python и библиотека DataFrames в Julia), "table"-это термин, используемый в MATLAB и SQL.

Фильтрация
Сортировка
Метки
0 голосов
1 ответ
23 показа

Как увеличить точность метрик: F1, recall, precision?

Пожалуйста, помогите увеличить точность метрик: F1, recall, precision для метода Random Forest. Для датасета по ссылке: https://www.kaggle.com/datasets/spscientist/students-performance-in-exams . В ...
  ShadowGhost's user avatar
1 голос
2 ответа
24 показа

Pandas - Сложить все значения в списке ячейки

Есть датафрейм такого вида: x y z [1.0, 2.0] [5.0, 2.0] [7.0, 1.0] [2.0, 2.0] [1.0, 2.0] [7.0, 1.0] Нужно сложить списки в каждой ячейке, т.е. превратить в такой: x y z 3.0 7.0 8.0 4.0 3.0 8.0 ...
alexandra's user avatar
0 голосов
1 ответ
31 показ

содержится ли строки одного датафрейма в другом датафрейме

Есть два датафрейма с одним стобцом данных (номера): DF1 Номер 218456 789562 514 787862 894514 DF2 Номер 893514 787862 896514 789562 2184 Результат: добавить к df2 номера из df1, которые ...
Aizhan Askhatova's user avatar
-3 голоса
1 ответ
47 показов

Pandas из колонок в строки

У меня есть дф А мне нужно перевести колонки Comp1...Comp10 в одну колонку Сomp Помогите, пожалуйста
Victor56's user avatar
1 голос
1 ответ
22 показа

Как в dataframe удалить дубликаты строк кроме первого последнего?

В списке, в колонке, несколько фамилий, необходимо удалить все, кроме первой и последней строки каждой фамилии, если такие появляются. Параметр keep не подходит, т.к. удаляет (точнее должен удалять) ...
Александр А's user avatar
0 голосов
2 ответа
37 показов

Получение текстовых данных из строк таблицы

Выгружаю из Appmetrica данные по поисковой выдаче. Использую для этого библиотеки requests, json, urllib Коротко сам запрос: url = '{host}/logs/v1/export/events.json?'.format(host=API_HOST)+ ...
Никита's user avatar
0 голосов
2 ответа
32 показа

как из датафрейма размером 5*5 сделать датафрейм с одним столбцом

Есть датафрейм размером 3х5 1 2 3 095 093 094 109 NaN NaN 09 10 NaN 019 020 NaN 04 05 123 Возможно ли из датафрейма 3Х5 сделать датафрейм 1Х11 без пустых значений 1 095 109 09 019 04 093 ...
Aizhan Askhatova's user avatar
-1 голос
2 ответа
51 показ

срезы в dataframe [закрыт]

Есть данные. В столбец Range New необходимо получить SN Range Start[: длина]. Заранее спасибо.
Aizhan Askhatova's user avatar
0 голосов
1 ответ
31 показ

загрузка данных с 0 в начале

Подскажите, пожалуйста, есть столбец данных, которые загружаются с excel. num 0312999 009999 005999 Но при загрузке данных в jupyter notebook 0 исчезают. Как экспортировтаь данные без изменений с ...
Aizhan Askhatova's user avatar
0 голосов
1 ответ
16 показов

Применение пакета packaging.version к элементам dataframe

Имеется MultiIndex Dataframe, в котором хранятся граничные версии пакетов в формате string: >>> print(target_indexes) 0 1 match 0 0 0 3.6.14 ...
Святослав Сергеев's user avatar
1 голос
3 ответа
44 показа

Заполнение значений датафрейма через цикл

Требуется заполнить датафрейм списком, изменяющимся через цикл. Ожидается что на выходе будет датафрейм со следующими строками: x= 1 work_ls = [1] x= 2 work_ls = [1, 2] x= 3 work_ls = [1, 2, 3] x= ...
Censor's user avatar
  • 33
0 голосов
1 ответ
50 показов

Найти строку в dataframe по условию не первого вхождения

Есть dataframe, в котором один из столбцов строки содержит строку вида от 3.6.12 до 3.6.14 (Python), от 3.7.0 до 3.7.11 (Python), от 3.8.0 до 3.8.11 (Python) Мне нужно понять, входит ли в данное ...
Святослав Сергеев's user avatar
0 голосов
1 ответ
46 показов

Найти вхождения строк в DataFrame по сравнению значения, полученного регулярным выражением

Есть структура DataFrame, в которой хранится таблица с уязвимостями (много столбцов с различной информацией, такой как Идентификатор, Наименование, Версия ПО и т.д.). Нужно отобрать определенные ...
Святослав Сергеев's user avatar
0 голосов
1 ответ
33 показа

сканирующее окно для большого датафрейма

Подскажите как оптимальней написать сканирующее окно большого df? Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
Oleksandr Krestiankin's user avatar
0 голосов
2 ответа
36 показов

Как в pandas выбрать строки по колонке, содержащей список, заканчивающейся определённым значением?

У меня есть dataframe который содержит listlike столбец. data = {'Маршрут': ['344с', '344', '1062'], 'Остановки': [('Ховрино', 'Совхозная'), ('Ховрино', 'Зеленая', 'Аптека', 'Левобережная',...
Smoooky's user avatar
  • 28
1 голос
1 ответ
36 показов

Получение среднего значения

Как в Pandas можно получить (преобразовать) среднее значение каждой ячейки колонки, если в ячейках указан интервал? Например: '15,000-19,999' - 17500, '125,000-149,999' - 137500, '> $1,000,000' - ...
Gimlinut's user avatar
2 голоса
2 ответа
60 показов

Преобразование str в int с пустыми ячейками pandas

import pandas as pd df = pd.DataFrame({'Минимум': [0, 0, 0, 0, 0, 0, 0], 'vendor1': ['', '', '65000', '', '14000', '11000', ''], 'vendor2': ['22000', '12000', '', '', '...
torsaf's user avatar
  • 63
0 голосов
1 ответ
29 показов

Получить правильную последовательность элементов

Имеется датафрейм следующего вида: q = [['table 2', 'C'], ['table 2', 'D'], ['table 3', 'C'], ['table 6', 'C'], [nan, nan], ['table 2', 'B'], ['table 3', 'B'], ['table 6', 'B'], [nan, nan], ['...
Елена Сергеева's user avatar
0 голосов
1 ответ
62 показа

Pandas. Фильтрация датафрейма

Есть задача найти все данные по конкретной фамилии за определённый период времени (на картинке это "Головин Д.А." и период времени с 27.02 по 03.03 Я получил нужные данные, но код такой ...
dutik's user avatar
  • 185
0 голосов
1 ответ
52 показа

Как в pandas наиболее эффективно заполнить столбец данными по ключу и условию?

Требуется добавить в df1 столбцы 4 и 5. Заполнить эти столбцы данными из df2 соответственно из столбцов 'id' и 'val2'. Ключом для заполнения является df1[0] == df2['key'] и df2['val1'] == 'yes'. Как ...
another_one_minsk's user avatar
1 голос
1 ответ
21 показ

Получить словарь определенного вида

Имеется датафрейм следующего вида: q = [[nan, nan], [nan, nan], ['29', 'B'], ['29', 'D'], ['29', 'C'], [nan, nan], ['30', 'B'], ['30', 'D'], ['30', 'C'], [nan, nan], ['30', 'E'], ['30', 'G']...
Елена Сергеева's user avatar
-1 голос
1 ответ
42 показа

как узнать значение определенной ячейки? [закрыт]

Есть такой dataframe у столбца Unnamed И первой строки тип данных: object. Есть год и число (например 2022 и 3) и задача состоит в том, чтобы вывести значение ячейки на пересечении строки 2022 года и ...
Дарья Балакирева's user avatar
0 голосов
1 ответ
71 показ

pandas получить значения из вложенных ячеек excel

Есть dataframe полученный из xlsx файла: В колонке contact может находится произвольное количество данных (mail, phone, skype и т.д) для account. Каким образом можно перенести вложенные данные для ...
Venom IT's user avatar
0 голосов
2 ответа
45 показов

Замена значений в столбце pandas по количеству повторений [закрыт]

Существует список автомобильных марок: automobile = ['ford', 'nissan', 'lincoln', 'pontiac', 'hyundai', 'buick', 'chevrolet', 'honda', 'acura', 'cadillac', 'gmc', 'dodge', 'mercedes', 'toyota', '...
SmesharikGPT's user avatar
1 голос
2 ответа
71 показ

Как скопировать определённые значения из dataframe в одну строчку list?

import pandas as pd import numpy as np dataframe = pd.DataFrame(np.arange(100).reshape((25,4))) list_ = [] list_[0] = dataframe['0'][0:20] В данном случае значения будут записаны, как объект ...
Влад Берд's user avatar
0 голосов
1 ответ
36 показов

Создать новые строки используя часть значений из других строк

У меня есть dataFrame с набором данных такого вида(в столбце Spisok_STS может быть n СТС, разделитель - запятая): user_id;Spisok_STS;grz 1;50XE516421;Н123ЕТ150 2;9942987177;Т321НТ178 3;5144574666;NaN ...
Полянских Артур's user avatar
-1 голос
1 ответ
65 показов

Как удалить все нечисловые значения из датафрейма?

Есть следующий код: import pandas as pd import numpy as np currencyf = pd.read_csv('/content/drive/MyDrive/Без названия/worldwide internet prices in 2022 - IN 2022.csv') chst = currencyf['Cheapest ...
Kir's user avatar
  • 1
0 голосов
0 ответов
35 показов

Математические действия с уникальными значениями в группах

Добрый день. Сделала срез по пользователям из группы 247, выполнивших событие MainScreenAppear-2482 человека. Всего у меня 3 группы и 7551 уникальный пользователь в датасете log. Нужно найти долю ...
user543612's user avatar
0 голосов
1 ответ
76 показов

Кривой вывод dataframe в консоль PyCharm

Я предпологаю что проблема быть может в настройках среды разработки. Но самостоятельно ничего не нашёл. Быть может данные сохраняю не так как-то.Но это врядли. очень раздражает и отвлекает. Хотелось ...
iamke's user avatar
  • 1
0 голосов
0 ответов
46 показов

The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()

Мне необходимо создать колонку, в которой значения появляются согласно определенным условиям других колонок. Для этого я использовала функции def и if def TTS(raw): if df[(df['ST_V1(0)'] == 1) &...
zina's user avatar
  • 1
0 голосов
2 ответа
87 показов

Запись Frame в excel

Помогите пожалуйста. При написании парсера выявил у себя ошибку, в целом запись фрэйма в excel затирается последней записью. Весь код скидывать нет смысла, нашел место где этот косяк вылазит. Сам код, ...
Михаил Ширшов's user avatar
0 голосов
0 ответов
39 показов

Создание одного DataFrame на основе двух разных массивов

Подскажите, пожалуйста, как создать df на основе двух разных массивов. На основе одного массива заполнял вот так и все работало корректно df = DataFrame([{ 'open': c.open, 'close': c....
Ящик Почтовый's user avatar
0 голосов
1 ответ
30 показов

Что делать если нет целевой переменой в датасете?

есть три таблицы: История активаций подписок CID -- идентификатор клиента SAP_ALLO_ID -- идентификатор активации подписки PRID -- идентификатор тарифа PRCID -- идентификатор услуги CONNECTION_DATE -- ...
SENSE's user avatar
  • 1
0 голосов
1 ответ
26 показов

Двойное значение в DataFrame

Написал код, который переносит JSON ответ с сайта в Google Sheet, но к сожалению у одного ключа приходит два значения в круглых скобках PROPERTY_793 {'557740401': '128102'} можно ли с ...
Александр Оборин's user avatar
1 голос
2 ответа
223 показа

Разбить датафрейм на несколько частей по условию

Имеется датафрейм, в котором значения в 1 столбце последовательно повторяются и разделены одной, не имеющей значения, строкой >>> df['a'].values.tolist() >>> ['количество', 'итог', '...
Елена Сергеева's user avatar
-1 голос
1 ответ
40 показов

Как заполнить пустые строки в датафрейме

Имеется список списков, представляющих собой датафрейм: [['', '', '', 'г. Москва', '27972,5'], ['Центральный', '22103,9', '100,2', 'Орловская область', '17229,8'], ['', '', '', 'Мурманская область', ...
Елена Сергеева's user avatar
0 голосов
1 ответ
76 показов

Как подсчитать значения из двух Dataframe, по разным строкам и нескольким условиям

имеется два Dataframe, у них есть 2 общих столбца. Нужно подсчитать количество значений исходя из данных нескольких столбцов. Есть ли возможность реализовать это без циклов, только возможностями ...
Костя Русанов's user avatar
1 голос
1 ответ
30 показов

Как соединить dataframes pandas

У нас есть два dataframe: test1 = pd.DataFrame({'Name1': ['a','b']}) test2 = pd.DataFrame({'Name2': ['a1','a2', 'b1', 'b2']}) Нужно получить третий dataframe в следующем виде: test3 = pd.DataFrame({'...
TilWender's user avatar
0 голосов
1 ответ
66 показов

Объединение датафреймов с одинаковыми названиями столбцов

Имеется код all_df = [] ind_join_df = [] for i in range(len(pdfs)-1): if list(pdfs[i].columns) == list(pdfs[i+1].columns): main_df = pd.concat([pdfs[i], pdfs[i+1]], ignore_index=True) ...
Елена Сергеева's user avatar
0 голосов
1 ответ
35 показов

Удалить датафрейм из списка датафреймов

Имеется список датафреймов, в котором встречаются датафреймы с 1 столбцом, которые нужно удалить Пытаюсь сделать так for table in dfs: if table.shape[1] == 1: ind = ([i for i in range(0, ...
Елена Сергеева's user avatar
0 голосов
1 ответ
100 показов

Как убрать NaN из столбца?

Мне надо отправить файл без NaN в столбцах, вместо NaN должны быть значения 0 или 1 Submission_x = pd.read_csv(f'/content/Submission.csv', index_col = 0) Submission_x['polution_clf'] = test_target_df ...
Ashen_Elish's user avatar
0 голосов
1 ответ
180 показов

Применение функции по расчёту рабочих дней (5 дневка) в датафрейме между двумя столбцами с датами

Пытаюсь решить простецкую задачку, но никак не получается. Исходные данные Имеется датафрейм, состоящий из столбцов Работа-дата начала-дата завершения- и. Цель сформировать дополнительный столбец с ...
Владимир Рубцов's user avatar
0 голосов
1 ответ
138 показов

DataFrame: как обратиться к элементу списка в ячейке

Подскажите пожалуйста, как я могу обратиться к элементу списка внутри dataframe? У меня есть следующий код: import pandas as pd dict = {'Name': [['Martha', 'A1'], ['Tim', 'A1'], ['Rob',...
Fa4stik's user avatar
  • 83
0 голосов
1 ответ
49 показов

Применить функцию к списку столбцов датафрейма

Как применить функцию (например astype('float64') не к одному столбцу, а сразу к заданному списку столбцов дата фрейма? Список пусть называется df_numeric_columns.
Василий Семи-Булатов's user avatar
2 голоса
1 ответ
34 показа

Замена пустых значений по условию

Есть DataFrame об опросе уровня счастья в разных странах. Country happiness_score gdp_per_capita family health freedom generosity government_trust dystopia_residual ...
sooooomeone's user avatar
2 голоса
0 ответов
71 показ

Не работает append_df_to_excel pandas

Доброго времени суток всем! Не могу записать DataFrame снизу уже существующего листа Excel. Есть такой код: df = handbook_excel = pd.read_excel(r'/home/Desktop/План-Факт.xlsx') df = df.loc[df['Вид'] ==...
MKamch's user avatar
  • 50
0 голосов
0 ответов
26 показов

как посчитать зависимость от числа Херста с движущимся окном

def get_hurst_exponent(time_series, max_lag=20): lags = range(2, max_lag) tau = [np.std(np.subtract(time_series[lag:], time_series[:-lag])) for lag in lags] reg = np.polyfit(np.log(lags), np....
Nesiro's user avatar
  • 1
0 голосов
0 ответов
34 показа

Выгрузить Dataframe в БД

Столкнулся с проблемой выгрузки данных из датафрейма Pandas в БД после groupby() и agg(). Пример: mydf = pd.DataFrame(itog).groupby(['assignee', 'project', 'sprint_date']).agg({'ocenka': ['sum','count'...
Сергей Куликов's user avatar
0 голосов
1 ответ
32 показа

Помогите оптимизировать код

Есть датафрейм вида Необходимо получить два списка: ['Растения', 'Животные', 'Грибы'] и [[{'Название': 'Роза', 'Количество': 15}, {'Название': 'Ель', 'Количество': 2}], [{'Название': 'Слон', '...
Елена Сергеева's user avatar
1 голос
1 ответ
53 показа

Найти соответствие сроки из одного датафрейма с графой по нескольким строкам другого датафрейма

Дана задача найти соответствие оплаты накладных в графе DocN df1 с данными графе TXT в df2. Вывести на печать накладную (DocN) + сумму(DocSum) и реквизиты соответствующей ей оплаты (DocP, Date) import ...
user534280's user avatar