Вопросы с меткой [dataframe]
Фрейм данных - это табличная структура данных. Обычно он содержит данные, в которых строки являются наблюдениями, а столбцы-переменными различных типов. В то время как "data frame" или "dataframe"-это термин, используемый для этого понятия в нескольких языках (R, Apache Spark, deedle, Maple, библиотека pandas в Python и библиотека DataFrames в Julia), "table"-это термин, используемый в MATLAB и SQL.
1,454
вопроса
0
голосов
1
ответ
23
показа
Как увеличить точность метрик: F1, recall, precision?
Пожалуйста, помогите увеличить точность метрик: F1, recall, precision для метода Random Forest.
Для датасета по ссылке: https://www.kaggle.com/datasets/spscientist/students-performance-in-exams .
В ...
1
голос
2
ответа
24
показа
Pandas - Сложить все значения в списке ячейки
Есть датафрейм такого вида:
x
y
z
[1.0, 2.0]
[5.0, 2.0]
[7.0, 1.0]
[2.0, 2.0]
[1.0, 2.0]
[7.0, 1.0]
Нужно сложить списки в каждой ячейке, т.е. превратить в такой:
x
y
z
3.0
7.0
8.0
4.0
3.0
8.0
...
0
голосов
1
ответ
31
показ
содержится ли строки одного датафрейма в другом датафрейме
Есть два датафрейма с одним стобцом данных (номера):
DF1
Номер
218456
789562
514
787862
894514
DF2
Номер
893514
787862
896514
789562
2184
Результат: добавить к df2 номера из df1, которые ...
-3
голоса
1
ответ
47
показов
Pandas из колонок в строки
У меня есть дф
А мне нужно перевести колонки Comp1...Comp10 в одну колонку Сomp
Помогите, пожалуйста
1
голос
1
ответ
22
показа
Как в dataframe удалить дубликаты строк кроме первого последнего?
В списке, в колонке, несколько фамилий, необходимо удалить все, кроме первой и последней строки каждой фамилии, если такие появляются.
Параметр keep не подходит, т.к. удаляет (точнее должен удалять) ...
0
голосов
2
ответа
37
показов
Получение текстовых данных из строк таблицы
Выгружаю из Appmetrica данные по поисковой выдаче.
Использую для этого библиотеки requests, json, urllib
Коротко сам запрос:
url = '{host}/logs/v1/export/events.json?'.format(host=API_HOST)+ ...
0
голосов
2
ответа
32
показа
как из датафрейма размером 5*5 сделать датафрейм с одним столбцом
Есть датафрейм размером 3х5
1
2
3
095
093
094
109
NaN
NaN
09
10
NaN
019
020
NaN
04
05
123
Возможно ли из датафрейма 3Х5 сделать датафрейм 1Х11 без пустых значений
1
095
109
09
019
04
093
...
-1
голос
2
ответа
51
показ
срезы в dataframe [закрыт]
Есть данные. В столбец Range New необходимо получить SN Range Start[: длина].
Заранее спасибо.
0
голосов
1
ответ
31
показ
загрузка данных с 0 в начале
Подскажите, пожалуйста, есть столбец данных, которые загружаются с excel.
num
0312999
009999
005999
Но при загрузке данных в jupyter notebook 0 исчезают. Как экспортировтаь данные без изменений с ...
0
голосов
1
ответ
16
показов
Применение пакета packaging.version к элементам dataframe
Имеется MultiIndex Dataframe, в котором хранятся граничные версии пакетов в формате string:
>>> print(target_indexes)
0 1
match
0 0 0 3.6.14
...
1
голос
3
ответа
44
показа
Заполнение значений датафрейма через цикл
Требуется заполнить датафрейм списком, изменяющимся через цикл. Ожидается что на выходе будет датафрейм со следующими строками:
x= 1 work_ls = [1]
x= 2 work_ls = [1, 2]
x= 3 work_ls = [1, 2, 3]
x= ...
0
голосов
1
ответ
50
показов
Найти строку в dataframe по условию не первого вхождения
Есть dataframe, в котором один из столбцов строки содержит строку вида
от 3.6.12 до 3.6.14 (Python), от 3.7.0 до 3.7.11 (Python), от 3.8.0 до 3.8.11 (Python)
Мне нужно понять, входит ли в данное ...
0
голосов
1
ответ
46
показов
Найти вхождения строк в DataFrame по сравнению значения, полученного регулярным выражением
Есть структура DataFrame, в которой хранится таблица с уязвимостями (много столбцов с различной информацией, такой как Идентификатор, Наименование, Версия ПО и т.д.).
Нужно отобрать определенные ...
0
голосов
1
ответ
33
показа
сканирующее окно для большого датафрейма
Подскажите как оптимальней написать сканирующее окно большого df?
Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
0
голосов
2
ответа
36
показов
Как в pandas выбрать строки по колонке, содержащей список, заканчивающейся определённым значением?
У меня есть dataframe который содержит listlike столбец.
data = {'Маршрут': ['344с', '344', '1062'],
'Остановки': [('Ховрино', 'Совхозная'), ('Ховрино', 'Зеленая', 'Аптека', 'Левобережная',...
1
голос
1
ответ
36
показов
Получение среднего значения
Как в Pandas можно получить (преобразовать) среднее значение каждой ячейки колонки, если в ячейках указан интервал? Например:
'15,000-19,999' - 17500,
'125,000-149,999' - 137500,
'> $1,000,000' -
...
2
голоса
2
ответа
60
показов
Преобразование str в int с пустыми ячейками pandas
import pandas as pd
df = pd.DataFrame({'Минимум': [0, 0, 0, 0, 0, 0, 0],
'vendor1': ['', '', '65000', '', '14000', '11000', ''],
'vendor2': ['22000', '12000', '', '', '...
0
голосов
1
ответ
29
показов
Получить правильную последовательность элементов
Имеется датафрейм следующего вида:
q = [['table 2', 'C'],
['table 2', 'D'],
['table 3', 'C'],
['table 6', 'C'],
[nan, nan],
['table 2', 'B'],
['table 3', 'B'],
['table 6', 'B'],
[nan, nan],
['...
0
голосов
1
ответ
62
показа
Pandas. Фильтрация датафрейма
Есть задача найти все данные по конкретной фамилии за определённый период времени (на картинке это "Головин Д.А." и период времени с 27.02 по 03.03
Я получил нужные данные, но код такой ...
0
голосов
1
ответ
52
показа
Как в pandas наиболее эффективно заполнить столбец данными по ключу и условию?
Требуется добавить в df1 столбцы 4 и 5. Заполнить эти столбцы данными из df2 соответственно из столбцов 'id' и 'val2'.
Ключом для заполнения является df1[0] == df2['key'] и df2['val1'] == 'yes'.
Как ...
1
голос
1
ответ
21
показ
Получить словарь определенного вида
Имеется датафрейм следующего вида:
q = [[nan, nan],
[nan, nan],
['29', 'B'],
['29', 'D'],
['29', 'C'],
[nan, nan],
['30', 'B'],
['30', 'D'],
['30', 'C'],
[nan, nan],
['30', 'E'],
['30', 'G']...
-1
голос
1
ответ
42
показа
как узнать значение определенной ячейки? [закрыт]
Есть такой dataframe у столбца Unnamed И первой строки тип данных: object.
Есть год и число (например 2022 и 3) и задача состоит в том, чтобы вывести значение ячейки на пересечении строки 2022 года и ...
0
голосов
1
ответ
71
показ
pandas получить значения из вложенных ячеек excel
Есть dataframe полученный из xlsx файла:
В колонке contact может находится произвольное количество данных (mail, phone, skype и т.д) для account.
Каким образом можно перенести вложенные данные для ...
0
голосов
2
ответа
45
показов
Замена значений в столбце pandas по количеству повторений [закрыт]
Существует список автомобильных марок:
automobile = ['ford', 'nissan', 'lincoln', 'pontiac', 'hyundai', 'buick', 'chevrolet', 'honda', 'acura', 'cadillac', 'gmc',
'dodge', 'mercedes', 'toyota', '...
1
голос
2
ответа
71
показ
Как скопировать определённые значения из dataframe в одну строчку list?
import pandas as pd
import numpy as np
dataframe = pd.DataFrame(np.arange(100).reshape((25,4)))
list_ = []
list_[0] = dataframe['0'][0:20]
В данном случае значения будут записаны, как объект ...
0
голосов
1
ответ
36
показов
Создать новые строки используя часть значений из других строк
У меня есть dataFrame с набором данных такого вида(в столбце Spisok_STS может быть n СТС, разделитель - запятая):
user_id;Spisok_STS;grz
1;50XE516421;Н123ЕТ150
2;9942987177;Т321НТ178
3;5144574666;NaN
...
-1
голос
1
ответ
65
показов
Как удалить все нечисловые значения из датафрейма?
Есть следующий код:
import pandas as pd
import numpy as np
currencyf = pd.read_csv('/content/drive/MyDrive/Без названия/worldwide internet prices in 2022 - IN 2022.csv')
chst = currencyf['Cheapest ...
0
голосов
0
ответов
35
показов
Математические действия с уникальными значениями в группах
Добрый день.
Сделала срез по пользователям из группы 247, выполнивших событие MainScreenAppear-2482 человека.
Всего у меня 3 группы и 7551 уникальный пользователь в датасете log. Нужно найти долю ...
0
голосов
1
ответ
76
показов
Кривой вывод dataframe в консоль PyCharm
Я предпологаю что проблема быть может в настройках среды разработки. Но самостоятельно ничего не нашёл. Быть может данные сохраняю не так как-то.Но это врядли.
очень раздражает и отвлекает. Хотелось ...
0
голосов
0
ответов
46
показов
The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()
Мне необходимо создать колонку, в которой значения появляются согласно определенным условиям других колонок. Для этого я использовала функции def и if
def TTS(raw):
if df[(df['ST_V1(0)'] == 1) &...
0
голосов
2
ответа
87
показов
Запись Frame в excel
Помогите пожалуйста.
При написании парсера выявил у себя ошибку, в целом запись фрэйма в excel затирается последней записью.
Весь код скидывать нет смысла, нашел место где этот косяк вылазит.
Сам код, ...
0
голосов
0
ответов
39
показов
Создание одного DataFrame на основе двух разных массивов
Подскажите, пожалуйста, как создать df на основе двух разных массивов.
На основе одного массива заполнял вот так и все работало корректно
df = DataFrame([{
'open': c.open,
'close': c....
0
голосов
1
ответ
30
показов
Что делать если нет целевой переменой в датасете?
есть три таблицы:
История активаций подписок
CID -- идентификатор клиента
SAP_ALLO_ID -- идентификатор активации подписки
PRID -- идентификатор тарифа
PRCID -- идентификатор услуги
CONNECTION_DATE -- ...
0
голосов
1
ответ
26
показов
Двойное значение в DataFrame
Написал код, который переносит JSON ответ с сайта в Google Sheet, но к сожалению у одного ключа приходит два значения в круглых скобках PROPERTY_793 {'557740401': '128102'} можно ли с ...
1
голос
2
ответа
223
показа
Разбить датафрейм на несколько частей по условию
Имеется датафрейм, в котором значения в 1 столбце последовательно повторяются и разделены одной, не имеющей значения, строкой
>>> df['a'].values.tolist()
>>> ['количество', 'итог', '...
-1
голос
1
ответ
40
показов
Как заполнить пустые строки в датафрейме
Имеется список списков, представляющих собой датафрейм:
[['', '', '', 'г. Москва', '27972,5'],
['Центральный', '22103,9', '100,2', 'Орловская область', '17229,8'],
['', '', '', 'Мурманская область', ...
0
голосов
1
ответ
76
показов
Как подсчитать значения из двух Dataframe, по разным строкам и нескольким условиям
имеется два Dataframe, у них есть 2 общих столбца. Нужно подсчитать количество значений исходя из данных нескольких столбцов. Есть ли возможность реализовать это без циклов, только возможностями ...
1
голос
1
ответ
30
показов
Как соединить dataframes pandas
У нас есть два dataframe:
test1 = pd.DataFrame({'Name1': ['a','b']})
test2 = pd.DataFrame({'Name2': ['a1','a2', 'b1', 'b2']})
Нужно получить третий dataframe в следующем виде:
test3 = pd.DataFrame({'...
0
голосов
1
ответ
66
показов
Объединение датафреймов с одинаковыми названиями столбцов
Имеется код
all_df = []
ind_join_df = []
for i in range(len(pdfs)-1):
if list(pdfs[i].columns) == list(pdfs[i+1].columns):
main_df = pd.concat([pdfs[i], pdfs[i+1]], ignore_index=True)
...
0
голосов
1
ответ
35
показов
Удалить датафрейм из списка датафреймов
Имеется список датафреймов, в котором встречаются датафреймы с 1 столбцом, которые нужно удалить
Пытаюсь сделать так
for table in dfs:
if table.shape[1] == 1:
ind = ([i for i in range(0, ...
0
голосов
1
ответ
100
показов
Как убрать NaN из столбца?
Мне надо отправить файл без NaN в столбцах, вместо NaN должны быть значения 0 или 1
Submission_x = pd.read_csv(f'/content/Submission.csv', index_col = 0)
Submission_x['polution_clf'] = test_target_df
...
0
голосов
1
ответ
180
показов
Применение функции по расчёту рабочих дней (5 дневка) в датафрейме между двумя столбцами с датами
Пытаюсь решить простецкую задачку, но никак не получается.
Исходные данные Имеется датафрейм, состоящий из столбцов
Работа-дата начала-дата завершения- и.
Цель сформировать дополнительный столбец с ...
0
голосов
1
ответ
138
показов
DataFrame: как обратиться к элементу списка в ячейке
Подскажите пожалуйста, как я могу обратиться к элементу списка внутри dataframe?
У меня есть следующий код:
import pandas as pd
dict = {'Name': [['Martha', 'A1'], ['Tim', 'A1'],
['Rob',...
0
голосов
1
ответ
49
показов
Применить функцию к списку столбцов датафрейма
Как применить функцию (например astype('float64') не к одному столбцу, а сразу к заданному списку столбцов дата фрейма? Список пусть называется df_numeric_columns.
2
голоса
1
ответ
34
показа
Замена пустых значений по условию
Есть DataFrame об опросе уровня счастья в разных странах.
Country happiness_score gdp_per_capita family health freedom generosity government_trust dystopia_residual ...
2
голоса
0
ответов
71
показ
Не работает append_df_to_excel pandas
Доброго времени суток всем! Не могу записать DataFrame снизу уже существующего листа Excel. Есть такой код:
df = handbook_excel = pd.read_excel(r'/home/Desktop/План-Факт.xlsx')
df = df.loc[df['Вид'] ==...
0
голосов
0
ответов
26
показов
как посчитать зависимость от числа Херста с движущимся окном
def get_hurst_exponent(time_series, max_lag=20):
lags = range(2, max_lag)
tau = [np.std(np.subtract(time_series[lag:], time_series[:-lag])) for lag in lags]
reg = np.polyfit(np.log(lags), np....
0
голосов
0
ответов
34
показа
Выгрузить Dataframe в БД
Столкнулся с проблемой выгрузки данных из датафрейма Pandas в БД после groupby() и agg().
Пример:
mydf = pd.DataFrame(itog).groupby(['assignee', 'project', 'sprint_date']).agg({'ocenka': ['sum','count'...
0
голосов
1
ответ
32
показа
Помогите оптимизировать код
Есть датафрейм вида
Необходимо получить два списка:
['Растения', 'Животные', 'Грибы']
и
[[{'Название': 'Роза', 'Количество': 15},
{'Название': 'Ель', 'Количество': 2}],
[{'Название': 'Слон', '...
1
голос
1
ответ
53
показа
Найти соответствие сроки из одного датафрейма с графой по нескольким строкам другого датафрейма
Дана задача найти соответствие оплаты накладных в графе DocN df1 с данными графе TXT в df2.
Вывести на печать накладную (DocN) + сумму(DocSum) и реквизиты соответствующей ей оплаты (DocP, Date)
import ...