Вопросы с меткой [pandas]
Pandas — пакет для анализа данных на Python. Дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к табличным данным, а при наличии пакета matplotlib дает возможность рисовать графики на полученных наборах данных.
495 вопросов
3
голоса
1ответ
13 показов
Замена значений в столбце df по логическому условию в Pandas. (Категоризация числовых данных)
Есть столбец со значениями в df:
df.cumsum
0 17.61
1 23.01
2 26.53
3 29.82
4 32.64
5 34.52
6 36.16
7 37.80
8 38.97
9 40.14
...
0
голосов
1ответ
25 показов
plt.scatter() возвращает ошибку: “ValueError: x and y must be the same size”
Стоит задача по визуализации данных с файла типа.csv. Я пытаюсь сделать это в виде разброса (scatter), но никак не получается. По оси Х отобразить position, а по Y отобразить датчики (252 шт.) ...
0
голосов
0ответов
23 показа
Анализ данных с помощью DataFrame Python, полученных через API Яндекс Директ
Появилась необходимость анализировать огромный массив данных через апи.
Запрос на сервер я прописал, ответ записываю в csv, а уже потом читаю его как DataFrame.
При использовании данного метода у меня ...
1
голос
2ответа
20 показов
Преобразование объекта bs4 в словарь
Производится парсинг данных с сайта:
r = requests.get('http://ip-api.com/')
print(r)
soup = BeautifulSoup(r.content,'html.parser')
soup
Сам по себе soup имеет достаточно удобный вид, но ...
0
голосов
0ответов
20 показов
Python. Pandas вместо графика пишет координаты
При построения графика Pandas выдаёт в консоле координаты а не сам график : AxesSubplot(0.125,0.11;0.775x0.77) у меня была такая проблема в matplotlib и она решилась тем что я установил matplotlib в ...
2
голоса
1ответ
17 показов
одинаковые значения loss и acc при обуениии модели
Коллеги, не подскажите в чем может быть проблема:
Пытаюсь обучить модель предсказывать дефолт компании. Имеется датасет из 100 000 компаний и 37 фичей.
Разбил датасет на train и test
from sklearn....
1
голос
2ответа
44 показа
Редактирование DataFrame по условию
Итак, есть исходный DF:
Год x1 x2 x3
1 5 9 8
2 6 9 7
3 7 8 8
4 9 8 9
5 9 9 8
6 8 8 7
7 9 8 9
8 8 9 9
9 8 8 9
10 9 9 8
1 5 9 8
2 5 ...
1
голос
1ответ
14 показов
единая функция для нескольких датафреймов в pandas
Коллеги, помогите с написанием одной функции для нескольких датафреймов.
к примеру имеется 3 одинаковых датафрейма но разные по годам
df2014:
id 'оборотные активы' 'активы' 'капитал 'крат.об-...
1
голос
1ответ
25 показов
Как сделать векторное вычисления в Pandas и создать новый столбец?
Мне нужно получить минимум по каждой строке и только из столбцов у которых в названии стоит 1, но чтобы он превышал пороговое значение указанное в столбце max_noise.
Вот код создающий мой пример демо-...
1
голос
1ответ
35 показов
Как избежать подсчёт значения NaN?
data_wm_1 = data[(data['Pclass'] == '1') & (data['Sex'] == 'female')]
data_wm_2 = data[(data['Pclass'] == '2') & (data['Sex'] == 'female')]
data_wm_3 = data[(data['Pclass'] == '3') & (data[...
2
голоса
1ответ
22 показа
Как заменить NaN в серии Pandas с помощью словаря?
Есть DataFrame:
Customer City
0 Customer 1 Moscow
1 Customer 1 Moscow
2 Customer 1 Moscow
3 Customer 1 NaN
4 Customer 2 New York
5 Customer 2 New York
6 Customer 2 New ...
2
голоса
1ответ
13 показов
Как один из столбцов в существующем DataFrame использовать в качестве названия столбцов?
Есть пример существующего датафрейма. Мне нужно использовать один из его столбцов в качестве названия столбцов. Как это сделать?
Пример исходного датафрейма:
x = pd.Series([1, 4, 3, 2, 1, 5], [7,...
1
голос
1ответ
31 показ
Как получить датафрейм на основе названий столбцов, если встречаются столбцы с одинаковым именем?
У меня есть матрица и я хотел бы научится собирать срез датафрейма на основе названия столбцов по какой-нибудь маске. Например хочу получить датафрейм из столбцов, в названии которых стоит например 1. ...
1
голос
1ответ
46 показов
Как в pandas получить максимум исключая некоторые из столбцов из вычислений?
Есть матрица корреляций.
Мне нужно получить максимум игнорируя определенные столбцы.
Для этого я присоединил к матрице еще один столбец с метками в качестве фильтра для фильтрации таких столбцов.
...
2
голоса
1ответ
32 показа
Вычислить из CSV одни данные по сравнению с другими
Всем привет. Снова у меня вопрос по Pandas. Имеются данные в CSV. По задаче есть 3 признака salary - это заработок далее пол sex и семейное положение marital-status . Мне необходимо посчитать среди ...
1
голос
1ответ
23 показа
Добавление данных по определенным индексам в dataframe
Имеется DataFrame, в котором один столбец состоит из NaN. Пример:
0 UAA 280 NaN
2 UAA 280 NaN
5 UAA 919 NaN
7 UAA 919 NaN
11 UAA 919 NaN
16 UAA 919 NaN
17 UAA 371 NaN
Есть ...
1
голос
2ответа
35 показов
Python pandas. Взять данные из определенных столбцов и посчитать
Всем привет. Продолжаю изучение pandas и столкнулся со следующей проблемой:
У меня есть файл csv в котором есть n кол - во столбцов (ну и значения в этих столбцах). Есть столбец(признак) race - в нём ...
0
голосов
1ответ
46 показов
Как перевести массив в pandas DataFrame?
Задача состоит в том, чтобы скачать информацию с сайта, на который требуется ввод пароля и логина.
import requests
import pandas as pd
data1 = {'login':'my_login', 'password':'my_password'}
url = '...
2
голоса
1ответ
21 показ
Посчитать процентное соотношение вхождений значения в одном столбце
У меня в csv файле столбец native-country в нём названия стран мне нужно узнать какова доля отдельно взятой страны относительно других стран в процентах. Причём есть значение со знаком ? (его ...
1
голос
2ответа
35 показов
Замена последнего вохождения в строке в dataframe (pandas)
Как заменить последнее вхождение в каждой строчке dataframe,
строка имеет вид ADVA.SFP/2G5U/D1549.32U/SM/LC#D20.SFP
Надо заменить первую '.' и последнюю '.'. Точку в центре надо оставить.
Первую точку ...
1
голос
1ответ
26 показов
Объединить две таблицы с разными форматами Pandas Python
Итак, есть исходный DF:
YEAR COM SEC
2010 1 B
2011 1 B
2012 1 B
2013 1 B
2014 1 B
2015 1 B
2012 2 C
2013 2 C
2014 2 C
2015 2 C
Есть второй DF:
...
0
голосов
1ответ
37 показов
Отображение границ ячеек в Pandas DataFrame
Я создаю таблицу по Xml файлу на данный момент она выглядит так:
Подскажите, пожалуйста, как реализовать отображение границ у таблицы, чтобы было видно границы ячеек. Заранее благодарен.
import xml....
1
голос
1ответ
15 показов
Разделить столбец по заданному условию в pandas
Коллеги, добрый день! Пытаюсь сделать корректные действия при разделении столбца по определенным условиям. Вроде сделал, но есть ряд "ошибок" и сам код выглядит не pandorable. Помогите исправить/...
1
голос
1ответ
48 показов
Построение гистограммы по датам
Помогите построить гистограмму показывающую сколько пользователей зарегестрировалось в 2017 году. И как построить гистограмму в которой будет отображено количество зарегестрировавшихся за 2 года (2016,...
0
голосов
0ответов
29 показов
Функция для подсчета среднего накопительного числа за промежуток времени
Необходимо подсчитать накопительный доход за 1-10 суток, есть таблица с Excel-данными. На отдельном листе есть столбец с количеством человек в разных странах.
Какой функцией Python воспользоваться?
...
0
голосов
1ответ
20 показов
Сохранение списка со списками в csv
Имеется список, состоящий из следующих списков:
['Профиль участника Mostafa', 'site1/1', 'Веб-сайт', 'site2', 'Twitter', 'sdfsdf', 'WeChat'] ['Профиль участника Dinesh', 'site1/2', 'Twitter', '...
1
голос
2ответа
41 показ
Посчитать медиану списка по уникальным значениям
Есть исходный DF:
com x1
1 5
1 4
1 3
1 2
1 4
2 5
2 6
2 8
2 3
Нужно посчитать дельту x1, а потом от всех дельт всех медиану для каждой позиции из com - в примере только две.
то ...
-1
голос
1ответ
53 показа
Где можно подробней узнать о регулярных выражениях?
В датафреймах нужно фильтровать при учете разных условий ,чтобы ,допустим, в столбце в любом порядке встречались разные символы.
Когда я ,например ,прописываю
df.d.str.extract(r'((?i)а.*)(?i)в.*20)'...
0
голосов
1ответ
41 показ
Ошибка в python pandas, “A value is trying to be set on a copy of a slice from a DataFrame”
Прогоняю создание нового столбца в pandas в цикле (12к значений). И выдает эту ошибку:
C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\indexing.py:189:
SettingWithCopyWarning: A value ...
0
голосов
1ответ
31 показ
Объединение нескольких DF в цикле
Итак, есть исходный DF:
Com Res
1 5
1 6
1 6
1 5
1 4
2 5
2 6
2 8
2 7
Нужно для каждого отдельного значения Com создать столбец который показывает дельту Res.
То есть на выходе ...
0
голосов
0ответов
27 показов
Подготовка данных для обработки с помощью LSTM
Возник следующий вопрос:
Пытаюсь решить задачу классификации последовательности, имеется исходный набор данных о пользователях, которые выглядит примерно так
user date feat_1 feat_2 feat_3 ... ...
0
голосов
0ответов
35 показов
Заполнение столбцов в DF по условию (со смещением)
Итак, есть исходный DF с одним столбцом:
x1
-300
200
100
100
200
-50
30
20
10
Создаем второй столбец x2 по условию: если предыдущий x1<0, то x2 = x1 текущий+ предыдущий. Но если ...
1
голос
1ответ
28 показов
Сводные таблицы в Pandas
Как найти количество женщин проживающих в USA?
Как найти долю жителей USA, без привязки к полу, относительно всего dataframe?
df = pd.DataFrame(
[{'Sex': 'm', 'Age': 20, 'Country': 'USA'},
{'Sex': '...
1
голос
1ответ
19 показов
Объединить два DF по разным типам даты
Итак, есть первый DF:
Data Set
28.01.2010 x1
20.03.2011 x1
09.05.2012 x1
29.06.2013 x1
19.08.2014 x1
09.10.2015 x1
24.02.2008 x2
26.06.2009 x2
27.10.2010 x2
27.02.2012 x2
29.06.2013 ...
2
голоса
2ответа
52 показа
Не работает условие внутри цикла
Пытаюсь найти количество случаев, когда элемент одномерного массива больше следующего и предыдущего. (Количество поворотных точек при проверке модели)
a = np.array(df2['Et'])
print(a)
> [ 1....
0
голосов
2ответа
39 показов
Как разложить данные из скользящего окна в строки?
Я хочу пройтись по DataFrame скользящим окном и данные из этого окна разложить по столбцам рядом.
Вот демо-набор:
x = pd.Series([1, 4, 3, 2, 1, 6, 2, 8, 3, 0, 1, 2, 1, 5])
df = pd.DataFrame({"A": x**...
1
голос
1ответ
34 показа
Не срабатывает цикл в python
Итак, есть исходный DataFrame, в нем всего 1 строка:
x1 x2
16,00 500,00
Есть второй DataFrame:
Ot Do Rating
-50000,00 0,20 0,1900
0,20 0,65 0,1400
0,65 0,80 0,1100
0,80 ...
0
голосов
1ответ
22 показа
Цикл в Pandas с несколькими DF
Итак, у нас есть исходный DF
x1 x2
0 15 13
1 20 -40
2 25 30
3 20 22
И второй DF
Ot Do rating
0 -1000000 0.99 0.1
1 1 1.99 0.2
2 2 2.99 0.3
3 ...
1
голос
1ответ
20 показов
выбор столбцов по заданным параметрам pandas
Имеется следующий датафрейм:
Необходимо его преобразовать в следующий вид:
Регистрационный номер Год Наименование Значение
1140280002235 2013 Нематериальные активы ...
1
голос
1ответ
36 показов
Разбить значение адреса в столбце и взять почтовый индекс и город в отдельные стоблцы
коллеги! Помогите, пожалуйста, с проблемой разделения столбцов.
Имеется следующий датафрейм:
Регистрационный номер Адрес местонахождения
1140280002235 453405, Башкортостан респ, ...
0
голосов
1ответ
65 показов
Ищу оптимальный способ прохода скользящим окном по DataFrame создавая нормализованный список
Мне нужно пройтись по DataFrame плавающим окном и данные в этом окне нормализовать, используя максимум и минимум этого окна.
Результат хочу записать в новый столбец в виде списка. Вот исходная схема ...
2
голоса
1ответ
24 показа
Объединить два DF по условию
Пусть дан первый DF:
YEAR X1 X2
2010 1 7
2011 5 8
2012 4 8
2013 8 9
2014 56 6
2015 5 6
2016 6 5
2017 6 6
2018 5 5
2019 6 6
2020 6 6
И дан ...
0
голосов
1ответ
22 показа
Как получить доступ к значению из ответа python
При условиях этой задачи
Панельная регрессия в python
Например, как мне выцепить какое-то определенное значение из саммари?
Допустим я хочу получить на выход значение-коэффициент x3, то есть в ...
1
голос
1ответ
24 показа
Заполнение Data Frame данными из другого Data Frame по условию
У меня есть два Data Frame: первый DF1 состоит из двух столбцов "название" и "статус", второй DF2 состоит из одного столбца "название".
Как добавить в DF2 столбец "статус" и заполнить его ...
1
голос
1ответ
51 показ
Панельная регрессия в python
Подскажите, как реализовать панельную регрессию в питоне с фиксированным эффектом (fixed effect). Никак не могу разобраться с функцией PanelOLS
Итак, панель строится по двум показателям: регион и год,...
3
голоса
1ответ
48 показов
Как в pandas применить метод rolling к нескольким столбцам DataFrame?
Подскажите, как правильнее скользящим окном пройтись по датафрейму для нескольких столбцов? Окно например 3х3.
Я хочу вычислять максимум из значений попадающих в это окно и записать их в новый ...
1
голос
2ответа
34 показа
Ошибка при чтении файла в виртуальном окружении: 'utf-8' codec can't decode byte 0xd3 in position 139687: invalid continuation byte
Коллеги, помогите разобраться с кодеками при чтении файла. Я открываю виртуальное окружение virtenv, запускаю jupyter notebook и пытаюсь прочесть файл csv (код ниже). При чтении файла выдает ошибку:
...
0
голосов
2ответа
59 показов
Не отображаются ticks на графике matplotlib, из за большого масштаба
Отображаются метки только при масштабировании графика вручную. Как сделать так, чтобы метки автоматически распределялись по графику в зависимости от количества наблюдений? Требуется универсальный код ...
1
голос
1ответ
21 показ
Как в Pandas DataFrame изменить элемент, избежав SettingWithCopyWarning?
Считываю DataFrame из CSV, добавляю новый столбец, заполненный нулями и пытаюсь изменить отдельно взятый элемент в нем.
weather = pd.read_csv(path+"weather.csv");
weather["delay"]=0;
weather.iloc[0]["...
1
голос
1ответ
38 показов
Как на основе одного DataFrame сделать выборку из второго DataFrame , чтобы построить третий?
У меня есть DataFrame, который содержит ссылки на строки в другом DataFrame в формате списка.
Мне нужно собрать новый датафрейм из указанных строк и добавить еще к ним новый столбец суммирующий ...