Вопросы с меткой [анализ-данных]
Используйте данную метку если Ваш вопрос связан с анализом данных из области математики и/или информатики.
273
вопроса
0
голосов
1
ответ
57
показов
Алгоритм решения: как найти 100 самых часто встречаемых слов в файле
Не могу придумать алгоритм для своего кода. Помогите пожалуйста.
У нас есть два файла. Первый с текстом (Длина текста N слов). Во втором - "синонимы слов". То есть в одном ряду будет ...
0
голосов
1
ответ
27
показов
Python не видит колонку в массиве
Имеется такой код:
from collections import Counter
import pandas as pd
import string
stoplist = ['able', 'about', 'above', 'abroad', 'according', 'accordingly', 'across', 'actually', 'adj', 'after', '...
1
голос
2
ответа
53
показа
Как уменьшите значения в строках в 2 раза, а количество строк увеличить в 2 раза?
Есть текстовый файл с таким содержимым:
Sleep 96 ms
Move 4 0
Sleep 96 ms
Move 12 8
Как разделить всё на 2 (значения четные по умолчанию), но увеличив количество строк в 2 раза (сохранив исходную ...
0
голосов
1
ответ
29
показов
Как выбрать пороги корреляции при отборе признаков?
Всем привет.
Решаю задачу кластеризации и моя цель - уменьшить размерность данных, т.е. избавится от ненужных признаков (не использую PCA, т.к. хочу сохранить оригинальные фичи для последующего ...
1
голос
1
ответ
89
показов
выборка с учётом распределения признака в другой таблице
Есть df1 в формате
df1 = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6],
'group': ['a', 'a', 'a', 'b', 'b', 'c']})
В df1 признак group распределяется следующим образом:
df1.group....
0
голосов
1
ответ
23
показа
Посоветуйте метод для поиска оптимальных путей по сайту
Задача - найти наиболее выгодные пути пользователей с точки зрения денег, т.е. поиск путей, при которых конверсия в покупку наибольшая.
Например
экран 1 -> экран 2 -> экран 3 - cr = 1%
экран 1 -&...
0
голосов
1
ответ
82
показа
рассчитать рост месячных продаж по стране в процентах по данному датафрейму
Прошу помощи с решением интересной задачи, к которой мне не удается найти решение. Если кратко переходить к сути, то задача следующая:
Некое предприятие продает товары покупающим из различных стран. ...
1
голос
1
ответ
48
показов
как найти повторяющиеся слова в массиве
Если в массиве имена животных повторяются то нужно напротив этого имени написать что оно не уникальное, а если не повторяются та уникальное
вот мой код:
import pandas as pd
import numpy as np
d = {&...
0
голосов
2
ответа
45
показов
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
0
голосов
1
ответ
29
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
4
голоса
1
ответ
29
показов
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
1
ответ
91
показ
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
105
показов
Как пронумеровать строки удовлетворяющие критерию в каждой группе?
У меня есть дата фрейм.
Мне надо преобразовать существующие колонки.
У меня следующее значение в колонке будет зависеть от предыдущего.
Я могу сделать эти калькуляции и преобразования с помощью ...
2
голоса
1
ответ
52
показа
Ускорить работу функции
Помогите оптимизировать код. Написал такую функцию
def vp(df):
df_v=df.groupby('col1').sum().reset_index()
df['target']=0
for i in range(0, (len(df)-1)):
for j in range (0, (len(...
1
голос
1
ответ
54
показа
Использование минимального и максимального значения типовых операций
Имеется следующий датасет:
Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию?
Ожидаемый обновленный датасет на изображении ниже:
...
0
голосов
0
ответов
27
показов
Как определить количество кластеров в матрице?
Необходим алгоритм для определения количества кластеров в матрице 10х10. Матрица заполнена целыми значениями от 0 до 255.
Для примера, в прикрепленной картинкой матрице, количество таких кластеров ...
0
голосов
2
ответа
50
показов
Не работает фильтр DataFrame по дате
Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе.
При попытке реализовать это через метод dataframe.loc я получаю ошибку:
TypeError: '<' not supported ...
0
голосов
0
ответов
17
показов
Как называется такой тип корреляции?
Диаграмма рассеяния для двух переменных по Y - цена дома по X - среднее количество спален в дома:
Как называется такой тип корреляции?
1
голос
1
ответ
42
показа
Фон дендрограммы в Python заливается серым цветом
Мой код:
credit_df = pd.read_csv('CC_GENERAL.csv')
print('Dimension of array:{}'.format(credit_df.shape))
#Dimension of array:(8950, 18)
from sklearn.decomposition import PCA
pca = PCA(n_components=0....
-1
голос
1
ответ
30
показов
Отображение булевых данных с использованием plt.bar()?
Дана Excel таблица
с переменной Smoking, где даны только варианты True или False. Я хочу отобразить эту инфу в формате grouped bar, где для каждого варианта возраста у меня будет по две колонны, True ...
0
голосов
1
ответ
37
показов
Как Разбить столбец с местом проживания на страну/город/регион?
У меня получается такая таблица (изначально есть только столбец [регион] и ['пол']). Хотелось бы получить по итогу колонки:
Город;
Субъект;
Страна.
пол
Регион
Страна
Город
Область
a
b
1
ж
Россия, ...
2
голоса
1
ответ
27
показов
Временной ряд. Как после изменение частоты и групперовки получить данные из конкретной строки
Есть временной ряд с данными OHLCV (открытие, максимум, минимум, закрытие, значение). Начальная частота 15 минут.
Необходимо изменить частоту до 1 часа.
Данные OHLC получаются замечательно ...
1
голос
1
ответ
43
показа
Построить график на основе имени столбца и его значении Python
Имеется таблица данных
необходимо построить график в котором будут отображены значение столбцов в зависимости от года (имя столбца). Заранее спасибо за помощь. Вот код:
import pandas as pd
stat2 = pd....
1
голос
1
ответ
27
показов
Группировка таблицы по выборочному диапазону дат для каждой группы
Имеется таблица продаж по магазинам:
Дата Магазин Продажи
0 01.01.2020 first 1
1 02.01.2020 first 2
2 03.01.2020 first 3
3 04.01.2020 first 5
4 ...
2
голоса
1
ответ
44
показа
Почему 2 одинаковых фрейма оказываются не равны?
Сравниваю 2 фрейма вывожу не совпадения в третий
df = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],axis=0)
df1 = pd....
0
голосов
1
ответ
30
показов
Выбросы на датасете
Detecting outliers.
plt.figure(figsize=(18, 2))
plt.boxplot(df[['MEDV']], vert=False)
plt.show()
Пытаюсь анализировать "Boston House Price" датасет.
Но не могу уточнит: мы можем ли сказать ...
2
голоса
1
ответ
58
показов
Добавить колонку с нумерацией
Есть DataFrame
myData ={'Order':[1,1,2,3,18,18,18,18,19,19,16,17],
'Date':['2016-09-09','2016-09-09','2016-09-09','2016-09-10','2016-09-22','2016-09-22','2016-09-23','2016-09-24','2016-09-21','...
1
голос
2
ответа
95
показов
Счётчик в столбце по ненулевым данным с учётом значений в ещё одном столбце
Есть посуточные показания датчиков. Необходимо задать счётчик ненулевых значений по датчикам и по количеству показаний, т.е. от первого ненулевого значения до нуля - 1; от следующего ненулевого ...
1
голос
1
ответ
519
показов
Ошибка 'list indices must be integers or slices, not tuple' при построении массива для отображения лабиринта
В университете дали задание создать лабиринт, как на картинке (фото), найти кратчайший путь от стартовой точки до финальной.
Мой код:
from collections import deque
maze = [
['-','-','-','-','-...
1
голос
0
ответов
50
показов
Нахождение кратчайшего пути в лабиринте (массиве) с визуализацией в Python
Получила в университете следующее задание.
Создайте лабиринт в Python
Используйте соответствующую структуру данных для внутреннего представления лабиринта, предпочтительно массив NumPy.
...
1
голос
1
ответ
31
показ
Pandas рассчет mode() на скользящем окне
Как быстро посчитать моду на скользящем окне в pandas?
Средствами pandas выдает ошибку:
Dts[fnc].rolling(1000).mode()
AttributeError: 'Rolling' object has no attribute 'mode'
Через apply и lambda ...
0
голосов
2
ответа
152
показа
есть pandas dataframe, надо найти максимум в каждой строке и изменить цвет этой ячейки
есть dataframe типа
index
P
x1
x2
x3
A
1
2
4
5
B
2
1
3
6
C
0
2
0
7
мне надо найти максимум по каждой строке в столбцах x1 x2 и x3 и выделить его цветом.
накодил такое:
s2 = _df_Velu.style
def ...
0
голосов
1
ответ
72
показа
Создание ID из индекса и столбца pandas.DataFrame
Вопрос такой. Есть несколько файлов .csv, в которых хранятся машины, распределенные по маркам(AUDI.csv, FORD,csv и т.д.). В каждом таком файле есть поле brand, где хранится марка автомобиля.
Как в ...
0
голосов
1
ответ
12
показов
Отобрать уникальные по коду и суммировать их значения
Есть DF
Код Название Сумма
03.2.01.01-0001 Цемент 300
14.5.06.03-0002 Паста 125
03.2.01.01-0001 Цемент 120
14.5.06.03-...
-1
голос
1
ответ
122
показа
Как удалить столбцы с определенным количество пропусков в DataFrame?
Есть следующий датасет:
Col1 Col2 Col3 Col4 Col5 Col6
7 9 9 7 4
6 7 3 5 9 10
6 5 4 3 2
8 3 9 6 4 8
6 10 6 8 5
10 5 2 7 ...
1
голос
1
ответ
61
показ
pandas: преобразовать тип 'object'
Необходимо рассчитать СРМ, однако в датасете необходимый столбец 'Spend' имеет значение 'object',
import pandas as pd
df=pd.read_csv('test_data.csv',sep=',')
metrics_cpm = df.groupby('Buyer', ...
0
голосов
1
ответ
47
показов
Прогноз вне выборки. Как реализовать?
Задавал вопрос о прогнозе вне выборки, но ответов нет.
Может на простом примере будет понятнее.
Пример.
Есть данные.
[1,2,3,4,5,6,7,8,9]
Потом. Нормализации данных. Подготовка на вход.
Работа НС (бух-...
1
голос
2
ответа
189
показов
Выделить матрицу признаков и целевую переменную из загруженных данных
Верно ли я нахожу матрицу признаков и целевую переменную из датасета?
Вот, что у меня получается:
import numpy as np
import pandas as pd
data = pd.read_csv('data.csv')
from sklearn.linear_model ...
0
голосов
1
ответ
74
показа
python: как дать название столбцам в диаграмме
Нужно приравнять значения result_1.values к столбцам диаграммы
Мой код:
df_1['product_type'].value_counts()
print(result_1.values)
colors = ['red', 'violet', 'yellow', 'green']
x_data = [i for i in ...
-2
голоса
1
ответ
38
показов
не получается объединить датафреймы
В двух датафреймах есть идентичные, user_id, по которым и нужно соотнести два датафрейма чтобы они "слились" в один. В первом случае с df_1 все получилось...
код с df_2
df_2 = df_p_CG2....
0
голосов
2
ответа
239
показов
Как убрать нули после запятой в определенных столбцах (float64 -> int)?
Мой код:
df_CG1=pd.read_csv('payments_CG1.csv' ,sep=';')
pd.set_option('display.max_rows', None)
df_CG1=df_CG1.dropna(how= 'all')
df_CG1
Подскажите пожалуйста, как столбцам: user_id, revenue, и ...
-1
голос
2
ответа
138
показов
Найти наиболее часто встречающуюся пару значений Python Pandas
Есть следующий DataFrame:
Транзакция Сумма Товар
1 500 1
1 600 2
1 500 1
1 548 3
1 849 1
2 654 4
2 654 1
2 321 2
2 469 2
2 465 5
3 564 1
3 465 6
3 444 7
3 123 6
3 648 ...
2
голоса
1
ответ
32
показа
Как объединить значения заданных N строк Pandas в строку
df=pd.DataFrame({'a':['a'+str(i) for i in range(10)],'b':['b'+str(i) for i in range(10)]})
ДФ вида
a b
a0 b0
a1 b1
a2 b2
a3 b3
a4 b4
a5 b5
a6 b6
a7 b7
a8 b8
a9 b9
Нужно преобразовать в вид с ...
0
голосов
1
ответ
142
показа
Сравнение двух датафреймов с большим количеством столбцов
Есть два датафрейма с одинаковыми названиями столбцов, но с разными значениями.
Необходимо сравнить значения в столбцах с одинаковым названием в этих двух датафреймах и создать новый датафрейм NewDf, ...
1
голос
1
ответ
83
показа
Как объединить Series если колонки имеют разные названия?
df1 = pd.DataFrame({"Formula":['\tFormula A: UNIQUES(A)'] * 3, "level_number1": [1,2,3]})
df2 = pd.DataFrame({"Formula":['\tFormula B: UNIQUES(A)'] * 3, "...
0
голосов
1
ответ
40
показов
Как удалить дубликаты по условию?
Есть DataFrame
city
year
0
Лодзь
990
1
Краков
990
2
NaN
990
3
Перм
1826
4
NaN
1826
5
NaN
1827
Нужно удалить дубликаты по колонке year, но в случае если поле city не пусто, то такие значения не ...
1
голос
0
ответов
30
показов
Посоветуйте библиотеку python 3 для аппроксимации и экстраполяции
Имеется набор точек x,y. Необходимо произвести аппроксимацию и экстраполяцию кривой, соединяющей данные точки, на языке python 3.10. Подскажите, пожалуйста, какую библиотеку удобнее для этого ...
0
голосов
0
ответов
12
показов
Как получать данные с сервера minecraft berock edition?
Хочу создать программу, которая анализирует игру в реальном времени: выслеживает положение игроков и то, что находится в их инвентарях и т.п., и на основе этого составляет рейтинг игроков, чтобы ...
0
голосов
1
ответ
41
показ
Индикация рисков с помощью машинного обучения
Есть задача : выявление рисков в системе оценки качества образования. У каждого риска есть вероятность (очень низкая, низкая, средняя, высокая) и последствие риска (нет последствий, малые, средние, ...
2
голоса
2
ответа
67
показов
Как проверить строки на их совпадение в будущем?
Существует фрейм данных вида:
user_id order_completed_at cart target(как должно быть)
65467 1 2019-05-08 16:09:41 55 1
709747 1 2020-01-17 14:44:23 82 0
709748 1 2020-01-17 14:44:23 798 0
...