Вопросы с меткой [анализ-данных]
Используйте данную метку если Ваш вопрос связан с анализом данных из области математики и/или информатики.
295
вопросов
0
голосов
1
ответ
19
показов
Как заполнить ячейки Nan в выбранных столбцах вышестоящими значениями в этих же столбцах?
Есть большой файл (пример привёл). Вопрос - как заполнить пустые ячейки в выбранных столбцах вышестоящими значениями в этих же столбцах по типу экселевской формулы замещения (=ЕСЛИ(H3="нет данных&...
0
голосов
3
ответа
43
показа
Как выборочно удалить строки по частичному текстовому соответствию из ячейки pandas
Есть большой xslx файл (краткий пример привёл ниже). Вопрос: как мне удалить в файле все строки, где хотя бы в одной ячейке которых, есть слово "Итог"? Нужно именно удалить, а не ...
1
голос
2
ответа
35
показов
Преобразование строк датафрейма
Из Яндекс.Метрика получаю DF (здесь сокращенная часть таблицы):
Дата
Номер заказа
Источник
2023-06-02
['6857886514054418']
cityads
2023-06-03
['6858636614093599','6858634464093342']
cityads
2023-...
0
голосов
3
ответа
57
показов
Как удалить текстовые значения в ячейке xslx с помощью pandas?
Есть большой xslx файл (пример привёл ниже). Вопрос: как мне удалить в файле все строки, в одной ячейке которой, есть слово "Итог"? Нужно именно удалить, а не отфильтровать)) никак не могу ...
4
голоса
1
ответ
48
показов
Нахождение смещения двух графиков (кросс-корреляция)
Есть график сигнала и точно такой же, сдвинутый по оси x на указанную в коде величину. Мне нужно найти насколько один график смещён относительно другого. Дело в том, что по какой-то магической причине ...
0
голосов
0
ответов
19
показов
группировка по 24 часовым интервалам вместо дат postgresql
select
eventtime::date event_date,
round(avg(price),2) avg_price,
count(distinct user_id) payers,
count(user_id) payments,
round(sum(price),2) gross
from
table
where
eventtime::date between '...
0
голосов
0
ответов
7
показов
Помогите построить гистограмму Tableu
Пытаюсь построить гистограмму распределения количества выживших на Титанике в Tableu (тренировочная задача) по классам кают. Итог должен выглядеть так
Подскажите, пожалуйста, как агрегировать данные ...
0
голосов
1
ответ
26
показов
no numeric data to plot ошибка - не понимаю как исправить
Только-только начала изучать рекуррентные нейронные сети, но столкнулся с проблемой файла, которую не могу решить, не понимаю в чём ошибка(
import tensorflow as tf
import matplotlib as mpl
import ...
0
голосов
0
ответов
20
показов
Как проанализировать данные о трудоустройстве?
Стоит задача определить качество подготовки ВУЗа, студента которого задействованы в системе по подбору персонала и поиску работы(системы не существует в реальности, это модель, данные выдуманы).
В ...
3
голоса
1
ответ
60
показов
Проблема линейной регрессии
кого заинтересовал мой заголовок, сейчас я попробую как можно подробнее и интереснее описать проблему с которой я столкнулся в процессе изучения основ машинного обучения. Решая учебную задачу с kaggle,...
0
голосов
2
ответа
55
показов
Нужна помощь по извлечению текста
Есть текст. Например, "Джексон: текст. Норрисон: говорит текст. еще говорит. дальше говорит. Джексон: текст. Норрисон: говорит текст. " Мне нужно вытащить все, что говорит Норрисон.
...
0
голосов
1
ответ
52
показа
Как сделать анализ данных на python?
У меня есть два массива в которых хранятся данные следующего формата:
[5, 6, 7, 4]
[13:54/04.01.2023, 14:20/04.01.2023, 15:20/04.01.2023, 16:54/04.01.2023]
(Это примеры списков, на самом деле они ...
0
голосов
0
ответов
35
показов
Как размечать изображения для нейронной сети?
Передо мной стоит задача разметить видео, которое было разбито мною на большое количество изображений, около 500-700 штук. Данные изображения будут использоваться для обучения нейронной сети. Все они ...
0
голосов
1
ответ
33
показа
Удаление непечатаемыемых специальных символов и знаков из слов через regex
Есть текст, например:
Twenty-five years have passed since the 1991 incident in which Indian army soldiers allegedly raped between 23 and 100 women in Kashmir2"!s Kunan and Poshpora villages ...
-1
голос
1
ответ
109
показов
Частная производная в точке. Python 3
Как при помощи средств Python или библиотеки math вычислить частные производные для х и у двумерной функции. Решение должно быть общим.
0
голосов
1
ответ
144
показа
Заполнение массива в соответствии с условиями
Есть массив x*y (строка, столбец)
Данный массив заполняется циклом отдельно по одной ячейке в строке значениями 1 или 0.
Условия:
Значения заполняются рандомно, но в итоге все должно заполниться 1.
...
0
голосов
0
ответов
36
показов
Снятие данных о частоте, превышающей период дискретизации
Необходимо измерить частоту колебаний объекта с помощью видео, записанного на камеру (для упрощения, пусть это будто колеблющаяся точка).
В таком случае фреймрейт камеры должен быть как минимум в два ...
0
голосов
0
ответов
27
показов
ширина ямы в сэмплах на графике на python без циклов
у меня такая задача: есть массив с числами и нужно рассчитать ширину ямы, то есть сколько элементов в массиве меньше нижней границы ямы. Частный случай: допустим есть массив [101, 34, 56, 89, 203] и ...
0
голосов
0
ответов
22
показа
Сравнение данных в двух книгах excel
Есть две книги excel. В каждой по два столбца и много строк. В столбце 1 тип данных строка, в столбце 2 тип данных число. Как средствами excel сравнить данные в столбец 1 книга 1 и столбец 1 книга два....
0
голосов
1
ответ
169
показов
Как извлечь число из колонки в таблице
Задание звучит так: в файле (pr1.txt) лежит таблица (данные):
10
10000
12.3
5403
20
20000
13
5000
30
30000
12.3
4312
250
250000
12.3
5123
Необходимо проанализировать вторую колонку и сравнить со ...
0
голосов
0
ответов
16
показов
Eye tracking для частотного анализа текста
Решил попробовать сделать для себя рекомендательную систему которая бы отсортировывала вакансии под мой вкус
Но есть проблема. Я сам не знаю что хочу и поэтому хочу провести исследование с помощью eye ...
0
голосов
1
ответ
19
показов
Удалить строки в Dataframe выше медианы по условию
Всем добрый день столкнулся с проблемой
Есть датафрейм с перечнем каталожных номеров для авто:
df = pd.DataFrame({'partnumber': '8K0805594L 8K0805594L 8K0805594L 5181109000 5181109000 5181109000 ...
-1
голос
1
ответ
62
показа
Посчитать количество значений в столбцах датафрейма в Питоне [закрыт]
Как посчитать кол-во фильмов на разных стриминговых сервисах? 0=присутсвует, 1=отсутсвует.
import pandas as pd
import numpy as np
df1=pd.read_csv("MovieDF_French.csv")
df1.head()
Желаемый ...
2
голоса
2
ответа
110
показов
Поиск наименьшей суммы длин между элементами
Я не особо понимаю как лучше реализовать алгоритм нахождения наименьшей суммы длин, учитывая, что мы должны задеть все точки.
Суть задачи:
У нас есть n вершин, и есть так-же массив a, равный n, ...
0
голосов
1
ответ
90
показов
Алгоритм решения: как найти 100 самых часто встречаемых слов в файле
Не могу придумать алгоритм для своего кода. Помогите пожалуйста.
У нас есть два файла. Первый с текстом (Длина текста N слов). Во втором - "синонимы слов". То есть в одном ряду будет ...
0
голосов
1
ответ
146
показов
Python не видит колонку в массиве
Имеется такой код:
from collections import Counter
import pandas as pd
import string
stoplist = ['able', 'about', 'above', 'abroad', 'according', 'accordingly', 'across', 'actually', 'adj', 'after', '...
1
голос
2
ответа
155
показов
Как уменьшите значения в строках в 2 раза, а количество строк увеличить в 2 раза?
Есть текстовый файл с таким содержимым:
Sleep 96 ms
Move 4 0
Sleep 96 ms
Move 12 8
Как разделить всё на 2 (значения четные по умолчанию), но увеличив количество строк в 2 раза (сохранив исходную ...
0
голосов
1
ответ
180
показов
Как выбрать пороги корреляции при отборе признаков?
Всем привет.
Решаю задачу кластеризации и моя цель - уменьшить размерность данных, т.е. избавится от ненужных признаков (не использую PCA, т.к. хочу сохранить оригинальные фичи для последующего ...
1
голос
1
ответ
152
показа
выборка с учётом распределения признака в другой таблице
Есть df1 в формате
df1 = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6],
'group': ['a', 'a', 'a', 'b', 'b', 'c']})
В df1 признак group распределяется следующим образом:
df1.group....
0
голосов
1
ответ
26
показов
Посоветуйте метод для поиска оптимальных путей по сайту
Задача - найти наиболее выгодные пути пользователей с точки зрения денег, т.е. поиск путей, при которых конверсия в покупку наибольшая.
Например
экран 1 -> экран 2 -> экран 3 - cr = 1%
экран 1 -&...
0
голосов
1
ответ
367
показов
рассчитать рост месячных продаж по стране в процентах по данному датафрейму
Прошу помощи с решением интересной задачи, к которой мне не удается найти решение. Если кратко переходить к сути, то задача следующая:
Некое предприятие продает товары покупающим из различных стран. ...
1
голос
1
ответ
218
показов
как найти повторяющиеся слова в массиве
Если в массиве имена животных повторяются то нужно напротив этого имени написать что оно не уникальное, а если не повторяются та уникальное
вот мой код:
import pandas as pd
import numpy as np
d = {&...
0
голосов
2
ответа
765
показов
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
0
голосов
1
ответ
79
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
4
голоса
1
ответ
86
показов
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
2
ответа
615
показов
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
770
показов
Как пронумеровать строки удовлетворяющие критерию в каждой группе?
У меня есть дата фрейм.
Мне надо преобразовать существующие колонки.
У меня следующее значение в колонке будет зависеть от предыдущего.
Я могу сделать эти калькуляции и преобразования с помощью ...
2
голоса
1
ответ
263
показа
Ускорить работу функции
Помогите оптимизировать код. Написал такую функцию
def vp(df):
df_v=df.groupby('col1').sum().reset_index()
df['target']=0
for i in range(0, (len(df)-1)):
for j in range (0, (len(...
1
голос
1
ответ
56
показов
Использование минимального и максимального значения типовых операций
Имеется следующий датасет:
Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию?
Ожидаемый обновленный датасет на изображении ниже:
...
0
голосов
0
ответов
38
показов
Как определить количество кластеров в матрице?
Необходим алгоритм для определения количества кластеров в матрице 10х10. Матрица заполнена целыми значениями от 0 до 255.
Для примера, в прикрепленной картинкой матрице, количество таких кластеров ...
0
голосов
2
ответа
247
показов
Не работает фильтр DataFrame по дате
Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе.
При попытке реализовать это через метод dataframe.loc я получаю ошибку:
TypeError: '<' not supported ...
0
голосов
0
ответов
24
показа
Как называется такой тип корреляции?
Диаграмма рассеяния для двух переменных по Y - цена дома по X - среднее количество спален в дома:
Как называется такой тип корреляции?
1
голос
1
ответ
139
показов
Фон дендрограммы в Python заливается серым цветом
Мой код:
credit_df = pd.read_csv('CC_GENERAL.csv')
print('Dimension of array:{}'.format(credit_df.shape))
#Dimension of array:(8950, 18)
from sklearn.decomposition import PCA
pca = PCA(n_components=0....
-1
голос
1
ответ
80
показов
Отображение булевых данных с использованием plt.bar()?
Дана Excel таблица
с переменной Smoking, где даны только варианты True или False. Я хочу отобразить эту инфу в формате grouped bar, где для каждого варианта возраста у меня будет по две колонны, True ...
0
голосов
1
ответ
98
показов
Как Разбить столбец с местом проживания на страну/город/регион?
У меня получается такая таблица (изначально есть только столбец [регион] и ['пол']). Хотелось бы получить по итогу колонки:
Город;
Субъект;
Страна.
пол
Регион
Страна
Город
Область
a
b
1
ж
Россия, ...
2
голоса
1
ответ
40
показов
Временной ряд. Как после изменение частоты и групперовки получить данные из конкретной строки
Есть временной ряд с данными OHLCV (открытие, максимум, минимум, закрытие, значение). Начальная частота 15 минут.
Необходимо изменить частоту до 1 часа.
Данные OHLC получаются замечательно ...
1
голос
1
ответ
193
показа
Построить график на основе имени столбца и его значении Python
Имеется таблица данных
необходимо построить график в котором будут отображены значение столбцов в зависимости от года (имя столбца). Заранее спасибо за помощь. Вот код:
import pandas as pd
stat2 = pd....
1
голос
1
ответ
102
показа
Группировка таблицы по выборочному диапазону дат для каждой группы
Имеется таблица продаж по магазинам:
Дата Магазин Продажи
0 01.01.2020 first 1
1 02.01.2020 first 2
2 03.01.2020 first 3
3 04.01.2020 first 5
4 ...
2
голоса
1
ответ
62
показа
Почему 2 одинаковых фрейма оказываются не равны?
Сравниваю 2 фрейма вывожу не совпадения в третий
df = pd.read_excel(self.filename1, skiprows=2, header=None, usecols=[3, 4, 5, 20]).drop(labels=[0,1,2,3,4,5,6,7,8,9,10],axis=0)
df1 = pd....
0
голосов
1
ответ
176
показов
Выбросы на датасете
Detecting outliers.
plt.figure(figsize=(18, 2))
plt.boxplot(df[['MEDV']], vert=False)
plt.show()
Пытаюсь анализировать "Boston House Price" датасет.
Но не могу уточнит: мы можем ли сказать ...