Вопросы с меткой [анализ-данных]
Используйте данную метку если Ваш вопрос связан с анализом данных из области математики и/или информатики.
300
вопросов
0
голосов
0
ответов
13
показов
Автозапуск Python-скриптов в JupyterLab
Работаю на сервере Hadoop, в JupyterLab запускаю Python-скрипты содержащие Spark-сессию и sql запросы к БД (реплики).
Вопрос: как можно автоматизировать запуск определённых скриптов по расписанию.
...
0
голосов
0
ответов
31
показ
Ошибка с типом данных float в numpy
Возникла проблема при создании кода по теме метрик качества видео. Возникает ошибка с типом данных float в numpy. Код написан в colab, там же видна попытка установить версию 1.10 numpy - увы, затея ...
0
голосов
0
ответов
25
показов
Ошибка при считывании данных из файла в R
Пытаюсь получить данные из txt файла, но получаю ошибку, так как на определенной строке в первой и в третьей колонке пустые значения:
data <- read.table(file = "pulse.txt", header = TRUE)
...
0
голосов
1
ответ
162
показа
Преобразование JSON в DataFrame
Как преобразовать json в DataFrame - pandas?
При запросе получаю json данные:
[{'ship_id': 'AMERICANCHAMPION',
'ship_name': 'American Champion',
'ship_model': None,
'ship_type': 'Tug',
'roles':...
0
голосов
0
ответов
33
показа
Определение наличия зависимости величины функции от аргумента
Пусть задана фмп F(x1,x2 ... xn) в пространстве R^n заданная точками, известно, что значение функции зависит только от некоторых аргументов xi, как численно определить что F зависит только от x1,x2,x4 ...
0
голосов
0
ответов
32
показа
Как увеличить количество признаков ML?
Я решаю одну задачу ML, когда мне нужно спрогнозировать цену игры. У меня около 60 столбцов с 10 целыми числами и 50 логическими значениями.
Как я могу увеличить количество своих признаков (возможно, ...
3
голоса
1
ответ
207
показов
Книги и учебные ресурсы на тему науки о данных (data science)
В этом вопросе собирается литература на тему науки о данных (data science)
Формат:
Имя Фамилия — «Название книги целиком и полностью», ГГГГ г..
Формат для переведенной литературы:
Имя Фамилия (Name ...
0
голосов
2
ответа
79
показов
Как выделить и классифицировать признаки только в значимых областях?
Имеется такие вводные: есть данные, пусть для простоты будут в двухмерном пространстве. Пример на картинке, здесь f1 и f2 - это features (вход), цвет (Y) это - выход. Количество значений выхода ...
-1
голос
1
ответ
437
показов
Как создать новый столбец, суммировав значения из первого столбца по условию из второго?
Прошу не кидаться камнями, я - только учусь)
Есть датафрейм на основе csv, в который нужно добавить столбец с суммой чека, т.е. суммировать все значения sum по id, где sum - это стоимость товара, а id ...
2
голоса
2
ответа
417
показов
Помогите расшифровать текст методом частотного анализа
Необходимо расшифровать текст методом частотного подбора. В нём может быть пропущена буква, знаков препинания нет, пробелы расставлены. Вот текст
ЩСЗ ЙАБПЫАИДЙАЮЮВЗ П ЮАИЧСБУЧС ЩАХБПДАБУЮВЗ НСИШХПЮВ ...
0
голосов
1
ответ
361
показ
Как заполнить ячейки Nan в выбранных столбцах вышестоящими значениями в этих же столбцах?
Есть большой файл (пример привёл). Вопрос - как заполнить пустые ячейки в выбранных столбцах вышестоящими значениями в этих же столбцах по типу экселевской формулы замещения (=ЕСЛИ(H3="нет данных&...
0
голосов
3
ответа
389
показов
Как выборочно удалить строки по частичному текстовому соответствию из ячейки pandas
Есть большой xslx файл (краткий пример привёл ниже). Вопрос: как мне удалить в файле все строки, где хотя бы в одной ячейке которых, есть слово "Итог"? Нужно именно удалить, а не ...
1
голос
2
ответа
63
показа
Преобразование строк датафрейма
Из Яндекс.Метрика получаю DF (здесь сокращенная часть таблицы):
Дата
Номер заказа
Источник
2023-06-02
['6857886514054418']
cityads
2023-06-03
['6858636614093599','6858634464093342']
cityads
2023-...
0
голосов
3
ответа
258
показов
Как удалить текстовые значения в ячейке xslx с помощью pandas?
Есть большой xslx файл (пример привёл ниже). Вопрос: как мне удалить в файле все строки, в одной ячейке которой, есть слово "Итог"? Нужно именно удалить, а не отфильтровать)) никак не могу ...
4
голоса
1
ответ
288
показов
Нахождение смещения двух графиков (кросс-корреляция)
Есть график сигнала и точно такой же, сдвинутый по оси x на указанную в коде величину. Мне нужно найти насколько один график смещён относительно другого. Дело в том, что по какой-то магической причине ...
0
голосов
1
ответ
130
показов
no numeric data to plot ошибка - не понимаю как исправить
Только-только начала изучать рекуррентные нейронные сети, но столкнулся с проблемой файла, которую не могу решить, не понимаю в чём ошибка(
import tensorflow as tf
import matplotlib as mpl
import ...
0
голосов
0
ответов
23
показа
Как проанализировать данные о трудоустройстве?
Стоит задача определить качество подготовки ВУЗа, студента которого задействованы в системе по подбору персонала и поиску работы(системы не существует в реальности, это модель, данные выдуманы).
В ...
3
голоса
1
ответ
147
показов
Проблема линейной регрессии
кого заинтересовал мой заголовок, сейчас я попробую как можно подробнее и интереснее описать проблему с которой я столкнулся в процессе изучения основ машинного обучения. Решая учебную задачу с kaggle,...
0
голосов
2
ответа
59
показов
Нужна помощь по извлечению текста
Есть текст. Например, "Джексон: текст. Норрисон: говорит текст. еще говорит. дальше говорит. Джексон: текст. Норрисон: говорит текст. " Мне нужно вытащить все, что говорит Норрисон.
...
0
голосов
1
ответ
96
показов
Как сделать анализ данных на python?
У меня есть два массива в которых хранятся данные следующего формата:
[5, 6, 7, 4]
[13:54/04.01.2023, 14:20/04.01.2023, 15:20/04.01.2023, 16:54/04.01.2023]
(Это примеры списков, на самом деле они ...
0
голосов
0
ответов
113
показов
Как размечать изображения для нейронной сети?
Передо мной стоит задача разметить видео, которое было разбито мною на большое количество изображений, около 500-700 штук. Данные изображения будут использоваться для обучения нейронной сети. Все они ...
0
голосов
1
ответ
298
показов
Удаление непечатаемыемых специальных символов и знаков из слов через regex
Есть текст, например:
Twenty-five years have passed since the 1991 incident in which Indian army soldiers allegedly raped between 23 and 100 women in Kashmir2"!s Kunan and Poshpora villages ...
-1
голос
1
ответ
277
показов
Частная производная в точке. Python 3
Как при помощи средств Python или библиотеки math вычислить частные производные для х и у двумерной функции. Решение должно быть общим.
0
голосов
1
ответ
272
показа
Заполнение массива в соответствии с условиями
Есть массив x*y (строка, столбец)
Данный массив заполняется циклом отдельно по одной ячейке в строке значениями 1 или 0.
Условия:
Значения заполняются рандомно, но в итоге все должно заполниться 1.
...
0
голосов
0
ответов
38
показов
Снятие данных о частоте, превышающей период дискретизации
Необходимо измерить частоту колебаний объекта с помощью видео, записанного на камеру (для упрощения, пусть это будто колеблющаяся точка).
В таком случае фреймрейт камеры должен быть как минимум в два ...
0
голосов
0
ответов
30
показов
ширина ямы в сэмплах на графике на python без циклов
у меня такая задача: есть массив с числами и нужно рассчитать ширину ямы, то есть сколько элементов в массиве меньше нижней границы ямы. Частный случай: допустим есть массив [101, 34, 56, 89, 203] и ...
0
голосов
1
ответ
354
показа
Как извлечь число из колонки в таблице
Задание звучит так: в файле (pr1.txt) лежит таблица (данные):
10
10000
12.3
5403
20
20000
13
5000
30
30000
12.3
4312
250
250000
12.3
5123
Необходимо проанализировать вторую колонку и сравнить со ...
0
голосов
1
ответ
35
показов
Удалить строки в Dataframe выше медианы по условию
Всем добрый день столкнулся с проблемой
Есть датафрейм с перечнем каталожных номеров для авто:
df = pd.DataFrame({'partnumber': '8K0805594L 8K0805594L 8K0805594L 5181109000 5181109000 5181109000 ...
-1
голос
1
ответ
197
показов
Посчитать количество значений в столбцах датафрейма в Питоне [закрыт]
Как посчитать кол-во фильмов на разных стриминговых сервисах? 0=присутсвует, 1=отсутсвует.
import pandas as pd
import numpy as np
df1=pd.read_csv("MovieDF_French.csv")
df1.head()
Желаемый ...
2
голоса
2
ответа
158
показов
Поиск наименьшей суммы длин между элементами
Я не особо понимаю как лучше реализовать алгоритм нахождения наименьшей суммы длин, учитывая, что мы должны задеть все точки.
Суть задачи:
У нас есть n вершин, и есть так-же массив a, равный n, ...
0
голосов
1
ответ
157
показов
Алгоритм решения: как найти 100 самых часто встречаемых слов в файле
Не могу придумать алгоритм для своего кода. Помогите пожалуйста.
У нас есть два файла. Первый с текстом (Длина текста N слов). Во втором - "синонимы слов". То есть в одном ряду будет ...
0
голосов
1
ответ
346
показов
Python не видит колонку в массиве
Имеется такой код:
from collections import Counter
import pandas as pd
import string
stoplist = ['able', 'about', 'above', 'abroad', 'according', 'accordingly', 'across', 'actually', 'adj', 'after', '...
1
голос
2
ответа
247
показов
Как уменьшите значения в строках в 2 раза, а количество строк увеличить в 2 раза?
Есть текстовый файл с таким содержимым:
Sleep 96 ms
Move 4 0
Sleep 96 ms
Move 12 8
Как разделить всё на 2 (значения четные по умолчанию), но увеличив количество строк в 2 раза (сохранив исходную ...
0
голосов
1
ответ
517
показов
Как выбрать пороги корреляции при отборе признаков?
Всем привет.
Решаю задачу кластеризации и моя цель - уменьшить размерность данных, т.е. избавится от ненужных признаков (не использую PCA, т.к. хочу сохранить оригинальные фичи для последующего ...
1
голос
1
ответ
256
показов
выборка с учётом распределения признака в другой таблице
Есть df1 в формате
df1 = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6],
'group': ['a', 'a', 'a', 'b', 'b', 'c']})
В df1 признак group распределяется следующим образом:
df1.group....
0
голосов
1
ответ
28
показов
Посоветуйте метод для поиска оптимальных путей по сайту
Задача - найти наиболее выгодные пути пользователей с точки зрения денег, т.е. поиск путей, при которых конверсия в покупку наибольшая.
Например
экран 1 -> экран 2 -> экран 3 - cr = 1%
экран 1 -&...
0
голосов
1
ответ
672
показа
рассчитать рост месячных продаж по стране в процентах по данному датафрейму
Прошу помощи с решением интересной задачи, к которой мне не удается найти решение. Если кратко переходить к сути, то задача следующая:
Некое предприятие продает товары покупающим из различных стран. ...
2
голоса
1
ответ
257
показов
Как найти повторяющиеся слова в массиве?
Если в массиве имена животных повторяются, то нужно напротив этого имени написать, что оно не уникальное, а если не повторяются — то что уникальное.
Вот мой код:
import pandas as pd
import numpy as np
...
0
голосов
2
ответа
1k
показов
Выборка значений в pandas при условии равенства других значений в строке
Есть к примеру датафрейм:
S A B C
Q A B D
R Z V H
Y I H F
U A B M
Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B?
Гуглил, искал, но так ничего не ...
0
голосов
1
ответ
156
показов
Сумма последовательных значений строк dataframe
Имеются данные о хронологической последовательности побед игроков и получении наград:
import pandas as pd
df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'],
...
4
голоса
1
ответ
154
показа
Как объединить столбцы с переносом на новую строку?
Имею df следующего формата:
name 1 2 3 4
AB 12 | none | none | none
CD none | rty | none | none
df none | none | gh | none
ZD none | rg | none | ty
Как можно привести его ...
3
голоса
2
ответа
968
показов
Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить
Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения:
найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
2
голоса
1
ответ
1k
показов
Как пронумеровать строки удовлетворяющие критерию в каждой группе?
У меня есть датафрейм, в котором надо преобразовать существующие колонки. Следующее значение в колонке будет зависеть от предыдущего.
Я могу сделать эти калькуляции и преобразования с помощью списков, ...
2
голоса
1
ответ
279
показов
Ускорить работу функции
Помогите оптимизировать код. Написал такую функцию:
def vp(df):
df_v=df.groupby('col1').sum().reset_index()
df['target']=0
for i in range(0, (len(df)-1)):
for j in range (0, (len(...
1
голос
1
ответ
60
показов
Использование минимального и максимального значения типовых операций
Имеется следующий датасет:
Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию?
Ожидаемый обновленный датасет на изображении ниже:
...
0
голосов
0
ответов
56
показов
Как определить количество кластеров в матрице?
Необходим алгоритм для определения количества кластеров в матрице 10х10. Матрица заполнена целыми значениями от 0 до 255.
Для примера, в прикрепленной картинкой матрице, количество таких кластеров ...
0
голосов
2
ответа
389
показов
Не работает фильтр DataFrame по дате
Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе.
При попытке реализовать это через метод dataframe.loc я получаю ошибку:
TypeError: '<' not supported ...
0
голосов
0
ответов
27
показов
Как называется такой тип корреляции?
Диаграмма рассеяния для двух переменных по Y - цена дома по X - среднее количество спален в дома:
Как называется такой тип корреляции?
1
голос
1
ответ
260
показов
Фон дендрограммы в Python заливается серым цветом
Мой код:
credit_df = pd.read_csv('CC_GENERAL.csv')
print('Dimension of array:{}'.format(credit_df.shape))
#Dimension of array:(8950, 18)
from sklearn.decomposition import PCA
pca = PCA(n_components=0....
-1
голос
1
ответ
150
показов
Отображение булевых данных с использованием plt.bar()?
Дана Excel таблица
с переменной Smoking, где даны только варианты True или False. Я хочу отобразить эту инфу в формате grouped bar, где для каждого варианта возраста у меня будет по две колонны, True ...