Skip to main content

Вопросы с меткой [анализ-данных]

Используйте данную метку если Ваш вопрос связан с анализом данных из области математики и/или информатики.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
13 показов

Автозапуск Python-скриптов в JupyterLab

Работаю на сервере Hadoop, в JupyterLab запускаю Python-скрипты содержащие Spark-сессию и sql запросы к БД (реплики). Вопрос: как можно автоматизировать запуск определённых скриптов по расписанию. ...
Nikita's user avatar
  • 17
0 голосов
0 ответов
31 показ

Ошибка с типом данных float в numpy

Возникла проблема при создании кода по теме метрик качества видео. Возникает ошибка с типом данных float в numpy. Код написан в colab, там же видна попытка установить версию 1.10 numpy - увы, затея ...
Erick's user avatar
  • 1
0 голосов
0 ответов
25 показов

Ошибка при считывании данных из файла в R

Пытаюсь получить данные из txt файла, но получаю ошибку, так как на определенной строке в первой и в третьей колонке пустые значения: data <- read.table(file = "pulse.txt", header = TRUE) ...
Андрей's user avatar
0 голосов
1 ответ
162 показа

Преобразование JSON в DataFrame

Как преобразовать json в DataFrame - pandas? При запросе получаю json данные: [{'ship_id': 'AMERICANCHAMPION', 'ship_name': 'American Champion', 'ship_model': None, 'ship_type': 'Tug', 'roles':...
Алексей's user avatar
0 голосов
0 ответов
33 показа

Определение наличия зависимости величины функции от аргумента

Пусть задана фмп F(x1,x2 ... xn) в пространстве R^n заданная точками, известно, что значение функции зависит только от некоторых аргументов xi, как численно определить что F зависит только от x1,x2,x4 ...
Space Researcher's user avatar
0 голосов
0 ответов
32 показа

Как увеличить количество признаков ML?

Я решаю одну задачу ML, когда мне нужно спрогнозировать цену игры. У меня около 60 столбцов с 10 целыми числами и 50 логическими значениями. Как я могу увеличить количество своих признаков (возможно, ...
Vlad's user avatar
  • 25
3 голоса
1 ответ
207 показов

Книги и учебные ресурсы на тему науки о данных (data science)

В этом вопросе собирается литература на тему науки о данных (data science) Формат: Имя Фамилия — «Название книги целиком и полностью», ГГГГ г.. Формат для переведенной литературы: Имя Фамилия (Name ...
чистов_n's user avatar
0 голосов
2 ответа
79 показов

Как выделить и классифицировать признаки только в значимых областях?

Имеется такие вводные: есть данные, пусть для простоты будут в двухмерном пространстве. Пример на картинке, здесь f1 и f2 - это features (вход), цвет (Y) это - выход. Количество значений выхода ...
venanen's user avatar
  • 123
-1 голос
1 ответ
437 показов

Как создать новый столбец, суммировав значения из первого столбца по условию из второго?

Прошу не кидаться камнями, я - только учусь) Есть датафрейм на основе csv, в который нужно добавить столбец с суммой чека, т.е. суммировать все значения sum по id, где sum - это стоимость товара, а id ...
Voort's user avatar
  • 47
2 голоса
2 ответа
417 показов

Помогите расшифровать текст методом частотного анализа

Необходимо расшифровать текст методом частотного подбора. В нём может быть пропущена буква, знаков препинания нет, пробелы расставлены. Вот текст ЩСЗ ЙАБПЫАИДЙАЮЮВЗ П ЮАИЧСБУЧС ЩАХБПДАБУЮВЗ НСИШХПЮВ ...
Ангелина's user avatar
0 голосов
1 ответ
361 показ

Как заполнить ячейки Nan в выбранных столбцах вышестоящими значениями в этих же столбцах?

Есть большой файл (пример привёл). Вопрос - как заполнить пустые ячейки в выбранных столбцах вышестоящими значениями в этих же столбцах по типу экселевской формулы замещения (=ЕСЛИ(H3="нет данных&...
Voort's user avatar
  • 47
0 голосов
3 ответа
389 показов

Как выборочно удалить строки по частичному текстовому соответствию из ячейки pandas

Есть большой xslx файл (краткий пример привёл ниже). Вопрос: как мне удалить в файле все строки, где хотя бы в одной ячейке которых, есть слово "Итог"? Нужно именно удалить, а не ...
Voort's user avatar
  • 47
1 голос
2 ответа
63 показа

Преобразование строк датафрейма

Из Яндекс.Метрика получаю DF (здесь сокращенная часть таблицы): Дата Номер заказа Источник 2023-06-02 ['6857886514054418'] cityads 2023-06-03 ['6858636614093599','6858634464093342'] cityads 2023-...
Никита's user avatar
0 голосов
3 ответа
258 показов

Как удалить текстовые значения в ячейке xslx с помощью pandas?

Есть большой xslx файл (пример привёл ниже). Вопрос: как мне удалить в файле все строки, в одной ячейке которой, есть слово "Итог"? Нужно именно удалить, а не отфильтровать)) никак не могу ...
Voort's user avatar
  • 47
4 голоса
1 ответ
288 показов

Нахождение смещения двух графиков (кросс-корреляция)

Есть график сигнала и точно такой же, сдвинутый по оси x на указанную в коде величину. Мне нужно найти насколько один график смещён относительно другого. Дело в том, что по какой-то магической причине ...
ATtiny13a -PU's user avatar
0 голосов
1 ответ
130 показов

no numeric data to plot ошибка - не понимаю как исправить

Только-только начала изучать рекуррентные нейронные сети, но столкнулся с проблемой файла, которую не могу решить, не понимаю в чём ошибка( import tensorflow as tf import matplotlib as mpl import ...
Voort's user avatar
  • 47
0 голосов
0 ответов
23 показа

Как проанализировать данные о трудоустройстве?

Стоит задача определить качество подготовки ВУЗа, студента которого задействованы в системе по подбору персонала и поиску работы(системы не существует в реальности, это модель, данные выдуманы). В ...
ashura's user avatar
  • 33
3 голоса
1 ответ
147 показов

Проблема линейной регрессии

кого заинтересовал мой заголовок, сейчас я попробую как можно подробнее и интереснее описать проблему с которой я столкнулся в процессе изучения основ машинного обучения. Решая учебную задачу с kaggle,...
Gari's user avatar
  • 435
0 голосов
2 ответа
59 показов

Нужна помощь по извлечению текста

Есть текст. Например, "Джексон: текст. Норрисон: говорит текст. еще говорит. дальше говорит. Джексон: текст. Норрисон: говорит текст. " Мне нужно вытащить все, что говорит Норрисон. ...
Serhii's user avatar
  • 3
0 голосов
1 ответ
96 показов

Как сделать анализ данных на python?

У меня есть два массива в которых хранятся данные следующего формата: [5, 6, 7, 4] [13:54/04.01.2023, 14:20/04.01.2023, 15:20/04.01.2023, 16:54/04.01.2023] (Это примеры списков, на самом деле они ...
Walle's user avatar
  • 67
0 голосов
0 ответов
113 показов

Как размечать изображения для нейронной сети?

Передо мной стоит задача разметить видео, которое было разбито мною на большое количество изображений, около 500-700 штук. Данные изображения будут использоваться для обучения нейронной сети. Все они ...
Александр Трифонов's user avatar
0 голосов
1 ответ
298 показов

Удаление непечатаемыемых специальных символов и знаков из слов через regex

Есть текст, например: Twenty-five years have passed since the 1991 incident in which Indian army soldiers allegedly raped between 23 and 100 women in Kashmir2"!s Kunan and Poshpora villages ...
Vortex Play's user avatar
-1 голос
1 ответ
277 показов

Частная производная в точке. Python 3

Как при помощи средств Python или библиотеки math вычислить частные производные для х и у двумерной функции. Решение должно быть общим.
Иван Цветков's user avatar
0 голосов
1 ответ
272 показа

Заполнение массива в соответствии с условиями

Есть массив x*y (строка, столбец) Данный массив заполняется циклом отдельно по одной ячейке в строке значениями 1 или 0. Условия: Значения заполняются рандомно, но в итоге все должно заполниться 1. ...
Михаил Никифоров's user avatar
0 голосов
0 ответов
38 показов

Снятие данных о частоте, превышающей период дискретизации

Необходимо измерить частоту колебаний объекта с помощью видео, записанного на камеру (для упрощения, пусть это будто колеблющаяся точка). В таком случае фреймрейт камеры должен быть как минимум в два ...
ureadulose's user avatar
0 голосов
0 ответов
30 показов

ширина ямы в сэмплах на графике на python без циклов

у меня такая задача: есть массив с числами и нужно рассчитать ширину ямы, то есть сколько элементов в массиве меньше нижней границы ямы. Частный случай: допустим есть массив [101, 34, 56, 89, 203] и ...
DGold's user avatar
  • 1
0 голосов
1 ответ
354 показа

Как извлечь число из колонки в таблице

Задание звучит так: в файле (pr1.txt) лежит таблица (данные): 10 10000 12.3 5403 20 20000 13 5000 30 30000 12.3 4312 250 250000 12.3 5123 Необходимо проанализировать вторую колонку и сравнить со ...
Rozzi's user avatar
  • 1
0 голосов
1 ответ
35 показов

Удалить строки в Dataframe выше медианы по условию

Всем добрый день столкнулся с проблемой Есть датафрейм с перечнем каталожных номеров для авто: df = pd.DataFrame({'partnumber': '8K0805594L 8K0805594L 8K0805594L 5181109000 5181109000 5181109000 ...
Евгений's user avatar
-1 голос
1 ответ
197 показов

Посчитать количество значений в столбцах датафрейма в Питоне [закрыт]

Как посчитать кол-во фильмов на разных стриминговых сервисах? 0=присутсвует, 1=отсутсвует. import pandas as pd import numpy as np df1=pd.read_csv("MovieDF_French.csv") df1.head() Желаемый ...
Natalie P's user avatar
2 голоса
2 ответа
158 показов

Поиск наименьшей суммы длин между элементами

Я не особо понимаю как лучше реализовать алгоритм нахождения наименьшей суммы длин, учитывая, что мы должны задеть все точки. Суть задачи: У нас есть n вершин, и есть так-же массив a, равный n, ...
sepera_okeq's user avatar
0 голосов
1 ответ
157 показов

Алгоритм решения: как найти 100 самых часто встречаемых слов в файле

Не могу придумать алгоритм для своего кода. Помогите пожалуйста. У нас есть два файла. Первый с текстом (Длина текста N слов). Во втором - "синонимы слов". То есть в одном ряду будет ...
Kate's user avatar
  • 3
0 голосов
1 ответ
346 показов

Python не видит колонку в массиве

Имеется такой код: from collections import Counter import pandas as pd import string stoplist = ['able', 'about', 'above', 'abroad', 'according', 'accordingly', 'across', 'actually', 'adj', 'after', '...
yegor's user avatar
  • 81
1 голос
2 ответа
247 показов

Как уменьшите значения в строках в 2 раза, а количество строк увеличить в 2 раза?

Есть текстовый файл с таким содержимым: Sleep 96 ms Move 4 0 Sleep 96 ms Move 12 8 Как разделить всё на 2 (значения четные по умолчанию), но увеличив количество строк в 2 раза (сохранив исходную ...
UNRE's user avatar
  • 78
0 голосов
1 ответ
517 показов

Как выбрать пороги корреляции при отборе признаков?

Всем привет. Решаю задачу кластеризации и моя цель - уменьшить размерность данных, т.е. избавится от ненужных признаков (не использую PCA, т.к. хочу сохранить оригинальные фичи для последующего ...
VladislavSoren's user avatar
1 голос
1 ответ
256 показов

выборка с учётом распределения признака в другой таблице

Есть df1 в формате df1 = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6], 'group': ['a', 'a', 'a', 'b', 'b', 'c']}) В df1 признак group распределяется следующим образом: df1.group....
Kate's user avatar
  • 63
0 голосов
1 ответ
28 показов

Посоветуйте метод для поиска оптимальных путей по сайту

Задача - найти наиболее выгодные пути пользователей с точки зрения денег, т.е. поиск путей, при которых конверсия в покупку наибольшая. Например экран 1 -> экран 2 -> экран 3 - cr = 1% экран 1 -&...
Ayo's user avatar
  • 49
0 голосов
1 ответ
672 показа

рассчитать рост месячных продаж по стране в процентах по данному датафрейму

Прошу помощи с решением интересной задачи, к которой мне не удается найти решение. Если кратко переходить к сути, то задача следующая: Некое предприятие продает товары покупающим из различных стран. ...
izcrezi's user avatar
  • 67
2 голоса
1 ответ
257 показов

Как найти повторяющиеся слова в массиве?

Если в массиве имена животных повторяются, то нужно напротив этого имени написать, что оно не уникальное, а если не повторяются — то что уникальное. Вот мой код: import pandas as pd import numpy as np ...
git abbuser's user avatar
0 голосов
2 ответа
1k показов

Выборка значений в pandas при условии равенства других значений в строке

Есть к примеру датафрейм: S A B C Q A B D R Z V H Y I H F U A B M Как выбрать из него значения С, D, M при условии, что в 2 и 3 столбцах одинаковые значения A и B? Гуглил, искал, но так ничего не ...
Гордон Шамуэй's user avatar
0 голосов
1 ответ
156 показов

Сумма последовательных значений строк dataframe

Имеются данные о хронологической последовательности побед игроков и получении наград: import pandas as pd df= pd.DataFrame({'id':['005','005','005','005','005','005','005','006','006','006'], ...
P.A.V.r.o.c.'s user avatar
4 голоса
1 ответ
154 показа

Как объединить столбцы с переносом на новую строку?

Имею df следующего формата: name 1 2 3 4 AB 12 | none | none | none CD none | rty | none | none df none | none | gh | none ZD none | rg | none | ty Как можно привести его ...
xcplat's user avatar
  • 561
3 голоса
2 ответа
968 показов

Найти среднее значение цены первых покупок клиентов: взять первую покупку каждого клиента и усреднить

Не могу справиться с одной задачей и пришел к вам за помощью. Задача связана с поиском среднего значения: найти среднее значение цены самых первых покупок пользователей: для каждого пользователю взять ...
izcrezi's user avatar
  • 67
2 голоса
1 ответ
1k показов

Как пронумеровать строки удовлетворяющие критерию в каждой группе?

У меня есть датафрейм, в котором надо преобразовать существующие колонки. Следующее значение в колонке будет зависеть от предыдущего. Я могу сделать эти калькуляции и преобразования с помощью списков, ...
ivan100096's user avatar
2 голоса
1 ответ
279 показов

Ускорить работу функции

Помогите оптимизировать код. Написал такую функцию: def vp(df): df_v=df.groupby('col1').sum().reset_index() df['target']=0 for i in range(0, (len(df)-1)): for j in range (0, (len(...
Himik's user avatar
  • 23
1 голос
1 ответ
60 показов

Использование минимального и максимального значения типовых операций

Имеется следующий датасет: Как можно для каждой станции, взять время начала операции 1 и время завершения операции 3 и объединить в новую операцию? Ожидаемый обновленный датасет на изображении ниже: ...
Alex Morgan's user avatar
0 голосов
0 ответов
56 показов

Как определить количество кластеров в матрице?

Необходим алгоритм для определения количества кластеров в матрице 10х10. Матрица заполнена целыми значениями от 0 до 255. Для примера, в прикрепленной картинкой матрице, количество таких кластеров ...
Анатолий's user avatar
0 голосов
2 ответа
389 показов

Не работает фильтр DataFrame по дате

Мне нужно отфильтровать dataframe по диапазону дат, введенному в графическом интерфейсе. При попытке реализовать это через метод dataframe.loc я получаю ошибку: TypeError: '<' not supported ...
NeViNez's user avatar
0 голосов
0 ответов
27 показов

Как называется такой тип корреляции?

Диаграмма рассеяния для двух переменных по Y - цена дома по X - среднее количество спален в дома: Как называется такой тип корреляции?
Stive's user avatar
  • 13
1 голос
1 ответ
260 показов

Фон дендрограммы в Python заливается серым цветом

Мой код: credit_df = pd.read_csv('CC_GENERAL.csv') print('Dimension of array:{}'.format(credit_df.shape)) #Dimension of array:(8950, 18) from sklearn.decomposition import PCA pca = PCA(n_components=0....
Ксения's user avatar
-1 голос
1 ответ
150 показов

Отображение булевых данных с использованием plt.bar()?

Дана Excel таблица с переменной Smoking, где даны только варианты True или False. Я хочу отобразить эту инфу в формате grouped bar, где для каждого варианта возраста у меня будет по две колонны, True ...
longlost's user avatar