Вопросы с меткой [big-data]
Big Data - совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
78
вопросов
0
голосов
1
ответ
35
показов
Выбор СУБД для биг-даты (PHP)
Посоветуйте пожалуйста. До этого особо никогда не работал с большим объемом данных. На данный момент у меня есть 1млн тестовых пользователей (Сам бд сделал, расширить планировал до 20млн), стоит ...
0
голосов
0
ответов
21
показ
Условие отрисовки горизотальной линии в plotly express\cufflinks
Есть код
graph2 = dt.iplot(
kind='scatter',
mode='markers',
x='Date/Time',
y='Max',
title='Распределение срабатываний по времени Cufflinks',
hline = [dict(y=lim1,color='green',width=3), dict(y=...
0
голосов
0
ответов
18
показов
Добавление условия в витрину
Задача следующая. У меня есть код в котором огромное колличество атрибутов. И к однуму из атрибутов допустим это тип карты card_type='универсальная' нужно добавить следующее условие:
case when card>...
1
голос
1
ответ
540
показов
Ошибка 'list indices must be integers or slices, not tuple' при построении массива для отображения лабиринта
В университете дали задание создать лабиринт, как на картинке (фото), найти кратчайший путь от стартовой точки до финальной.
Мой код:
from collections import deque
maze = [
['-','-','-','-','-...
0
голосов
0
ответов
8
показов
Какие есть открытые источники данных для отчетов по рекламным кампаниям в интернете?
Задача следующая. Есть таблицы со статистикой по рекламным кампаниям (Гугл Эдс, Гугл Аналитика, Яндекс Директ, Яндекс Метрика, ФБ, ВК, MyTarget). Нужно обогатить их данными из открытых источников, ...
0
голосов
0
ответов
16
показов
Запись произвольного bean в формат parquet
Хочу записать свой bean в файл формата parquet.В нем я имею несколько полей String Integer и поле типа java.sql.Timestamp. Я воспользовался инструкцией beanToRecordConverter.Все поля преобразовываются ...
0
голосов
0
ответов
40
показов
Python ElementTree ParseError
Доброго времени суток всем. Работаю с парсингом тяжелых файлов 4-10гб, некоторые из них хорошо разбираются парсером, а в других бросается исключение:
xml.etree.ElementTree.ParseError: not well-formed (...
0
голосов
0
ответов
104
показа
Удаление большого количества записей со связанных таблиц Postgresql
Я разрабатываю социальную сеть. У меня есть много таблиц, и некоторые из них: User, Post, UserAction (в этой таблице я сохраняю пользователя, которому понравился пост). У меня есть связь между User и ...
0
голосов
1
ответ
54
показа
поиск данных в Big data, Python
У меня есть большой фрейм на 100+ миллионов строк (пусть будет f1) и второй на 5 миллионов (пусть будет f2).
Мне нужно сравнить все строчки по сразу по 3 столбцам, типо 1f.client == 2f.client_pin ...
0
голосов
0
ответов
34
показа
Как работать с большим дампом данных JSON
Есть дамп отелей размером 13гб, в формате JSON.
Вопрос: как работать с этим дампом, если даже редактор затрудняется открыть его?
Задача такая: нужно реализовать систему поиска туров по дампу, которую ...
-4
голоса
1
ответ
32
показа
Следует ли мне изучать математику на англоязычных сайтах?
Намерен стать дата-сатанистом, нашел что за бугром математика преподается лучше, да и выбор больше, например khan academy. Английский знаю отлично, сейчас учусь в 11 классе. Вопрос - будут ли у меня ...
-2
голоса
1
ответ
137
показов
Как в нейронную сеть засунуть данные из CSV файла? [закрыт]
Как в нейронную сеть засунуть данные из CSV файла?
0
голосов
1
ответ
54
показа
Partial fit . Обучение по частям в Scikit,
Всем привет!
Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
1
голос
1
ответ
337
показов
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
0
голосов
1
ответ
716
показов
Работа с большими объемами данных в Python
Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список ...
0
голосов
0
ответов
45
показов
Какую технологию или сервис можно использовать для обработки, аналитики больших данных на PHP?
Всем привет.
Есть файл например xls или текстовый файл в котором 100 тыс. и более строк.
Вопрос.
Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по ...
0
голосов
0
ответов
181
показ
Как оптимизировать mysql бд для уменьшения использования ОЗУ
В проекте используется бд mysql 8, которая лежит в контейнере docker. Столкнулся с трудностью нехватки ОЗУ при размере бд 6гб и примерно 2,5 млн записей. Ождается что будет больше и со временем будет ...
1
голос
0
ответов
15
показов
Как грамотнее работать с фотографиями в маркетплейсе? PHP MYSQL
Как грамотнее хранить и выводить изображения товаров в маркетплейсе?
Мои варианты:
1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести
2....
0
голосов
0
ответов
40
показов
Как автоматически чистить RAM с помощью python?
В наличии 96GB оперативной памяти. Работаю с большими данными.
Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки.
Соответственно, когда я запускаю ...
4
голоса
1
ответ
584
показа
Чтение и обработка огромных файлов CSV
Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне ...
1
голос
1
ответ
114
показов
Мульти-классификация по большому набору данных не может быть "dasked" и разделена, нормальная не может быть обработана
У меня огромный массив данных (550 МБ), кредитный клуб доступен здесь, и я должен предсказать класс оценок. Рамка массива данных:
Unnamed: 0 Unnamed: 0.1 loan_amnt funded_amnt ...
0
голосов
0
ответов
28
показов
Утилита для импорта данных в БД
Вот хотел написать утилиту для импорта большого кол-ва данных в БД (в идеале в разные БД, но для начала PostgreSQL), нужен импорт из текстовых файлов по RegExp именованными полями, где имена будут ...
0
голосов
1
ответ
383
показа
Где хранить более 3 миллиардов строк данных?
Хочу сделать сервис для расшифровки md5, разных sha. Конечно нужно хранить очень очень много данных. Одна из программ из этого же разряда использует БД на 3 миллиарда строк.
Как хранить такие данные,...
0
голосов
0
ответов
44
показа
Сравнение двух картинок
подскажите, пожалуйста, в чем проблема. Нахожу ORB дискрипторы двух картинок, а потом сравниваю их расстояния. Но моя программа работает не правильно .
private static Mat countImage(String path) {...
0
голосов
1
ответ
26
показов
Как считать текстовой файл, выгружаемый в форму, из JavaScript?
Мне нужно написать веб-приложение, которое обрабатывало бы CSV документы, порядком 20 миллионов строк на документ. Оно бы само по себе ещё ничего, но стандартный объект FileReader имеет только метод ...
3
голоса
1
ответ
81
показ
Вопрос по обработке больших данных в Maria DB
Имеется задача обработки и аналитики логов.
Объем логов относительно большой: за сутки около 50 миллионов строк, 20 ГБ в таблице СУБД MiriaDB, движок INNODB. Простейшие запросы, типа выгрузки топ-10 ...
0
голосов
0
ответов
46
показов
Как выбрать из большого лог-файла?
друзья.
Есть компания, которая продаёт просмотры баннеров в Интернете.
За всё время в логе накопилось 300 млн. записей. Лог состоит из следующих записей:
id пользователя (хеш-код)
дата просмотра
В ...
1
голос
1
ответ
49
показов
Применение категорий для RFM анализа и повышения LTV
Вопрос очень общий. Но я пока не понимаю, в какую сторону двигаться. Я провожу анализ частоты, давности и размера денежной суммы покупок клиентов с целью повышения срока взаимодействия клиента с ...
0
голосов
0
ответов
1k
показов
Как быстро проверить валидность ссылки
Занимаюсь предобработкой более 10 миллионов ссылок в Jupyter notebook на питоне, хотелось бы узнать наиболее быстродейственный способ проверить корректность ссылки. Из тех, что удалось попробовать:
...
2
голоса
1
ответ
918
показов
Как создать столбец на основе двух столбцов из двух разных DataFrame?
data = pd.read_table(io.StringIO('''
geo_id TimeStamp
1 1380052543
3 1375703582
34 1374479873
3 1374479892 '''), sep='\...
0
голосов
1
ответ
220
показов
HUE: Выгрузить выборку в файл, минуя браузер
В качестве DB использую Impala, в качестве клиента - HUE.
Мне необходимо выгрузить 100кк строк в файл. Как это сделать?
Можно было бы выгрузить сначала в Хью, а потом уже в файл. Но на 100кк оно ...
1
голос
1
ответ
2k
показов
Фильтр по датам, groupby и сумма строк (Pandas, Python)
id date money
42662 29.01.2011 5.0
42662 27.02.2011 80.0
42662 28.07.2011 80.0
42662 27.07.2011 80.0
42662 26.07.2011 80.0
42662 25.07.2011 80.0
42662 24.07....
0
голосов
1
ответ
102
показа
Построение гистограммы специального вида
Надо построить гистограмму специального вида. Знаю, что для этого есть функция hist, но не знаю точно, как её применить в данном случае.
Данные представлены в следующем виде в файле:
3 0 0.25 0.35 ...
0
голосов
2
ответа
261
показ
Нейросеть с обучением на json данных
Есть задача создать нейросеть с обучением на json данных.
Подскажите плиз в какую сторону копать (тип нейронки, ссылки и т.п.).
Пример данных на вход:
{
"a": [...],
"b": {
"result_0": 2,
...
1
голос
0
ответов
49
показов
Регрессия. Выполнить предсказание какой-либо целевой переменной
Возможно я спрошу глупость, не судите строго, я новичок. Предположим у нас есть данные и надо выполнить предсказание какой-либо целевой переменной. Не важно какая это переменная бинарная или цифровая, ...
1
голос
0
ответов
55
показов
Бэггинг, Стекинг и Бустниг на нескольких машинах
Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях:
все данные лежат на одной машине, но в ...
7
голосов
0
ответов
188
показов
Что есть big-data? [закрыт]
Много где видел такое понятие, как big-data. Только вот не совсем понятно, насколько data, с которой ты работаешь, должна быть big, что бы её можно было считать big-data? Объем ли это всего хранилища, ...
12
голосов
2
ответа
711
показов
Как эффективно группировать строки?
Нужное решить такую задачу:
Разбить множество уникальных строк на непересекающиеся группы по
следующему критерию:
Если две строчки имеют совпадения непустых значений в одной или более
...
1
голос
1
ответ
133
показа
Memory error в Numpy при попытке реализовать "One-Hot-Encoding"
import numpy as np
import codecs
fileObj = codecs.open("fragments.txt", "r", "utf_8_sig")
text = fileObj.read()
fileObj.close()
strings = text.split('\n')
char_dictionary = np.load('...
2
голоса
0
ответов
41
показ
Как лучше реализовать доступ к одинаковым данным в реальном времени
Добрый день. Есть десяток скриптов, на разных серверах, которые ежеминутно генерируют файл динамичный по содержанию, но примерно одинаковый по структуре.
Структура файла не стандартная (не XML, Json),...
4
голоса
3
ответа
2k
показов
FPR (False Positive Rate), ложные положительные срабатывания
Подскажите, пожалуйста, как посчитать число ложных положительных срабатываний (FPR) относительно третьего класса для следующей матрицы ошибок (confusion matrix):
0
голосов
0
ответов
366
показов
Генератор СЛАУ помогите найти
Для лабораторной работы требуется протестировать программу на больших данных. СЛАУ 100 размерность и даже 1000. Вопрос где взять такие готовые СЛАУ или мб в математических пакетах есть функции их ...
2
голоса
0
ответов
148
показов
Возможно ли написать такой SQL запрос, в котором значения зависят друг от друга в одной таблице?
Возможно ли написать такой SQL запрос, в котором значение из одной записи таблицы зависит от другой (одной или нескольких) записи той же самой таблицы? Используется только одна таблица.
Пример задачи:
...
0
голосов
0
ответов
47
показов
Как предсказать событие по имеющимся данным?
Как по имеющимся данным клиента предсказывать купит ли клиент страховку. Допустим страхование в сфере имущества - дома, квартиры. На основании датасета хотелось бы выделить ряд признаков и ...
1
голос
0
ответов
74
показа
Помогите найти датасет для предсказания уйдет ли клиент от страховщика
Доброго времени суток! Есть цель - по имеющимся данным клиента предсказывать уйдет ли он от страховой компании через год (возможно 1, 2, 3), допустим страхование в сфере имущества - дома, квартиры. На ...
0
голосов
1
ответ
102
показа
По какому принципу СУБД HP Vertica сортирует данные в столбцах varchar? Как это настроить?
Есть таблица с колонкой email и другими(в данном случае это не важно). Колонка email содержит в себе значения от email0@gmail.com до email10000000@gmail.com (это тестовые данные). В таблице они ...
1
голос
2
ответа
210
показов
Какой способ является оптимальным для парсинга огромных XML файлов?
Как известно в PHP есть множество способов распарсить XML. Какой способ стоит использовать для парсинга огромного файла, чтобы не уронить сервер и выполнить парсинг с максимальной скоростью?
3
голоса
1
ответ
1k
показов
Не могу понять как использовать индексы из Sklearn - KFold
Не могу получить результат разделения KFold.
kf = KFold(n_splits=2, shuffle=True, random_state=1)
train1, test1, train2, test2 = kf.split(X_data)
Выдает ошибку:
ValueError: need more than 2 values ...
4
голоса
2
ответа
239
показов
Как эффективнее всего распарсить огромный файл логов на слабой машине?
Есть сервер с 1gb RAM. Есть лог файл nginx (любой другой веб-сервер) на 70gb. Как максимально быстро собрать статистику по user agent пользователей сайта, учитывая описанные ограничения по ресурсам.
-5
голосов
1
ответ
83
показа
Выбор области разработки [закрыт]
Здравствуйте.
Мне интересна высшая математика.
Где ещё она используется в разработке помимо Big Data?