Вопросы с меткой [big-data]
Big Data - совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
72
вопроса
0
голосов
0ответов
9 показов
lambda-архитектура
Я прочитал две статьи не совсем понял, зачем два очень похожих слоя требуются.
Каково назначение сервисного слоя и speed-слоя в lambda-архитектуре?
В каких кейсах каждый из них используется?
Имеет ли ...
0
голосов
0ответов
26 показов
Удаление большого количества записей со связанных таблиц Postgresql
Я разрабатываю социальную сеть. У меня есть много таблиц, и некоторые из них: User, Post, UserAction (в этой таблице я сохраняю пользователя, которому понравился пост). У меня есть связь между User и ...
0
голосов
1ответ
37 показов
поиск данных в Big data, Python
У меня есть большой фрейм на 100+ миллионов строк (пусть будет f1) и второй на 5 миллионов (пусть будет f2).
Мне нужно сравнить все строчки по сразу по 3 столбцам, типо 1f.client == 2f.client_pin ...
0
голосов
0ответов
23 показа
Как работать с большим дампом данных JSON
Есть дамп отелей размером 13гб, в формате JSON.
Вопрос: как работать с этим дампом, если даже редактор затрудняется открыть его?
Задача такая: нужно реализовать систему поиска туров по дампу, которую ...
0
голосов
0ответов
15 показов
Spark Java multiLine option не работает для CSV файла
Я сделал пример и поместил данные в CSV файл в котором не срабатывает корректный вывод data frame, а именно опция мультистрочность.
Мой CSV файл:
id;brand;model;engine;doors;color;date;description
1;...
-4
голоса
1ответ
30 показов
Следует ли мне изучать математику на англоязычных сайтах?
Намерен стать дата-сатанистом, нашел что за бугром математика преподается лучше, да и выбор больше, например khan academy. Английский знаю отлично, сейчас учусь в 11 классе. Вопрос - будут ли у меня ...
-2
голоса
1ответ
27 показов
Как в нейронную сеть засунуть данные из CSV файла? [закрыт]
Как в нейронную сеть засунуть данные из CSV файла?
0
голосов
1ответ
27 показов
Partial fit . Обучение по частям в Scikit,
Всем привет!
Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
1
голос
1ответ
62 показа
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
0
голосов
1ответ
209 показов
Работа с большими объемами данных в Python
Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список ...
0
голосов
0ответов
38 показов
Какую технологию или сервис можно использовать для обработки, аналитики больших данных на PHP?
Всем привет.
Есть файл например xls или текстовый файл в котором 100 тыс. и более строк.
Вопрос.
Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по ...
0
голосов
0ответов
71 показ
Как оптимизировать mysql бд для уменьшения использования ОЗУ
В проекте используется бд mysql 8, которая лежит в контейнере docker. Столкнулся с трудностью нехватки ОЗУ при размере бд 6гб и примерно 2,5 млн записей. Ождается что будет больше и со временем будет ...
1
голос
0ответов
13 показов
Как грамотнее работать с фотографиями в маркетплейсе? PHP MYSQL
Как грамотнее хранить и выводить изображения товаров в маркетплейсе?
Мои варианты:
1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести
2....
0
голосов
0ответов
35 показов
Как автоматически чистить RAM с помощью python?
В наличии 96GB оперативной памяти. Работаю с большими данными.
Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки.
Соответственно, когда я запускаю ...
4
голоса
1ответ
297 показов
Чтение и обработка огромных файлов CSV
Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне ...
1
голос
1ответ
79 показов
Мульти-классификация по большому набору данных не может быть “dasked” и разделена, нормальная не может быть обработана
У меня огромный массив данных (550 МБ), кредитный клуб доступен здесь, и я должен предсказать класс оценок. Рамка массива данных:
Unnamed: 0 Unnamed: 0.1 loan_amnt funded_amnt ...
0
голосов
0ответов
25 показов
Утилита для импорта данных в БД
Вот хотел написать утилиту для импорта большого кол-ва данных в БД (в идеале в разные БД, но для начала PostgreSQL), нужен импорт из текстовых файлов по RegExp именованными полями, где имена будут ...
0
голосов
1ответ
236 показов
Где хранить более 3 миллиардов строк данных?
Хочу сделать сервис для расшифровки md5, разных sha. Конечно нужно хранить очень очень много данных. Одна из программ из этого же разряда использует БД на 3 миллиарда строк.
Как хранить такие данные,...
0
голосов
0ответов
32 показа
Сравнение двух картинок
подскажите, пожалуйста, в чем проблема. Нахожу ORB дискрипторы двух картинок, а потом сравниваю их расстояния. Но моя программа работает не правильно .
private static Mat countImage(String path) {...
0
голосов
1ответ
22 показа
Как считать текстовой файл, выгружаемый в форму, из JavaScript?
Мне нужно написать веб-приложение, которое обрабатывало бы CSV документы, порядком 20 миллионов строк на документ. Оно бы само по себе ещё ничего, но стандартный объект FileReader имеет только метод ...
3
голоса
1ответ
60 показов
Вопрос по обработке больших данных в Maria DB
Имеется задача обработки и аналитики логов.
Объем логов относительно большой: за сутки около 50 миллионов строк, 20 ГБ в таблице СУБД MiriaDB, движок INNODB. Простейшие запросы, типа выгрузки топ-10 ...
0
голосов
0ответов
44 показа
Как выбрать из большого лог-файла?
друзья.
Есть компания, которая продаёт просмотры баннеров в Интернете.
За всё время в логе накопилось 300 млн. записей. Лог состоит из следующих записей:
id пользователя (хеш-код)
дата просмотра
В ...
1
голос
1ответ
44 показа
Применение категорий для RFM анализа и повышения LTV
Вопрос очень общий. Но я пока не понимаю, в какую сторону двигаться. Я провожу анализ частоты, давности и размера денежной суммы покупок клиентов с целью повышения срока взаимодействия клиента с ...
0
голосов
0ответов
706 показов
Как быстро проверить валидность ссылки
Занимаюсь предобработкой более 10 миллионов ссылок в Jupyter notebook на питоне, хотелось бы узнать наиболее быстродейственный способ проверить корректность ссылки. Из тех, что удалось попробовать:
...
2
голоса
1ответ
583 показа
Как создать столбец в DataFrame на основе двух столбцов из двух разных DataFrame
data = pd.read_table(io.StringIO('''
geo_id TimeStamp
1 1380052543
3 1375703582
34 1374479873
3 1374479892 '''), sep='\...
1
голос
1ответ
1k показов
Фильтр по датам, groupby и сумма строк (Pandas, Python)
id date money
42662 29.01.2011 5.0
42662 27.02.2011 80.0
42662 28.07.2011 80.0
42662 27.07.2011 80.0
42662 26.07.2011 80.0
42662 25.07.2011 80.0
42662 24.07....
0
голосов
1ответ
88 показов
Построение гистограммы специального вида
Надо построить гистограмму специального вида. Знаю, что для этого есть функция hist, но не знаю точно, как её применить в данном случае.
Данные представлены в следующем виде в файле:
3 0 0.25 0.35 ...
0
голосов
2ответа
173 показа
Нейросеть с обучением на json данных
Есть задача создать нейросеть с обучением на json данных.
Подскажите плиз в какую сторону копать (тип нейронки, ссылки и т.п.).
Пример данных на вход:
{
"a": [...],
"b": {
"result_0": 2,
...
1
голос
0ответов
46 показов
Регрессия. Выполнить предсказание какой-либо целевой переменной
Возможно я спрошу глупость, не судите строго, я новичок. Предположим у нас есть данные и надо выполнить предсказание какой-либо целевой переменной. Не важно какая это переменная бинарная или цифровая, ...
1
голос
0ответов
52 показа
Бэггинг, Стекинг и Бустниг на нескольких машинах
Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях:
все данные лежат на одной машине, но в ...
7
голосов
0ответов
186 показов
Что есть big-data? [закрыт]
Много где видел такое понятие, как big-data. Только вот не совсем понятно, насколько data, с которой ты работаешь, должна быть big, что бы её можно было считать big-data? Объем ли это всего хранилища, ...
11
голосов
2ответа
444 показа
Как эффективно группировать строки?
Нужное решить такую задачу:
Разбить множество уникальных строк на непересекающиеся группы по
следующему критерию:
Если две строчки имеют совпадения непустых значений в одной или более
...
1
голос
1ответ
125 показов
Memory error в Numpy при попытке реализовать “One-Hot-Encoding”
import numpy as np
import codecs
fileObj = codecs.open("fragments.txt", "r", "utf_8_sig")
text = fileObj.read()
fileObj.close()
strings = text.split('\n')
char_dictionary = np.load('...
2
голоса
0ответов
36 показов
Как лучше реализовать доступ к одинаковым данным в реальном времени
Добрый день. Есть десяток скриптов, на разных серверах, которые ежеминутно генерируют файл динамичный по содержанию, но примерно одинаковый по структуре.
Структура файла не стандартная (не XML, Json),...
4
голоса
3ответа
2k показов
FPR (False Positive Rate), ложные положительные срабатывания
Подскажите, пожалуйста, как посчитать число ложных положительных срабатываний (FPR) относительно третьего класса для следующей матрицы ошибок (confusion matrix):
0
голосов
0ответов
272 показа
Генератор СЛАУ помогите найти
Для лабораторной работы требуется протестировать программу на больших данных. СЛАУ 100 размерность и даже 1000. Вопрос где взять такие готовые СЛАУ или мб в математических пакетах есть функции их ...
2
голоса
0ответов
127 показов
Возможно ли написать такой SQL запрос, в котором значения зависят друг от друга в одной таблице?
Возможно ли написать такой SQL запрос, в котором значение из одной записи таблицы зависит от другой (одной или нескольких) записи той же самой таблицы? Используется только одна таблица.
Пример задачи:
...
0
голосов
0ответов
44 показа
Как предсказать событие по имеющимся данным?
Как по имеющимся данным клиента предсказывать купит ли клиент страховку. Допустим страхование в сфере имущества - дома, квартиры. На основании датасета хотелось бы выделить ряд признаков и ...
1
голос
0ответов
56 показов
Помогите найти датасет для предсказания уйдет ли клиент от страховщика
Доброго времени суток! Есть цель - по имеющимся данным клиента предсказывать уйдет ли он от страховой компании через год (возможно 1, 2, 3), допустим страхование в сфере имущества - дома, квартиры. На ...
0
голосов
1ответ
83 показа
По какому принципу СУБД HP Vertica сортирует данные в столбцах varchar? Как это настроить?
Есть таблица с колонкой email и другими(в данном случае это не важно). Колонка email содержит в себе значения от email0@gmail.com до email10000000@gmail.com (это тестовые данные). В таблице они ...
1
голос
2ответа
189 показов
Какой способ является оптимальным для парсинга огромных XML файлов?
Как известно в PHP есть множество способов распарсить XML. Какой способ стоит использовать для парсинга огромного файла, чтобы не уронить сервер и выполнить парсинг с максимальной скоростью?
3
голоса
1ответ
1k показов
Не могу понять как использовать индексы из Sklearn - KFold
Не могу получить результат разделения KFold.
kf = KFold(n_splits=2, shuffle=True, random_state=1)
train1, test1, train2, test2 = kf.split(X_data)
Выдает ошибку:
ValueError: need more than 2 values ...
4
голоса
2ответа
172 показа
Как эффективнее всего распарсить огромный файл логов на слабой машине?
Есть сервер с 1gb RAM. Есть лог файл nginx (любой другой веб-сервер) на 70gb. Как максимально быстро собрать статистику по user agent пользователей сайта, учитывая описанные ограничения по ресурсам.
-5
голосов
1ответ
83 показа
Выбор области разработки [закрыт]
Здравствуйте.
Мне интересна высшая математика.
Где ещё она используется в разработке помимо Big Data?
1
голос
1ответ
37 показов
Прогнозировать объем погрузки на участке железной дороги [закрыт]
Возможно, задача излишне амбициозна, но все же. Имеется участок железной дороги, который обслуживает А предприятий. Каждое из них отгружает один или несколько видов продукции из общего конечной ...
1
голос
1ответ
245 показов
Ошибка многоклассовой классификация на python (xgboost)?
Моя первая многоклассовая классификация. У меня есть значения Xtrn и Ytrn. Ytrn имеет пять возможных исходов [0,1,2,3,4]. Но при запуске выдает ошибку
"multiclass format is not supported".
Это ...
2
голоса
1ответ
82 показа
Исключить строки после группировки с минимальным значением поля
Нужно исключить email у которых min(date_reg) <2016-02-01. использование min обязательно
запрос в google bigquery
select users.email, sum(s.price) as sum_price
from test.users as users
join (...
3
голоса
2ответа
2k показов
Большая MYSQL таблица (более 200 000 000 записей). Как расставить индексы?
Есть большая (на мой взгляд) MYSQL таблица (19 полей). Даже запрос SELECT COUNT(*) FROM table_name; выполняется 6 минут, что меня не очень устраивает. Нужно расставить индексы так, чтобы не испортить ...
0
голосов
1ответ
641 показ
C# Excel Что использовать для работы с огромными массивами данных? [дубликат]
Вопрос: Как лучше обрабатывать большие Excel файлы?
Пробовал interop.Excel и через: OLEDB, адаптер reader, DataTable -, но с последним много вопросов, так как нужно много чего фильтровать и сами ...
1
голос
2ответа
64 показа
Оптимизация mysql запроса, при выводе большого к-ва данных
На одну страницу, при её загрузке нужно вывести:
Данные из аккаунта, которые я получаю по API, что включает в себя расшифровку json файла и загрузку на страницу около 100 картинок, так в добавок нужно ...