Вопросы с меткой [big-data]
Big Data - совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов
85
вопросов
0
голосов
0
ответов
34
показа
Как выбрать железо для домашнего запуска нейросетей? gpt2 и подобных [закрыт]
Хочу собрать домашний сервер, как для обучения моделей, так и для запуска уже обученных.
Бюджет ориентировочно 70.000 рублей. Хватит ли этого?
Какие требования к видеокарте? Можно ли использовать ...
0
голосов
1
ответ
33
показа
сканирующее окно для большого датафрейма
Подскажите как оптимальней написать сканирующее окно большого df?
Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
0
голосов
0
ответов
13
показов
На сколько в норме увеличивается размер базы данных MySQL при включении индекса на числовой столбец?
Достаточно большой (цифровой) объём в 10.5Гб из двух столбцов был импортирован в MySQL. Включена индексация по столбцу один (цифровые значения INT величиной до 11 символов). При обработке БД после ...
1
голос
1
ответ
28
показов
Как сохранить стороку данных нулей и единиц в бинарной кодировке 1 символ = 1 bit?
Подскажите, есть ли какая-нибудь простая возможность битовую строку длиной примерно 2^17 < n < 2^23, сохранить в файл с кодировкой на один символ 1 bit?
Допустим, выполнив код:
with open('data/...
0
голосов
0
ответов
48
показов
Помогите решить задание и найти объяснение
задание, что я получил:
Информация о скольки футбольных площадках содержится в файле football.csv?
Формат ввода
Файл уже на сервере, загружать его сюда не нужно, только ваше решение (программа).
...
1
голос
1
ответ
55
показов
Долго выполняется рекурсивный запрос в postgres
Зравствуйте, можно ли как то повысить перформанс текущего запроса? Возможно его надо разбить на несколько запросов с использованием темп таблиц.
У меня есть таблица с иерархией objectid, parentid со ...
0
голосов
0
ответов
13
показов
Как ускорить поиск: vue3 + vuex
Помогите разобраться, как ускорить вывод данных на странице (vue3, vuex4)
Есть массив товаров +10k
В каждом 40 полей
На странице выводятся только 5 полей (id, name, date, price, status)
Нужен быстрый ...
-1
голос
1
ответ
34
показа
План чтения по искусственному интеллекту, Data Science, Data Mining, Big Data, нейросетям
Предложите, пожалуйста, план чтения с нуля и до профи в этих областях. На сайтах очень размытые определения, а плавать в этих областях не хочется. Желательно не опираться на конкретную технологию или ...
1
голос
2
ответа
105
показов
openpyxl заполняет всю оперативную память
Столкнулся с такой проблемой как полное заполнение оперативной памяти. Я написал скрипт который обрабатывает большую Excel таблицу с 200 тыс. строк и 58 столбцов.
Как видно на скриншоте простое ...
0
голосов
1
ответ
732
показа
Поиск дубликатов по нескольким столбцам. Ошибка синтаксиса. MySQL | SQL
В таблице (что ниже) пытаюсь 3-мя способами реализовать поиск дубликатов по нескольким атрибутам. Ни один не срабатывает. Предположение вот в чем, после оператора WHERE стоит что-то не то (простейшие ...
0
голосов
0
ответов
386
показов
Как ускорить время ответа на запрос?
Существует коллекция в базе, которая насчитывается около 4.6 миллиона документов.
(структуру данных можно увидеть на скриншоте.)
При попытке вытащить из данной коллекции хотя бы одно значение - время ...
0
голосов
1
ответ
43
показа
Выбор СУБД для биг-даты (PHP)
Посоветуйте пожалуйста. До этого особо никогда не работал с большим объемом данных. На данный момент у меня есть 1млн тестовых пользователей (Сам бд сделал, расширить планировал до 20млн), стоит ...
1
голос
1
ответ
4k
показов
Ошибка 'list indices must be integers or slices, not tuple' при построении массива для отображения лабиринта [закрыт]
В университете дали задание создать лабиринт, как на картинке (фото), найти кратчайший путь от стартовой точки до финальной.
Мой код:
from collections import deque
maze = [
['-','-','-','-','-...
0
голосов
0
ответов
82
показа
Python ElementTree ParseError
Доброго времени суток всем. Работаю с парсингом тяжелых файлов 4-10гб, некоторые из них хорошо разбираются парсером, а в других бросается исключение:
xml.etree.ElementTree.ParseError: not well-formed (...
0
голосов
0
ответов
265
показов
Удаление большого количества записей со связанных таблиц Postgresql
Я разрабатываю социальную сеть. У меня есть много таблиц, и некоторые из них: User, Post, UserAction (в этой таблице я сохраняю пользователя, которому понравился пост). У меня есть связь между User и ...
1
голос
1
ответ
75
показов
поиск данных в Big data, Python
У меня есть большой фрейм на 100+ миллионов строк (пусть будет f1) и второй на 5 миллионов (пусть будет f2).
Мне нужно сравнить все строчки по сразу по 3 столбцам, типо 1f.client == 2f.client_pin ...
0
голосов
0
ответов
42
показа
Как работать с большим дампом данных JSON
Есть дамп отелей размером 13гб, в формате JSON.
Вопрос: как работать с этим дампом, если даже редактор затрудняется открыть его?
Задача такая: нужно реализовать систему поиска туров по дампу, которую ...
-4
голоса
1
ответ
33
показа
Следует ли мне изучать математику на англоязычных сайтах?
Намерен стать дата-сатанистом, нашел что за бугром математика преподается лучше, да и выбор больше, например khan academy. Английский знаю отлично, сейчас учусь в 11 классе. Вопрос - будут ли у меня ...
-2
голоса
1
ответ
368
показов
Как в нейронную сеть засунуть данные из CSV файла? [закрыт]
Как в нейронную сеть засунуть данные из CSV файла?
0
голосов
1
ответ
171
показ
Partial fit . Обучение по частям в Scikit,
Всем привет!
Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
1
голос
1
ответ
953
показа
Как передавать объекты большого объема в Kafka
Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
0
голосов
1
ответ
1k
показов
Работа с большими объемами данных в Python
Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список ...
0
голосов
0
ответов
64
показа
Какую технологию или сервис можно использовать для обработки, аналитики больших данных на PHP?
Всем привет.
Есть файл например xls или текстовый файл в котором 100 тыс. и более строк.
Вопрос.
Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по ...
0
голосов
0
ответов
249
показов
Как оптимизировать mysql бд для уменьшения использования ОЗУ
В проекте используется бд mysql 8, которая лежит в контейнере docker. Столкнулся с трудностью нехватки ОЗУ при размере бд 6гб и примерно 2,5 млн записей. Ождается что будет больше и со временем будет ...
1
голос
0
ответов
15
показов
Как грамотнее работать с фотографиями в маркетплейсе? PHP MYSQL
Как грамотнее хранить и выводить изображения товаров в маркетплейсе?
Мои варианты:
1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести
2....
0
голосов
0
ответов
50
показов
Как автоматически чистить RAM с помощью python?
В наличии 96GB оперативной памяти. Работаю с большими данными.
Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки.
Соответственно, когда я запускаю ...
4
голоса
1
ответ
1k
показов
Чтение и обработка огромных файлов CSV
Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне ...
1
голос
1
ответ
168
показов
Мульти-классификация по большому набору данных не может быть "dasked" и разделена, нормальная не может быть обработана
У меня огромный массив данных (550 МБ), кредитный клуб доступен здесь, и я должен предсказать класс оценок. Рамка массива данных:
Unnamed: 0 Unnamed: 0.1 loan_amnt funded_amnt ...
0
голосов
0
ответов
30
показов
Утилита для импорта данных в БД
Вот хотел написать утилиту для импорта большого кол-ва данных в БД (в идеале в разные БД, но для начала PostgreSQL), нужен импорт из текстовых файлов по RegExp именованными полями, где имена будут ...
0
голосов
1
ответ
690
показов
Где хранить более 3 миллиардов строк данных?
Хочу сделать сервис для расшифровки md5, разных sha. Конечно нужно хранить очень очень много данных. Одна из программ из этого же разряда использует БД на 3 миллиарда строк.
Как хранить такие данные,...
0
голосов
0
ответов
86
показов
Сравнение двух картинок
подскажите, пожалуйста, в чем проблема. Нахожу ORB дискрипторы двух картинок, а потом сравниваю их расстояния. Но моя программа работает не правильно .
private static Mat countImage(String path) {...
0
голосов
1
ответ
39
показов
Как считать текстовой файл, выгружаемый в форму, из JavaScript?
Мне нужно написать веб-приложение, которое обрабатывало бы CSV документы, порядком 20 миллионов строк на документ. Оно бы само по себе ещё ничего, но стандартный объект FileReader имеет только метод ...
3
голоса
1
ответ
99
показов
Вопрос по обработке больших данных в Maria DB
Имеется задача обработки и аналитики логов.
Объем логов относительно большой: за сутки около 50 миллионов строк, 20 ГБ в таблице СУБД MiriaDB, движок INNODB. Простейшие запросы, типа выгрузки топ-10 ...
0
голосов
0
ответов
50
показов
Как выбрать из большого лог-файла?
друзья.
Есть компания, которая продаёт просмотры баннеров в Интернете.
За всё время в логе накопилось 300 млн. записей. Лог состоит из следующих записей:
id пользователя (хеш-код)
дата просмотра
В ...
1
голос
1
ответ
59
показов
Применение категорий для RFM анализа и повышения LTV
Вопрос очень общий. Но я пока не понимаю, в какую сторону двигаться. Я провожу анализ частоты, давности и размера денежной суммы покупок клиентов с целью повышения срока взаимодействия клиента с ...
0
голосов
0
ответов
2k
показов
Как быстро проверить валидность ссылки
Занимаюсь предобработкой более 10 миллионов ссылок в Jupyter notebook на питоне, хотелось бы узнать наиболее быстродейственный способ проверить корректность ссылки. Из тех, что удалось попробовать:
...
2
голоса
1
ответ
1k
показов
Как создать столбец на основе двух столбцов из двух разных DataFrame?
data = pd.read_table(io.StringIO('''
geo_id TimeStamp
1 1380052543
3 1375703582
34 1374479873
3 1374479892 '''), sep='\...
0
голосов
1
ответ
335
показов
HUE: Выгрузить выборку в файл, минуя браузер
В качестве DB использую Impala, в качестве клиента - HUE.
Мне необходимо выгрузить 100кк строк в файл. Как это сделать?
Можно было бы выгрузить сначала в Хью, а потом уже в файл. Но на 100кк оно ...
1
голос
1
ответ
2k
показов
Фильтр по датам, groupby и сумма строк (Pandas, Python)
id date money
42662 29.01.2011 5.0
42662 27.02.2011 80.0
42662 28.07.2011 80.0
42662 27.07.2011 80.0
42662 26.07.2011 80.0
42662 25.07.2011 80.0
42662 24.07....
0
голосов
1
ответ
142
показа
Построение гистограммы специального вида
Надо построить гистограмму специального вида. Знаю, что для этого есть функция hist, но не знаю точно, как её применить в данном случае.
Данные представлены в следующем виде в файле:
3 0 0.25 0.35 ...
0
голосов
2
ответа
413
показов
Нейросеть с обучением на json данных
Есть задача создать нейросеть с обучением на json данных.
Подскажите плиз в какую сторону копать (тип нейронки, ссылки и т.п.).
Пример данных на вход:
{
"a": [...],
"b": {
"result_0": 2,
...
1
голос
0
ответов
50
показов
Регрессия. Выполнить предсказание какой-либо целевой переменной
Возможно я спрошу глупость, не судите строго, я новичок. Предположим у нас есть данные и надо выполнить предсказание какой-либо целевой переменной. Не важно какая это переменная бинарная или цифровая, ...
1
голос
0
ответов
60
показов
Бэггинг, Стекинг и Бустниг на нескольких машинах
Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях:
все данные лежат на одной машине, но в ...
7
голосов
0
ответов
193
показа
Что есть big-data? [закрыт]
Много где видел такое понятие, как big-data. Только вот не совсем понятно, насколько data, с которой ты работаешь, должна быть big, что бы её можно было считать big-data? Объем ли это всего хранилища, ...
12
голосов
2
ответа
976
показов
Как эффективно группировать строки?
Нужное решить такую задачу:
Разбить множество уникальных строк на непересекающиеся группы по
следующему критерию:
Если две строчки имеют совпадения непустых значений в одной или более
...
1
голос
1
ответ
138
показов
Memory error в Numpy при попытке реализовать "One-Hot-Encoding"
import numpy as np
import codecs
fileObj = codecs.open("fragments.txt", "r", "utf_8_sig")
text = fileObj.read()
fileObj.close()
strings = text.split('\n')
char_dictionary = np.load('...
2
голоса
0
ответов
48
показов
Как лучше реализовать доступ к одинаковым данным в реальном времени
Добрый день. Есть десяток скриптов, на разных серверах, которые ежеминутно генерируют файл динамичный по содержанию, но примерно одинаковый по структуре.
Структура файла не стандартная (не XML, Json),...
4
голоса
3
ответа
2k
показов
FPR (False Positive Rate), ложные положительные срабатывания
Подскажите, пожалуйста, как посчитать число ложных положительных срабатываний (FPR) относительно третьего класса для следующей матрицы ошибок (confusion matrix):
0
голосов
0
ответов
418
показов
Генератор СЛАУ помогите найти
Для лабораторной работы требуется протестировать программу на больших данных. СЛАУ 100 размерность и даже 1000. Вопрос где взять такие готовые СЛАУ или мб в математических пакетах есть функции их ...
2
голоса
0
ответов
191
показ
Возможно ли написать такой SQL запрос, в котором значения зависят друг от друга в одной таблице?
Возможно ли написать такой SQL запрос, в котором значение из одной записи таблицы зависит от другой (одной или нескольких) записи той же самой таблицы? Используется только одна таблица.
Пример задачи:
...