Вопросы с меткой [big-data]

Big Data - совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
34 показа

Как выбрать железо для домашнего запуска нейросетей? gpt2 и подобных [закрыт]

Хочу собрать домашний сервер, как для обучения моделей, так и для запуска уже обученных. Бюджет ориентировочно 70.000 рублей. Хватит ли этого? Какие требования к видеокарте? Можно ли использовать ...
Егор Монг's user avatar
0 голосов
1 ответ
33 показа

сканирующее окно для большого датафрейма

Подскажите как оптимальней написать сканирующее окно большого df? Задача выбрать список id которые находятся в пределе 5 минут до и 5 мин после точки входа, точка входа каждая строка df. Тоесть для ...
Oleksandr Krestiankin's user avatar
0 голосов
0 ответов
13 показов

На сколько в норме увеличивается размер базы данных MySQL при включении индекса на числовой столбец?

Достаточно большой (цифровой) объём в 10.5Гб из двух столбцов был импортирован в MySQL. Включена индексация по столбцу один (цифровые значения INT величиной до 11 символов). При обработке БД после ...
Alex Sh's user avatar
1 голос
1 ответ
28 показов

Как сохранить стороку данных нулей и единиц в бинарной кодировке 1 символ = 1 bit?

Подскажите, есть ли какая-нибудь простая возможность битовую строку длиной примерно 2^17 < n < 2^23, сохранить в файл с кодировкой на один символ 1 bit? Допустим, выполнив код: with open('data/...
SRK's user avatar
  • 23
0 голосов
0 ответов
48 показов

Помогите решить задание и найти объяснение

задание, что я получил: Информация о скольки футбольных площадках содержится в файле football.csv? Формат ввода Файл уже на сервере, загружать его сюда не нужно, только ваше решение (программа). ...
Asd Fgh's user avatar
1 голос
1 ответ
55 показов

Долго выполняется рекурсивный запрос в postgres

Зравствуйте, можно ли как то повысить перформанс текущего запроса? Возможно его надо разбить на несколько запросов с использованием темп таблиц. У меня есть таблица с иерархией objectid, parentid со ...
Maxim's user avatar
  • 66
0 голосов
0 ответов
13 показов

Как ускорить поиск: vue3 + vuex

Помогите разобраться, как ускорить вывод данных на странице (vue3, vuex4) Есть массив товаров +10k В каждом 40 полей На странице выводятся только 5 полей (id, name, date, price, status) Нужен быстрый ...
Александр's user avatar
-1 голос
1 ответ
34 показа

План чтения по искусственному интеллекту, Data Science, Data Mining, Big Data, нейросетям

Предложите, пожалуйста, план чтения с нуля и до профи в этих областях. На сайтах очень размытые определения, а плавать в этих областях не хочется. Желательно не опираться на конкретную технологию или ...
Грузчик's user avatar
1 голос
2 ответа
105 показов

openpyxl заполняет всю оперативную память

Столкнулся с такой проблемой как полное заполнение оперативной памяти. Я написал скрипт который обрабатывает большую Excel таблицу с 200 тыс. строк и 58 столбцов. Как видно на скриншоте простое ...
zomaman's user avatar
  • 140
0 голосов
1 ответ
732 показа

Поиск дубликатов по нескольким столбцам. Ошибка синтаксиса. MySQL | SQL

В таблице (что ниже) пытаюсь 3-мя способами реализовать поиск дубликатов по нескольким атрибутам. Ни один не срабатывает. Предположение вот в чем, после оператора WHERE стоит что-то не то (простейшие ...
Vsevoload Polu4ayka's user avatar
0 голосов
0 ответов
386 показов

Как ускорить время ответа на запрос?

Существует коллекция в базе, которая насчитывается около 4.6 миллиона документов. (структуру данных можно увидеть на скриншоте.) При попытке вытащить из данной коллекции хотя бы одно значение - время ...
Mikhail Krivosheev's user avatar
0 голосов
1 ответ
43 показа

Выбор СУБД для биг-даты (PHP)

Посоветуйте пожалуйста. До этого особо никогда не работал с большим объемом данных. На данный момент у меня есть 1млн тестовых пользователей (Сам бд сделал, расширить планировал до 20млн), стоит ...
Alexander's user avatar
1 голос
1 ответ
4k показов

Ошибка 'list indices must be integers or slices, not tuple' при построении массива для отображения лабиринта [закрыт]

В университете дали задание создать лабиринт, как на картинке (фото), найти кратчайший путь от стартовой точки до финальной. Мой код: from collections import deque maze = [ ['-','-','-','-','-...
Ксения's user avatar
0 голосов
0 ответов
82 показа

Python ElementTree ParseError

Доброго времени суток всем. Работаю с парсингом тяжелых файлов 4-10гб, некоторые из них хорошо разбираются парсером, а в других бросается исключение: xml.etree.ElementTree.ParseError: not well-formed (...
Maksim Matantsev's user avatar
0 голосов
0 ответов
265 показов

Удаление большого количества записей со связанных таблиц Postgresql

Я разрабатываю социальную сеть. У меня есть много таблиц, и некоторые из них: User, Post, UserAction (в этой таблице я сохраняю пользователя, которому понравился пост). У меня есть связь между User и ...
Serega Carbon's user avatar
1 голос
1 ответ
75 показов

поиск данных в Big data, Python

У меня есть большой фрейм на 100+ миллионов строк (пусть будет f1) и второй на 5 миллионов (пусть будет f2). Мне нужно сравнить все строчки по сразу по 3 столбцам, типо 1f.client == 2f.client_pin ...
TROSHER's user avatar
  • 19
0 голосов
0 ответов
42 показа

Как работать с большим дампом данных JSON

Есть дамп отелей размером 13гб, в формате JSON. Вопрос: как работать с этим дампом, если даже редактор затрудняется открыть его? Задача такая: нужно реализовать систему поиска туров по дампу, которую ...
Данил Даниленко's user avatar
-4 голоса
1 ответ
33 показа

Следует ли мне изучать математику на англоязычных сайтах?

Намерен стать дата-сатанистом, нашел что за бугром математика преподается лучше, да и выбор больше, например khan academy. Английский знаю отлично, сейчас учусь в 11 классе. Вопрос - будут ли у меня ...
Fischer Benkovscki's user avatar
-2 голоса
1 ответ
368 показов

Как в нейронную сеть засунуть данные из CSV файла? [закрыт]

Как в нейронную сеть засунуть данные из CSV файла?
DimaDima5182's user avatar
0 голосов
1 ответ
171 показ

Partial fit . Обучение по частям в Scikit,

Всем привет! Я обучаю ML модель на Scikit, обучение проводится на нескольких миллионах текстовых данных. После того, как я готовлю данные к обучению, чищу, нормализую и векторизую, их объем достигает ...
WizC's user avatar
  • 5
1 голос
1 ответ
953 показа

Как передавать объекты большого объема в Kafka

Сразу нужно отметить -- вопрос чисто академический!!! Очевидно, что брокеры сообщений не предназначены для таких вещей. Но это стоит обсудить, чтобы иметь более полное понимание всех возможностей. ...
Vasin Yuriy's user avatar
0 голосов
1 ответ
1k показов

Работа с большими объемами данных в Python

Сам вопрос: существует ли способ работы с большими объемами данных в питоне, если количество оперируемых строк примерно 1-1,5 миллиарда, а объем ОЗУ ограничен 16ГБ? Структура данных следующая: список ...
Сергей's user avatar
0 голосов
0 ответов
64 показа

Какую технологию или сервис можно использовать для обработки, аналитики больших данных на PHP?

Всем привет. Есть файл например xls или текстовый файл в котором 100 тыс. и более строк. Вопрос. Какую службу или технологию можно использовать чтобы например я этот файл передал допустим на сервер по ...
Igor Yuzkiv's user avatar
0 голосов
0 ответов
249 показов

Как оптимизировать mysql бд для уменьшения использования ОЗУ

В проекте используется бд mysql 8, которая лежит в контейнере docker. Столкнулся с трудностью нехватки ОЗУ при размере бд 6гб и примерно 2,5 млн записей. Ождается что будет больше и со временем будет ...
Pavel's user avatar
  • 307
1 голос
0 ответов
15 показов

Как грамотнее работать с фотографиями в маркетплейсе? PHP MYSQL

Как грамотнее хранить и выводить изображения товаров в маркетплейсе? Мои варианты: 1. При добавлении товара фотки загрузить на сервер, а ссылку изображения сохранить в базу, после чего её вывести 2....
DmitryDevelop's user avatar
0 голосов
0 ответов
50 показов

Как автоматически чистить RAM с помощью python?

В наличии 96GB оперативной памяти. Работаю с большими данными. Когда я запускаю инстансы на одном наборе данных, у меня используется примерно 60GB оперативки. Соответственно, когда я запускаю ...
ivan100096's user avatar
4 голоса
1 ответ
1k показов

Чтение и обработка огромных файлов CSV

Есть 2 файла в формате .csv, размеры 60 ГБ и 1 ГБ. Мне необходимо создать на их основе таблицу по ключам из обоих файлов (по типу WHERE и JOIN в SQL), а затем экспортировать опять в файл .csv. Как мне ...
Ratatuy 129's user avatar
1 голос
1 ответ
168 показов

Мульти-классификация по большому набору данных не может быть "dasked" и разделена, нормальная не может быть обработана

У меня огромный массив данных (550 МБ), кредитный клуб доступен здесь, и я должен предсказать класс оценок. Рамка массива данных: Unnamed: 0 Unnamed: 0.1 loan_amnt funded_amnt ...
Revolucion for Monica's user avatar
0 голосов
0 ответов
30 показов

Утилита для импорта данных в БД

Вот хотел написать утилиту для импорта большого кол-ва данных в БД (в идеале в разные БД, но для начала PostgreSQL), нужен импорт из текстовых файлов по RegExp именованными полями, где имена будут ...
user avatar
0 голосов
1 ответ
690 показов

Где хранить более 3 миллиардов строк данных?

Хочу сделать сервис для расшифровки md5, разных sha. Конечно нужно хранить очень очень много данных. Одна из программ из этого же разряда использует БД на 3 миллиарда строк. Как хранить такие данные,...
Павел Шеметов's user avatar
0 голосов
0 ответов
86 показов

Сравнение двух картинок

подскажите, пожалуйста, в чем проблема. Нахожу ORB дискрипторы двух картинок, а потом сравниваю их расстояния. Но моя программа работает не правильно . private static Mat countImage(String path) {...
Максим Савельев's user avatar
0 голосов
1 ответ
39 показов

Как считать текстовой файл, выгружаемый в форму, из JavaScript?

Мне нужно написать веб-приложение, которое обрабатывало бы CSV документы, порядком 20 миллионов строк на документ. Оно бы само по себе ещё ничего, но стандартный объект FileReader имеет только метод ...
Трипольский Пётр's user avatar
3 голоса
1 ответ
99 показов

Вопрос по обработке больших данных в Maria DB

Имеется задача обработки и аналитики логов. Объем логов относительно большой: за сутки около 50 миллионов строк, 20 ГБ в таблице СУБД MiriaDB, движок INNODB. Простейшие запросы, типа выгрузки топ-10 ...
kolan's user avatar
  • 33
0 голосов
0 ответов
50 показов

Как выбрать из большого лог-файла?

друзья. Есть компания, которая продаёт просмотры баннеров в Интернете. За всё время в логе накопилось 300 млн. записей. Лог состоит из следующих записей: id пользователя (хеш-код) дата просмотра В ...
Сергей Протасов's user avatar
1 голос
1 ответ
59 показов

Применение категорий для RFM анализа и повышения LTV

Вопрос очень общий. Но я пока не понимаю, в какую сторону двигаться. Я провожу анализ частоты, давности и размера денежной суммы покупок клиентов с целью повышения срока взаимодействия клиента с ...
Marija's user avatar
  • 67
0 голосов
0 ответов
2k показов

Как быстро проверить валидность ссылки

Занимаюсь предобработкой более 10 миллионов ссылок в Jupyter notebook на питоне, хотелось бы узнать наиболее быстродейственный способ проверить корректность ссылки. Из тех, что удалось попробовать: ...
Marija's user avatar
  • 67
2 голоса
1 ответ
1k показов

Как создать столбец на основе двух столбцов из двух разных DataFrame?

data = pd.read_table(io.StringIO(''' geo_id TimeStamp 1 1380052543 3 1375703582 34 1374479873 3 1374479892 '''), sep='\...
Marija's user avatar
  • 67
0 голосов
1 ответ
335 показов

HUE: Выгрузить выборку в файл, минуя браузер

В качестве DB использую Impala, в качестве клиента - HUE. Мне необходимо выгрузить 100кк строк в файл. Как это сделать? Можно было бы выгрузить сначала в Хью, а потом уже в файл. Но на 100кк оно ...
Antispam Antispam's user avatar
1 голос
1 ответ
2k показов

Фильтр по датам, groupby и сумма строк (Pandas, Python)

id date money 42662 29.01.2011 5.0 42662 27.02.2011 80.0 42662 28.07.2011 80.0 42662 27.07.2011 80.0 42662 26.07.2011 80.0 42662 25.07.2011 80.0 42662 24.07....
Ste_kd's user avatar
  • 179
0 голосов
1 ответ
142 показа

Построение гистограммы специального вида

Надо построить гистограмму специального вида. Знаю, что для этого есть функция hist, но не знаю точно, как её применить в данном случае. Данные представлены в следующем виде в файле: 3 0 0.25 0.35 ...
christ's user avatar
  • 1
0 голосов
2 ответа
413 показов

Нейросеть с обучением на json данных

Есть задача создать нейросеть с обучением на json данных. Подскажите плиз в какую сторону копать (тип нейронки, ссылки и т.п.). Пример данных на вход: { "a": [...], "b": { "result_0": 2, ...
Sublimer's user avatar
  • 349
1 голос
0 ответов
50 показов

Регрессия. Выполнить предсказание какой-либо целевой переменной

Возможно я спрошу глупость, не судите строго, я новичок. Предположим у нас есть данные и надо выполнить предсказание какой-либо целевой переменной. Не важно какая это переменная бинарная или цифровая, ...
user269134's user avatar
1 голос
0 ответов
60 показов

Бэггинг, Стекинг и Бустниг на нескольких машинах

Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях: все данные лежат на одной машине, но в ...
hedgehogues's user avatar
  • 9,261
7 голосов
0 ответов
193 показа

Что есть big-data? [закрыт]

Много где видел такое понятие, как big-data. Только вот не совсем понятно, насколько data, с которой ты работаешь, должна быть big, что бы её можно было считать big-data? Объем ли это всего хранилища, ...
den-codeman's user avatar
12 голосов
2 ответа
976 показов

Как эффективно группировать строки?

Нужное решить такую задачу: Разбить множество уникальных строк на непересекающиеся группы по следующему критерию: Если две строчки имеют совпадения непустых значений в одной или более ...
Max Lich's user avatar
  • 462
1 голос
1 ответ
138 показов

Memory error в Numpy при попытке реализовать "One-Hot-Encoding"

import numpy as np import codecs fileObj = codecs.open("fragments.txt", "r", "utf_8_sig") text = fileObj.read() fileObj.close() strings = text.split('\n') char_dictionary = np.load('...
Aliaksandr Nazarau's user avatar
2 голоса
0 ответов
48 показов

Как лучше реализовать доступ к одинаковым данным в реальном времени

Добрый день. Есть десяток скриптов, на разных серверах, которые ежеминутно генерируют файл динамичный по содержанию, но примерно одинаковый по структуре. Структура файла не стандартная (не XML, Json),...
Evgeniy A's user avatar
  • 424
4 голоса
3 ответа
2k показов

FPR (False Positive Rate), ложные положительные срабатывания

Подскажите, пожалуйста, как посчитать число ложных положительных срабатываний (FPR) относительно третьего класса для следующей матрицы ошибок (confusion matrix):
Андрей's user avatar
0 голосов
0 ответов
418 показов

Генератор СЛАУ помогите найти

Для лабораторной работы требуется протестировать программу на больших данных. СЛАУ 100 размерность и даже 1000. Вопрос где взять такие готовые СЛАУ или мб в математических пакетах есть функции их ...
beatsspam's user avatar
  • 313
2 голоса
0 ответов
191 показ

Возможно ли написать такой SQL запрос, в котором значения зависят друг от друга в одной таблице?

Возможно ли написать такой SQL запрос, в котором значение из одной записи таблицы зависит от другой (одной или нескольких) записи той же самой таблицы? Используется только одна таблица. Пример задачи: ...
Николай's user avatar