Вопросы с меткой [hadoop]

Apache Hadoop - фреймворк с открытым кодом для разработки распределенных приложений хранения и обработки данных.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
8 показов

Управление ресурсами в HiveOnTez

У меня есть хадуп и hiveOnTez - я пользователь (не админ, не сопровожденец и тд). Подключаюсь к хайву через dbeaver. Для технической учетки под которой я хожу выделено 8 рам и 4 ядра, из них 4 рам и ...
Niexes's user avatar
  • 1
0 голосов
0 ответов
63 показа

Работа с данными Greenplum через spark без их копирования

Столкнулась со следующей проблемой: у меня есть проект, который работает на стороне клиента с данными в hadoop (считывает данные и считает какие-то параметры по ним). Хотелось бы с минимальными ...
Мария's user avatar
0 голосов
0 ответов
40 показов

Spark падает сразу после сообщения об ожидании выделения ресурсов

Появилась задача пофиксить баг на новой работе, пока ещё во все процессы не вник и встрял с этой задачей. Airflow использует LivySessionOperator для того чтобы запустить PySpark внутри livy-сессии ...
Андрей Чевозёров's user avatar
0 голосов
0 ответов
33 показа

Как подключиться через airflow к hdfs, развернутой в docker?

Я развернул этот проект https://github.com/Marcel-Jan/docker-hadoop-spark Выполнил инструкцию "Quick Start Spark (PySpark)" в readme и получил датафрейм, все как надо Мне нужно сделать тоже ...
Марсель Абдуллин's user avatar
0 голосов
0 ответов
20 показов

Airflow + Spark-submit: с какого хоста будет сетевой доступ?

У меня есть jar в котором испольуется библиотека Apache Commons Net. При помощи этой библиотеки я делаю обращение к ftps и скачиваю файлы. Этот jar я запускаю через Airflow с использованием spark-...
Alexander Lopatin's user avatar
0 голосов
0 ответов
26 показов

Передача имени класса для вызова в рантайме

Работаю на проекте на котором не могу вносить фундаментальные архитектурные правки. Код проекта написан так, что приходится создавать однотипные структуры, подход такой: Скопировал код -> поменял ...
Zainn's user avatar
  • 1
0 голосов
1 ответ
48 показов

От чего зависит отправит ли Oracle join в Impala или будет джойнить у себя?

Ситуация: Есть запрос с двумя джойнами: SELECT * FROM VIEW_A A JOIN VIEW_B B ON A.FIELD_1 = B.FIELD_1 JOIN VIEW_C C ON C.FIELD_2 = A.FIELD_2 AND C.FIELD_3 = B.FIELD_3 Каждое ...
Виталий Яндулов's user avatar
0 голосов
1 ответ
41 показ

Server IPC version 9 cannot communicate with client version 4

Возникла проблема при подключении к hdfs через java. Кажется какая то ошибка версий, пробовала разные варианты решения ничего не помогло. Код программы: String url = "hdfs://c7301.ambari.apache....
gingerose's user avatar
2 голоса
0 ответов
42 показа

Java MapReduce doesn't work

Не понимаю почему не импортируются библиотеки Hadoop. Classpath установил вроде правильно, но всё равно ошибки.
Pempium4's user avatar
0 голосов
1 ответ
23 показа

Проблема при добавлении данных в HBase (python)

Помогите, пожалуйста, разобраться. Вот такой код для mapper.py для работы с HBase: #!/opt/anaconda/envs/bd9/bin/python import sys import happybase def db_conn(): try: connection = ...
Viktor Andriichuk's user avatar
0 голосов
1 ответ
12 показов

Проблема при добавлении данных в HBase

Всем привет. Подскажите, пожалуйста, при попытке покласть данные в HBase получаю ошибку: ValueError: invalid literal for int() with base 10: '1422734399.7071422734399.7071422734399.7071422734399....
Viktor Andriichuk's user avatar
1 голос
1 ответ
85 показов

Почему Spark долго вытаскивает данные из базы

Я использую hadoop со spark sql. Обычно когда я вытаскиваю 1000 колон, то это занимает 1-2 сек, но когда больше 2 тыс,то spark зависает и подгружает данные через мин spark-submit --deploy-mode ...
Sanzhar Sarsekov's user avatar
1 голос
0 ответов
26 показов

Flume. Sink kite.Dataset, kerberos hdfs

История следующая: Есть флюмовый конфиг, в нем синк пишет в hdfs. Hadoop с kerberos. При первом запуске флюма всё подключается и работает, но как только тикет истекает он его не продливает ...
boniq's user avatar
  • 21
0 голосов
1 ответ
441 показ

Размер дискового пространства на кластере hadoop hdfs

Подскажите, пож-та, Каким образом я могу определить размера дискового пространства как общего , так и свободного на кластере hadoop (hdfs) ?
user295038's user avatar
0 голосов
1 ответ
35 показов

общий вопрос по Hadoop и MapReduce (простите)

Появилась необходимость архитектурного совета по вопросу вычислений через MapReduce. Вкратце: Есть набор key-value данных объемом порядка 100 ГБ, нужно быстро (в идеале – почти на лету) ...
Jiraff537's user avatar
  • 369
3 голоса
1 ответ
78 показов

Запустить shell команду в Scala

Надо выполнить консольную команду для получения размера файла: hadoop fs -du some/path и сохранить результат в переменную. Как это сделать в Scala?
ks_on_v's user avatar
  • 1,197
0 голосов
1 ответ
261 показ

Как вычитать с помощью спарка полный топик из кафки в batch mode

В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
Андрей Козицкий's user avatar
0 голосов
1 ответ
168 показов

Возможно ли скрипт Python запустить в Hadoop, не используя парадигму, MapReduce?

Написал скрипт, который выполняет тематическую классификацию текстов по обучающей выборке fetch_20newsgroups с использованием библиотек sklearn. Входящие тексты, которые необходимо классифицировать, ...
Клим Маслов's user avatar
0 голосов
1 ответ
28 показов

Создание роли не влияет на доступность таблиц для пользователя

Ищу разрешение проблемы (или хотя бы людей, столкнувшихся с подобной проблемой). Есть Impala с Sentry, интерфейс через Hue, "нужно создать пользователя и выдать ему права на селект из определенной ...
Antispam Antispam's user avatar
0 голосов
1 ответ
70 показов

HDFS: параллельная запись в каталог?

Принцип write-once-read-many,на котором построена HDFS,не позволяет нескольким процессам/клиентам одновременно писать в один файл. А как насчет каталога? Могут несколько процессов одновременно ...
Alex Smith's user avatar
0 голосов
1 ответ
25 показов

Pig-script не записывает данные в хадуп

Вопрос обозначен в заголовке. Причина не ясна. Привожу пример скрипта: SET mapred.job.queue.name 'data_mining'; SET mapreduce.map.failures.maxpercent 5; raw = LOAD 'hbase://xxx' USING org.apache.pig....
hedgehogues's user avatar
  • 9,351
0 голосов
1 ответ
83 показа

Есть ли смысл использовать Hadoop/mapreduce на одном компьютере

Задаюсь вопросом есть ли смысл использовать Hadoop/mapreduce на одном компьютере. Нужно посылать запросы на сервер, который обрабатывает их за 0.2 секунды, но само общение с сервером при обработке ...
Madina Bektayeva's user avatar
1 голос
0 ответов
61 показ

Бэггинг, Стекинг и Бустниг на нескольких машинах

Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях: все данные лежат на одной машине, но в ...
hedgehogues's user avatar
  • 9,351
0 голосов
1 ответ
639 показов

Как разместить элементы массива в отдельной строке в HIVE?

У меня есть таблица струтктура таблицы такова: Name - string Contract - string Dates - array of string Пример записи таков Andrew|SEC2185|["20180302","20180305"] Anton |SEC2185|["20181212","...
Artem Reshetnikov's user avatar
0 голосов
0 ответов
97 показов

Разделение значние ячейки в строке через sql запрос

Таков вопрос. Я подозреваю, что это относится к функциям pivot/unpivot, но все же не уверен. Имеем входную таблицу со следующей структурой: id - int name - string date - decimal. К сожалению ...
Artem Reshetnikov's user avatar
1 голос
0 ответов
98 показов

Создание функций в HIVE

Через sql запрос в HIVE я получаю некоторое значение трех полей. 1 поле - название функции 2 поле - название поля в другой таблице, 3 поле - также название поля в другой таблицы. К примеру SUM, ...
Artem Reshetnikov's user avatar
2 голоса
1 ответ
268 показов

Объединение большого числа файлов в Hadoop

В компании решили реорганизовать систему хранения и обработки данных. Суть вопроса: существует огромное количество машин, которые генерируют каждый день несколько файлов небольшого размера. Но в ...
Artem Reshetnikov's user avatar
1 голос
1 ответ
278 показов

Hadoop (HDFS) - взаимодействие с данными через Java

Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода: static String hdfs = "hdfs://URL:PORT"; static String pathToFile = "/folder/subfolder/filename.txt"; ...
Igor's user avatar
  • 13
1 голос
1 ответ
2k показов

Подзапрос select и join

Пишу запрос, суть которого в селекте 2 полей из одной таблицы, и джоин с полем другой таблицы. Но выпадает ошибка: Error while compiling statement: failed: parseexception line 3:0 cannot ...
Valeriy Shish's user avatar
3 голоса
1 ответ
313 показов

Подключение к HIVE Hadoop

Есть бд которая находится на сервере обращаюсь туда через браузер типа http://00.00.00.000:0000 хотелось бы подключиться к Hive Hadoop через .net c#. Пробовал через Microsoft.Hadoop.Hive; var db = ...
220VOLT's user avatar
  • 123
2 голоса
1 ответ
455 показов

Как запустить Spark?

Здраствуйте. Пользуюсь Hortonworks sandbox 2.6, и возникла проблема с запуском jar-ников написаных для spark2. До этого пользовался версией 2.3.2 и там была файловая система разделена на локальную и ...
Юлий Щербак's user avatar
2 голоса
0 ответов
215 показов

Кластер hadoop на докер контейнерах

Нужен кластер hadoop на докер контейнерах, которые расположены на разных хостах. Swarm потянуть не получиться. Можно ли это реализовать без swarm мода?! Указал порты для контейнера Но потом, когда ...
Evgeny's user avatar
  • 21
1 голос
0 ответов
282 показа

Использование подзапросов в Hive

Ошибка Error while compiling statement: FAILED: ParseException line 18:0 Failed to recognize predicate 'select'. Failed rule: 'queryStatementExpression' in subquery source" при выполнении: ...
Dmitriy Solodovnik's user avatar
1 голос
1 ответ
70 показов

При попытке запуска Hive получаю ошибку: "java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-alpha1"

Здравствуйте. Под Ubuntu 16.10 установлен Hadoop Hadoop 3.0.0-alpha1 Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3 Compiled by ...
Nikolay Baranenko's user avatar
1 голос
1 ответ
319 показов

Количество файлов в одном каталоге в HDFS

Сколько файлов можно безболезненно держать в одном каталоге в HDFS? И как вообще они устроены? Я так понимаю, они виртуальны и существуют только для пользователя?
Андрей Колычев's user avatar
2 голоса
1 ответ
117 показов

Разработка MapReduce приложения для выделения уникальных пользователей

Есть большой входной файл (10^12 строк) со следующим форматом: Имя|Фамилия|Дата Рождения Пример: Yana|Petrova|21.01.1990 Kseniya|Ivanova|22.02.1990 Kseniya|Ivvanova|22.02.1990 Jana|Petrova|21.01....
encore137's user avatar
4 голоса
1 ответ
305 показов

saveToCassandra() : IllegalArgumentException: Multiple constructors with the same number of parameters not allowed

Что я делаю не так? Здесь выдаёт ошибку при запуске: textfile.saveToCassandra("logs", "logstable") Весь код: object App extends java.io.Serializable { final val APP_NAME = "SparkBatchTest" ...
sinedskid's user avatar
  • 315
0 голосов
1 ответ
37 показов

Как подправить xml файл координатора в hadoop?

Вопрос в том, как запускать координатор только тогда, когда в определённой (/user/task/) папке существует, например, файл под именем "_SUCCESS"? Содержание coordinator.xml следующее: <...
sinedskid's user avatar
  • 315
2 голоса
1 ответ
132 показа

Как прописать путь к файлу в Pig?

Путь к файлу создан с помощью bash: hdfs dfs -mkdir -p user/result/`date +%Y`/`date +%m`/`date +%d` файл будет находится в последней папке: hdfs dfs -put table.csv user/result/`date +%Y`/`date +%m`/...
sinedskid's user avatar
  • 315
0 голосов
1 ответ
39 показов

Как задать input файл для oozie workflow?

Код на python. Действия следующие: считываем таблицу и выводим её на экран import csv import sys input = sys.stdin for row in csv.reader(input): print row Сама таблица находится на hdfs, путь: ...
sinedskid's user avatar
  • 315
1 голос
1 ответ
282 показа

Java.lang.NullPointerException в Map при чтении и записи в Hive

Добрый день! Возникает следующая ошибка, не могу понять причину. Проверила данные в таблице dmg_bindings, они ненулевые, партиция также присутствует. Код Driver: import org.apache.hadoop.conf....
marinarazdvatri's user avatar
1 голос
2 ответа
2k показов

Лучший способ начать с Hadoop?

Нужно подобрать связку: книга - инсталляция, чтобы начать. То есть иметь свой кластер для игр. В качестве машины имею свой ноутбук Windows 7 32bit, на нем VirtualBox Debian 7. Вопросы: Насколько ...
KutaBeach's user avatar
  • 654
1 голос
2 ответа
632 показа

Как работает Cassandra и Hadoop?

Собственно сабж! Как я понимаю в теории по мануалам, конфиги кассандры не трогаются, в хадупе указывается нода в кассандре? или я чтото пропустил? и еще, после интеграции -- как оно вообще работает? ...
thunder's user avatar
  • 7,418
1 голос
1 ответ
357 показов

Регулярная генерация статистики на основе последних данных

Есть следующая задача, имеется набор данных в MongoDB которые туда постоянно пишутся, необходимо регулярно генерировать статистику на основе последних данных, а результат обновлять в MySQL. Сейчас ...
user avatar
0 голосов
1 ответ
377 показов

Проблема с MapReduce

Пишу программу, используя Hadoop MapReduce. Что-то совсем запутался с тем, как написать методы map и reduce, так, чтобы они работать со следующей задачей: Входной файл имеет следующий вид: 1 ...
Stas0n's user avatar
  • 2,033