Вопросы с меткой [hadoop]
Apache Hadoop - фреймворк с открытым кодом для разработки распределенных приложений хранения и обработки данных.
45
вопросов
0
голосов
0
ответов
8
показов
Управление ресурсами в HiveOnTez
У меня есть хадуп и hiveOnTez - я пользователь (не админ, не сопровожденец и тд).
Подключаюсь к хайву через dbeaver.
Для технической учетки под которой я хожу выделено 8 рам и 4 ядра, из них 4 рам и ...
0
голосов
0
ответов
63
показа
Работа с данными Greenplum через spark без их копирования
Столкнулась со следующей проблемой: у меня есть проект, который работает на стороне клиента с данными в hadoop (считывает данные и считает какие-то параметры по ним). Хотелось бы с минимальными ...
0
голосов
0
ответов
40
показов
Spark падает сразу после сообщения об ожидании выделения ресурсов
Появилась задача пофиксить баг на новой работе, пока ещё во все процессы не вник и встрял с этой задачей.
Airflow использует LivySessionOperator для того чтобы запустить PySpark внутри livy-сессии ...
0
голосов
0
ответов
33
показа
Как подключиться через airflow к hdfs, развернутой в docker?
Я развернул этот проект https://github.com/Marcel-Jan/docker-hadoop-spark
Выполнил инструкцию "Quick Start Spark (PySpark)" в readme и получил датафрейм, все как надо
Мне нужно сделать тоже ...
0
голосов
0
ответов
20
показов
Airflow + Spark-submit: с какого хоста будет сетевой доступ?
У меня есть jar в котором испольуется библиотека Apache Commons Net. При помощи этой библиотеки я делаю обращение к ftps и скачиваю файлы.
Этот jar я запускаю через Airflow с использованием spark-...
0
голосов
0
ответов
26
показов
Передача имени класса для вызова в рантайме
Работаю на проекте на котором не могу вносить фундаментальные архитектурные правки.
Код проекта написан так, что приходится создавать однотипные структуры, подход такой:
Скопировал код -> поменял ...
0
голосов
1
ответ
48
показов
От чего зависит отправит ли Oracle join в Impala или будет джойнить у себя?
Ситуация:
Есть запрос с двумя джойнами:
SELECT *
FROM VIEW_A A
JOIN VIEW_B B
ON A.FIELD_1 = B.FIELD_1
JOIN VIEW_C C
ON C.FIELD_2 = A.FIELD_2
AND C.FIELD_3 = B.FIELD_3
Каждое ...
0
голосов
1
ответ
41
показ
Server IPC version 9 cannot communicate with client version 4
Возникла проблема при подключении к hdfs через java.
Кажется какая то ошибка версий, пробовала разные варианты решения ничего не помогло.
Код программы:
String url = "hdfs://c7301.ambari.apache....
2
голоса
0
ответов
42
показа
Java MapReduce doesn't work
Не понимаю почему не импортируются библиотеки Hadoop. Classpath установил вроде правильно, но всё равно ошибки.
0
голосов
1
ответ
23
показа
Проблема при добавлении данных в HBase (python)
Помогите, пожалуйста, разобраться.
Вот такой код для mapper.py для работы с HBase:
#!/opt/anaconda/envs/bd9/bin/python
import sys
import happybase
def db_conn():
try:
connection = ...
0
голосов
1
ответ
12
показов
Проблема при добавлении данных в HBase
Всем привет.
Подскажите, пожалуйста, при попытке покласть данные в HBase получаю ошибку:
ValueError: invalid literal for int() with base 10: '1422734399.7071422734399.7071422734399.7071422734399....
1
голос
1
ответ
85
показов
Почему Spark долго вытаскивает данные из базы
Я использую hadoop со spark sql. Обычно когда я вытаскиваю 1000 колон, то это занимает 1-2 сек, но когда больше 2 тыс,то spark зависает и подгружает данные через мин
spark-submit --deploy-mode ...
1
голос
0
ответов
26
показов
Flume. Sink kite.Dataset, kerberos hdfs
История следующая:
Есть флюмовый конфиг, в нем синк пишет в hdfs. Hadoop с kerberos.
При первом запуске флюма всё подключается и работает, но как только тикет истекает он его не продливает ...
0
голосов
1
ответ
441
показ
Размер дискового пространства на кластере hadoop hdfs
Подскажите, пож-та, Каким образом я могу определить размера дискового пространства как общего , так и свободного на кластере hadoop (hdfs) ?
0
голосов
1
ответ
35
показов
общий вопрос по Hadoop и MapReduce (простите)
Появилась необходимость архитектурного совета по вопросу вычислений через MapReduce.
Вкратце:
Есть набор key-value данных объемом порядка 100 ГБ, нужно быстро (в идеале – почти на лету) ...
3
голоса
1
ответ
78
показов
Запустить shell команду в Scala
Надо выполнить консольную команду для получения размера файла:
hadoop fs -du some/path
и сохранить результат в переменную.
Как это сделать в Scala?
0
голосов
1
ответ
261
показ
Как вычитать с помощью спарка полный топик из кафки в batch mode
В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
0
голосов
1
ответ
168
показов
Возможно ли скрипт Python запустить в Hadoop, не используя парадигму, MapReduce?
Написал скрипт, который выполняет тематическую классификацию текстов по обучающей выборке fetch_20newsgroups с использованием библиотек sklearn. Входящие тексты, которые необходимо классифицировать, ...
0
голосов
1
ответ
28
показов
Создание роли не влияет на доступность таблиц для пользователя
Ищу разрешение проблемы (или хотя бы людей, столкнувшихся с подобной проблемой).
Есть Impala с Sentry, интерфейс через Hue, "нужно создать пользователя и выдать ему права на селект из определенной ...
0
голосов
1
ответ
70
показов
HDFS: параллельная запись в каталог?
Принцип write-once-read-many,на котором построена HDFS,не позволяет нескольким процессам/клиентам одновременно писать в один файл. А как насчет каталога? Могут несколько процессов одновременно ...
0
голосов
1
ответ
25
показов
Pig-script не записывает данные в хадуп
Вопрос обозначен в заголовке. Причина не ясна. Привожу пример скрипта:
SET mapred.job.queue.name 'data_mining';
SET mapreduce.map.failures.maxpercent 5;
raw = LOAD 'hbase://xxx' USING org.apache.pig....
0
голосов
1
ответ
83
показа
Есть ли смысл использовать Hadoop/mapreduce на одном компьютере
Задаюсь вопросом есть ли смысл использовать Hadoop/mapreduce на одном компьютере. Нужно посылать запросы на сервер, который обрабатывает их за 0.2 секунды, но само общение с сервером при обработке ...
1
голос
0
ответов
61
показ
Бэггинг, Стекинг и Бустниг на нескольких машинах
Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях:
все данные лежат на одной машине, но в ...
0
голосов
1
ответ
639
показов
Как разместить элементы массива в отдельной строке в HIVE?
У меня есть таблица
струтктура таблицы такова:
Name - string
Contract - string
Dates - array of string
Пример записи таков
Andrew|SEC2185|["20180302","20180305"]
Anton |SEC2185|["20181212","...
0
голосов
0
ответов
97
показов
Разделение значние ячейки в строке через sql запрос
Таков вопрос. Я подозреваю, что это относится к функциям pivot/unpivot, но все же не уверен. Имеем входную таблицу со следующей структурой:
id - int
name - string
date - decimal.
К сожалению ...
1
голос
0
ответов
98
показов
Создание функций в HIVE
Через sql запрос в HIVE я получаю некоторое значение трех полей.
1 поле - название функции
2 поле - название поля в другой таблице,
3 поле - также название поля в другой таблицы.
К примеру SUM, ...
2
голоса
1
ответ
268
показов
Объединение большого числа файлов в Hadoop
В компании решили реорганизовать систему хранения и обработки данных.
Суть вопроса: существует огромное количество машин, которые генерируют каждый день несколько файлов небольшого размера. Но в ...
1
голос
1
ответ
278
показов
Hadoop (HDFS) - взаимодействие с данными через Java
Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:
static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";
...
1
голос
1
ответ
2k
показов
Подзапрос select и join
Пишу запрос, суть которого в селекте 2 полей из одной таблицы, и джоин с полем другой таблицы.
Но выпадает ошибка:
Error while compiling statement: failed: parseexception line 3:0
cannot ...
3
голоса
1
ответ
313
показов
Подключение к HIVE Hadoop
Есть бд которая находится на сервере обращаюсь туда через браузер типа http://00.00.00.000:0000 хотелось бы подключиться к Hive Hadoop через .net c#.
Пробовал через Microsoft.Hadoop.Hive;
var db = ...
2
голоса
1
ответ
455
показов
Как запустить Spark?
Здраствуйте. Пользуюсь Hortonworks sandbox 2.6, и возникла проблема с запуском jar-ников написаных для spark2. До этого пользовался версией 2.3.2 и там была файловая система разделена на локальную и ...
2
голоса
0
ответов
215
показов
Кластер hadoop на докер контейнерах
Нужен кластер hadoop на докер контейнерах, которые расположены на разных хостах. Swarm потянуть не получиться. Можно ли это реализовать без swarm мода?!
Указал порты для контейнера
Но потом, когда ...
1
голос
0
ответов
282
показа
Использование подзапросов в Hive
Ошибка
Error while compiling statement: FAILED: ParseException line 18:0 Failed to recognize predicate 'select'. Failed rule: 'queryStatementExpression' in subquery source"
при выполнении:
...
1
голос
1
ответ
70
показов
При попытке запуска Hive получаю ошибку: "java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-alpha1"
Здравствуйте.
Под Ubuntu 16.10 установлен Hadoop
Hadoop 3.0.0-alpha1
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3
Compiled by ...
1
голос
1
ответ
319
показов
Количество файлов в одном каталоге в HDFS
Сколько файлов можно безболезненно держать в одном каталоге в HDFS?
И как вообще они устроены? Я так понимаю, они виртуальны и существуют только для пользователя?
2
голоса
1
ответ
117
показов
Разработка MapReduce приложения для выделения уникальных пользователей
Есть большой входной файл (10^12 строк) со следующим форматом:
Имя|Фамилия|Дата Рождения
Пример:
Yana|Petrova|21.01.1990
Kseniya|Ivanova|22.02.1990
Kseniya|Ivvanova|22.02.1990
Jana|Petrova|21.01....
4
голоса
1
ответ
305
показов
saveToCassandra() : IllegalArgumentException: Multiple constructors with the same number of parameters not allowed
Что я делаю не так? Здесь выдаёт ошибку при запуске:
textfile.saveToCassandra("logs", "logstable")
Весь код:
object App extends java.io.Serializable {
final val APP_NAME = "SparkBatchTest"
...
0
голосов
1
ответ
37
показов
Как подправить xml файл координатора в hadoop?
Вопрос в том, как запускать координатор только тогда, когда в определённой (/user/task/) папке существует, например, файл под именем "_SUCCESS"? Содержание coordinator.xml следующее:
<...
2
голоса
1
ответ
132
показа
Как прописать путь к файлу в Pig?
Путь к файлу создан с помощью bash:
hdfs dfs -mkdir -p user/result/`date +%Y`/`date +%m`/`date +%d`
файл будет находится в последней папке:
hdfs dfs -put table.csv user/result/`date +%Y`/`date +%m`/...
0
голосов
1
ответ
39
показов
Как задать input файл для oozie workflow?
Код на python. Действия следующие: считываем таблицу и выводим её на экран
import csv
import sys
input = sys.stdin
for row in csv.reader(input):
print row
Сама таблица находится на hdfs, путь: ...
1
голос
1
ответ
282
показа
Java.lang.NullPointerException в Map при чтении и записи в Hive
Добрый день! Возникает следующая ошибка, не могу понять причину. Проверила данные в таблице dmg_bindings, они ненулевые, партиция также присутствует.
Код Driver:
import org.apache.hadoop.conf....
1
голос
2
ответа
2k
показов
Лучший способ начать с Hadoop?
Нужно подобрать связку: книга - инсталляция, чтобы начать. То есть иметь свой кластер для игр.
В качестве машины имею свой ноутбук Windows 7 32bit, на нем VirtualBox Debian 7.
Вопросы:
Насколько ...
1
голос
2
ответа
632
показа
Как работает Cassandra и Hadoop?
Собственно сабж!
Как я понимаю в теории по мануалам, конфиги кассандры не трогаются, в хадупе указывается нода в кассандре? или я чтото пропустил?
и еще, после интеграции -- как оно вообще работает? ...
1
голос
1
ответ
357
показов
Регулярная генерация статистики на основе последних данных
Есть следующая задача, имеется набор данных в MongoDB которые туда постоянно пишутся, необходимо регулярно генерировать статистику на основе последних данных, а результат обновлять в MySQL. Сейчас ...
0
голосов
1
ответ
377
показов
Проблема с MapReduce
Пишу программу, используя Hadoop MapReduce.
Что-то совсем запутался с тем, как написать методы map и reduce, так, чтобы они работать со следующей задачей:
Входной файл имеет следующий вид:
1 ...