Вопросы с меткой [hadoop]
Apache Hadoop - фреймворк с открытым кодом для разработки распределенных приложений хранения и обработки данных.
43
вопроса
0
голосов
0ответов
14 показов
Как в Impala SQL (Hadoop) добавить вычисляемое поле в таблицу?
Есть таблица tab1 с полями Col1 и Col2. Я создал ещё одно поле Col3:
ALTER TABLE tab1 ADD COLUMNS (Col3 INT);
Как мне заполнить Col3 значениями, вычисленными по формуле: если Col1 between 1 and 12, ...
0
голосов
0ответов
10 показов
Server IPC version 9 cannot communicate with client version 4
Возникла проблема при подключении к hdfs через java. Кажется какая то ошибка версий, пробовала разные варианты решения ничего не помогло.
Код программы:
String url = "hdfs://c7301.ambari.apache....
0
голосов
0ответов
9 показов
lambda-архитектура
Я прочитал две статьи не совсем понял, зачем два очень похожих слоя требуются.
Каково назначение сервисного слоя и speed-слоя в lambda-архитектуре?
В каких кейсах каждый из них используется?
Имеет ли ...
2
голоса
0ответов
29 показов
Java MapReduce doesn't work
Не понимаю почему не импортируются библиотеки Hadoop. Classpath установил вроде правильно, но всё равно ошибки.
0
голосов
0ответов
17 показов
Проблема с MapReduce в среде Hadoop
Осваиваю вычислительную парадигму MapReduce в среде Hadoop. Я создал два файла Python, содержащие трансформатор и редуктор.
with open('mapper_hadoop.py', 'w') as fh:
fh.write("""#!/...
0
голосов
1ответ
14 показов
Проблема при добавлении данных в HBase (python)
Помогите, пожалуйста, разобраться.
Вот такой код для mapper.py для работы с HBase:
#!/opt/anaconda/envs/bd9/bin/python
import sys
import happybase
def db_conn():
try:
connection = ...
0
голосов
1ответ
6 показов
Проблема при добавлении данных в HBase
Всем привет.
Подскажите, пожалуйста, при попытке покласть данные в HBase получаю ошибку:
ValueError: invalid literal for int() with base 10: '1422734399.7071422734399.7071422734399.7071422734399....
0
голосов
0ответов
14 показов
Ошибка при запуске spark-submit как yarn и cluster
Проект нормально открывается только при deploy-mode client, но при переключении на cluster, во время деплоя проекта выходит ошибка
2020-10-16 04:37:56,600 INFO yarn.Client: Application report for ...
1
голос
1ответ
18 показов
Почему Spark долго вытаскивает данные из базы
Я использую hadoop со spark sql. Обычно когда я вытаскиваю 1000 колон, то это занимает 1-2 сек, но когда больше 2 тыс,то spark зависает и подгружает данные через мин
spark-submit --deploy-mode ...
0
голосов
0ответов
37 показов
Ошибка неожиданных аргументов, появляющаяся в командной строке при запуске задания mapreduce (MRjob) с использованием python
Я новичок. Я пытаюсь запустить простой map-reduce работа с использованием python 3.8 с участием csv на местном Hadoop cluster (Hadoop версия 3.2.1). Я сейчас использую Windows 10 (64-bit). Цель того, ...
1
голос
0ответов
19 показов
Flume. Sink kite.Dataset, kerberos hdfs
История следующая:
Есть флюмовый конфиг, в нем синк пишет в hdfs. Hadoop с kerberos.
При первом запуске флюма всё подключается и работает, но как только тикет истекает он его не продливает ...
0
голосов
1ответ
17 показов
Размер дискового пространства на кластере hadoop hdfs
Подскажите, пож-та, Каким образом я могу определить размера дискового пространства как общего , так и свободного на кластере hadoop (hdfs) ?
0
голосов
1ответ
25 показов
общий вопрос по Hadoop и MapReduce (простите)
Появилась необходимость архитектурного совета по вопросу вычислений через MapReduce.
Вкратце:
Есть набор key-value данных объемом порядка 100 ГБ, нужно быстро (в идеале – почти на лету) ...
3
голоса
1ответ
53 показа
Запустить shell команду в Scala
Надо выполнить консольную команду для получения размера файла:
hadoop fs -du some/path
и сохранить результат в переменную.
Как это сделать в Scala?
0
голосов
1ответ
32 показа
Как вычитать с помощью спарка полный топик из кафки в batch mode
В гугле на тему spark/kafka попадаются примеры со стриммингом, как я могу в batch моде вычитать данные из кафки используя spark(любое api java/scala).
0
голосов
1ответ
101 показ
Возможно ли скрипт Python запустить в Hadoop, не используя парадигму, MapReduce?
Написал скрипт, который выполняет тематическую классификацию текстов по обучающей выборке fetch_20newsgroups с использованием библиотек sklearn. Входящие тексты, которые необходимо классифицировать, ...
0
голосов
1ответ
19 показов
Создание роли не влияет на доступность таблиц для пользователя
Ищу разрешение проблемы (или хотя бы людей, столкнувшихся с подобной проблемой).
Есть Impala с Sentry, интерфейс через Hue, "нужно создать пользователя и выдать ему права на селект из определенной ...
0
голосов
1ответ
30 показов
HDFS: параллельная запись в каталог?
Принцип write-once-read-many,на котором построена HDFS,не позволяет нескольким процессам/клиентам одновременно писать в один файл. А как насчет каталога? Могут несколько процессов одновременно ...
0
голосов
1ответ
19 показов
Pig-script не записывает данные в хадуп
Вопрос обозначен в заголовке. Причина не ясна. Привожу пример скрипта:
SET mapred.job.queue.name 'data_mining';
SET mapreduce.map.failures.maxpercent 5;
raw = LOAD 'hbase://xxx' USING org.apache.pig....
0
голосов
1ответ
55 показов
Есть ли смысл использовать Hadoop/mapreduce на одном компьютере
Задаюсь вопросом есть ли смысл использовать Hadoop/mapreduce на одном компьютере. Нужно посылать запросы на сервер, который обрабатывает их за 0.2 секунды, но само общение с сервером при обработке ...
1
голос
0ответов
52 показа
Бэггинг, Стекинг и Бустниг на нескольких машинах
Подскажите, как организовать, например, бэггиг (или, возможно, бустинг) на нескольких машинах? Хотелось бы понять как это делают в двух сценариях:
все данные лежат на одной машине, но в ...
0
голосов
1ответ
129 показов
Как разместить элементы массива в отдельной строке в HIVE?
У меня есть таблица
струтктура таблицы такова:
Name - string
Contract - string
Dates - array of string
Пример записи таков
Andrew|SEC2185|["20180302","20180305"]
Anton |SEC2185|["20181212","...
0
голосов
0ответов
54 показа
Разделение значние ячейки в строке через sql запрос
Таков вопрос. Я подозреваю, что это относится к функциям pivot/unpivot, но все же не уверен. Имеем входную таблицу со следующей структурой:
id - int
name - string
date - decimal.
К сожалению ...
1
голос
0ответов
57 показов
Создание функций в HIVE
Через sql запрос в HIVE я получаю некоторое значение трех полей.
1 поле - название функции
2 поле - название поля в другой таблице,
3 поле - также название поля в другой таблицы.
К примеру SUM, ...
2
голоса
1ответ
121 показ
Объединение большого числа файлов в Hadoop
В компании решили реорганизовать систему хранения и обработки данных.
Суть вопроса: существует огромное количество машин, которые генерируют каждый день несколько файлов небольшого размера. Но в ...
1
голос
1ответ
162 показа
Hadoop (HDFS) - взаимодействие с данными через Java
Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:
static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";
...
1
голос
1ответ
478 показов
Подзапрос select и join
Пишу запрос, суть которого в селекте 2 полей из одной таблицы, и джоин с полем другой таблицы.
Но выпадает ошибка:
Error while compiling statement: failed: parseexception line 3:0
cannot ...
3
голоса
1ответ
226 показов
Подключение к HIVE Hadoop
Есть бд которая находится на сервере обращаюсь туда через браузер типа http://00.00.00.000:0000 хотелось бы подключиться к Hive Hadoop через .net c#.
Пробовал через Microsoft.Hadoop.Hive;
var db = ...
2
голоса
1ответ
317 показов
Как запустить Spark?
Здраствуйте. Пользуюсь Hortonworks sandbox 2.6, и возникла проблема с запуском jar-ников написаных для spark2. До этого пользовался версией 2.3.2 и там была файловая система разделена на локальную и ...
2
голоса
0ответов
125 показов
Кластер hadoop на докер контейнерах
Нужен кластер hadoop на докер контейнерах, которые расположены на разных хостах. Swarm потянуть не получиться. Можно ли это реализовать без swarm мода?!
Указал порты для контейнера
Но потом, когда ...
1
голос
0ответов
151 показ
Использование подзапросов в Hive
Ошибка
Error while compiling statement: FAILED: ParseException line 18:0 Failed to recognize predicate 'select'. Failed rule: 'queryStatementExpression' in subquery source"
при выполнении:
...
1
голос
1ответ
52 показа
При попытке запуска Hive получаю ошибку: “java.lang.IllegalArgumentException: Unrecognized Hadoop major version number: 3.0.0-alpha1”
Здравствуйте.
Под Ubuntu 16.10 установлен Hadoop
Hadoop 3.0.0-alpha1
Source code repository https://git-wip-us.apache.org/repos/asf/hadoop.git -r a990d2ebcd6de5d7dc2d3684930759b0f0ea4dc3
Compiled by ...
1
голос
1ответ
157 показов
Количество файлов в одном каталоге в HDFS
Сколько файлов можно безболезненно держать в одном каталоге в HDFS?
И как вообще они устроены? Я так понимаю, они виртуальны и существуют только для пользователя?
2
голоса
1ответ
95 показов
Разработка MapReduce приложения для выделения уникальных пользователей
Есть большой входной файл (10^12 строк) со следующим форматом:
Имя|Фамилия|Дата Рождения
Пример:
Yana|Petrova|21.01.1990
Kseniya|Ivanova|22.02.1990
Kseniya|Ivvanova|22.02.1990
Jana|Petrova|21.01....
4
голоса
1ответ
298 показов
saveToCassandra() : IllegalArgumentException: Multiple constructors with the same number of parameters not allowed
Что я делаю не так? Здесь выдаёт ошибку при запуске:
textfile.saveToCassandra("logs", "logstable")
Весь код:
object App extends java.io.Serializable {
final val APP_NAME = "SparkBatchTest"
...
0
голосов
1ответ
35 показов
Как подправить xml файл координатора в hadoop?
Вопрос в том, как запускать координатор только тогда, когда в определённой (/user/task/) папке существует, например, файл под именем "_SUCCESS"? Содержание coordinator.xml следующее:
<...
2
голоса
1ответ
98 показов
Как прописать путь к файлу в Pig?
Путь к файлу создан с помощью bash:
hdfs dfs -mkdir -p user/result/`date +%Y`/`date +%m`/`date +%d`
файл будет находится в последней папке:
hdfs dfs -put table.csv user/result/`date +%Y`/`date +%m`/...
0
голосов
1ответ
36 показов
Как задать input файл для oozie workflow?
Код на python. Действия следующие: считываем таблицу и выводим её на экран
import csv
import sys
input = sys.stdin
for row in csv.reader(input):
print row
Сама таблица находится на hdfs, путь: ...
1
голос
1ответ
254 показа
Java.lang.NullPointerException в Map при чтении и записи в Hive
Добрый день! Возникает следующая ошибка, не могу понять причину. Проверила данные в таблице dmg_bindings, они ненулевые, партиция также присутствует.
Код Driver:
import org.apache.hadoop.conf....
1
голос
2ответа
1k показов
Лучший способ начать с Hadoop?
Нужно подобрать связку: книга - инсталляция, чтобы начать. То есть иметь свой кластер для игр.
В качестве машины имею свой ноутбук Windows 7 32bit, на нем VirtualBox Debian 7.
Вопросы:
Насколько ...
1
голос
2ответа
605 показов
Как работает Cassandra и Hadoop?
Собственно сабж!
Как я понимаю в теории по мануалам, конфиги кассандры не трогаются, в хадупе указывается нода в кассандре? или я чтото пропустил?
и еще, после интеграции -- как оно вообще работает? ...
2
голоса
1ответ
337 показов
Регулярная генерация статистики на основе последних данных
Есть следующая задача, имеется набор данных в MongoDB которые туда постоянно пишутся, необходимо регулярно генерировать статистику на основе последних данных, а результат обновлять в MySQL. Сейчас ...
0
голосов
1ответ
365 показов
Проблема с MapReduce
Пишу программу, используя Hadoop MapReduce.
Что-то совсем запутался с тем, как написать методы map и reduce, так, чтобы они работать со следующей задачей:
Входной файл имеет следующий вид:
1 ...