1

Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:

static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";

Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfs);

FileSystem fs = FileSystem.get(new URI(hdfs), conf);

if (fs instanceof DistributedFileSystem) {
    LOGGER.info("HDFS is the underlying filesystem");
} else {
    LOGGER.info("Other type of file system " + fs.getClass());
}
FSDataInputStream in = null;
try {
    in = fs.open(new Path(pathToFile));
    IOUtils.copyBytes(in, System.out, 4096, false);
    LOGGER.info("End Of file: HDFS file read complete");
} finally {
    IOUtils.closeStream(in);
}

Но постоянно получаю одну и ту же ошибку:

Exception in thread "main" java.io.IOException: Failed on local exception: 
java.io.EOFException; Host Details : local host is: 
"URL/IP"; destination host is: "URL":PORT;

Тем не менее, файловая система валидная, о чём сигнализирует строка логера:

2017-12-27 18:17:10 INFO Main:31 - HDFS is the underlying filesystem

Искал на форумах, в гугле, но в итоге получаю всё ту же ошибку. Возможно есть идеи, как решить её?

P.S.: пробовал запускать .jar файл на кластере, но заканчивается так же безрезультатно, разве что локальный адрес в ошибке другой.

1 ответ 1

0

Загрузите конфигурацию из актуальных файлов core-site.xml и hdfs-site.xml. Сделать это можно следующим образом (только подставить соответствующие пути):

conf.addResource(new Path("file:///etc/hadoop/conf/core-site.xml"));
conf.addResource(new Path("file:///etc/hadoop/conf/hdfs-site.xml"));

Эти файлы обычно лежат в папке {$HADOOP_HOME}/etc/hadoop, поэтому стоит прочитать системную переменную, сформировать пути и загрузить конфигурацию. Иногда, например, если Hadoop ставился через менеджер пакетов, файлы конфигурации могут лежать в другом месте. В таком случае нужный путь можно прочитать из переменной HADOOP_CONF_DIR.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.