1

Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:

static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";

Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfs);

FileSystem fs = FileSystem.get(new URI(hdfs), conf);

if (fs instanceof DistributedFileSystem) {
    LOGGER.info("HDFS is the underlying filesystem");
} else {
    LOGGER.info("Other type of file system " + fs.getClass());
}
FSDataInputStream in = null;
try {
    in = fs.open(new Path(pathToFile));
    IOUtils.copyBytes(in, System.out, 4096, false);
    LOGGER.info("End Of file: HDFS file read complete");
} finally {
    IOUtils.closeStream(in);
}

Но постоянно получаю одну и ту же ошибку:

Exception in thread "main" java.io.IOException: Failed on local exception: 
java.io.EOFException; Host Details : local host is: 
"URL/IP"; destination host is: "URL":PORT;

Тем не менее, файловая система валидная, о чём сигнализирует строка логера:

2017-12-27 18:17:10 INFO Main:31 - HDFS is the underlying filesystem

Искал на форумах, в гугле, но в итоге получаю всё ту же ошибку. Возможно есть идеи, как решить её?

P.S.: пробовал запускать .jar файл на кластере, но заканчивается так же безрезультатно, разве что локальный адрес в ошибке другой.

1 ответ 1

0

Загрузите конфигурацию из актуальных файлов core-site.xml и hdfs-site.xml. Сделать это можно следующим образом (только подставить соответствующие пути):

conf.addResource(new Path("file:///etc/hadoop/conf/core-site.xml"));
conf.addResource(new Path("file:///etc/hadoop/conf/hdfs-site.xml"));

Эти файлы обычно лежат в папке {$HADOOP_HOME}/etc/hadoop, поэтому стоит прочитать системную переменную, сформировать пути и загрузить конфигурацию. Иногда, например, если Hadoop ставился через менеджер пакетов, файлы конфигурации могут лежать в другом месте. В таком случае нужный путь можно прочитать из переменной HADOOP_CONF_DIR.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.