Я пытаюсь взаимодействовать с файлами HDFS (читать, создавать и т.д.) с помощью следующего кода:
static String hdfs = "hdfs://URL:PORT";
static String pathToFile = "/folder/subfolder/filename.txt";
Configuration conf = new Configuration();
conf.set("fs.defaultFS", hdfs);
FileSystem fs = FileSystem.get(new URI(hdfs), conf);
if (fs instanceof DistributedFileSystem) {
LOGGER.info("HDFS is the underlying filesystem");
} else {
LOGGER.info("Other type of file system " + fs.getClass());
}
FSDataInputStream in = null;
try {
in = fs.open(new Path(pathToFile));
IOUtils.copyBytes(in, System.out, 4096, false);
LOGGER.info("End Of file: HDFS file read complete");
} finally {
IOUtils.closeStream(in);
}
Но постоянно получаю одну и ту же ошибку:
Exception in thread "main" java.io.IOException: Failed on local exception:
java.io.EOFException; Host Details : local host is:
"URL/IP"; destination host is: "URL":PORT;
Тем не менее, файловая система валидная, о чём сигнализирует строка логера:
2017-12-27 18:17:10 INFO Main:31 - HDFS is the underlying filesystem
Искал на форумах, в гугле, но в итоге получаю всё ту же ошибку. Возможно есть идеи, как решить её?
P.S.: пробовал запускать .jar файл на кластере, но заканчивается так же безрезультатно, разве что локальный адрес в ошибке другой.