Нужно сравнивать данные по дате, но можно сравнивать по стрингу:
dateFormat = new SimpleDateFormat("dd.MM.yy");
date = dateFormat.parse(dateTime.getDay() + "." + dateTime.getMonth() + "." + dateTime.getYear());
dateFromFile = dateFormat.parse(filename.split(".")[0]);
Их можно перевести и в стринг, и в дату, и оба сравнения будут правильными. Но какое сравнение будет работать быстрее?