0

Есть csv файл размером 1мб (7к строк). Необходимо его отфильтровать по заданной строке, но требуется использовать не более 9мб хипа. Пытался через BufferedReader, когда фильтрую все строки то укладываюсь в память (7мб), но если задаю параметр и в следствии фильтрую меньшее кол-во строк, используется уже 13мб. Как можно бы вписаться в память.

       List<String[]> lines;
       BufferedReader reader = null;
       try {
           reader = new BufferedReader(new FileReader(fileName));
           lines = new  ArrayList<>();
           String tmp;
           String[] list1;
           while ((tmp = reader.readLine()) != null) {
               list1 = tmp.split(",");
               if (list1[numberCols].contains("\"" + input)) {
                   lines.add(list1);
               }
           }
       }finally {
           assert reader != null;
           reader.close();
       }

1 ответ 1

0

Во-первых, нужен рефакторинг. Чем проще код, тем легче его править. Во-вторых, уберите бесполезную конкатинацию в цикле """ + input - это жрет вашу память. В-третьих, определитесь с размером буфера, по умолчанию он 8192, я далек от мысли, что нужно столько и установил 1024, но вы можете это подкорректрировать. В-четвертых, вы можете в конструктор ArrayList передать числовое значение для инициализации исходного размера, если имеете представление о приблизительном размере данной коллекции, это избавит от необходимости пересоздавать, который инкапсулирован в ArrayList, массив и копировать данные.

public static List<String[]> parse(String fileName, Integer numberCols, String input) throws IOException {
    List<String[]> lines = new ArrayList<>();
    input = "\"" + input;
    try (BufferedReader reader = new BufferedReader(new FileReader(fileName), 1024)) {
        String tmp;
        while ((tmp = reader.readLine()) != null) {
            String[] line = tmp.split(",");
            if (line[numberCols].contains(input)) lines.add(line);
        }
    }
    return lines;
}
5
  • Ваши советы помогли увеличить скорость, но размер используемой памяти не изменился. Может стоит использовать что-нибудь другое вместо листа?
    – Dmitry
    28 мар 2022 в 11:13
  • нет, ArrayList инкапсулирует массив. с точки зрения потребляемой памяти это оптимальная коллекция. а какое количество элементов попадает в итоге коллекцию и каков их размер? в целом потребление памяти зависит даже от версии java, ведь так или иначе вы зависимы от сборщика мусора, а его работа полностью автоматизирована. вы можете не создавать лишних объектов и использовать более оптимальные способы обработки информации 28 мар 2022 в 11:47
  • Csv файл содержит примерно 7к строк и 13 столбцов, в худшем случае если фильтр пуст, то проводится обычная сортировка коллекции в которую помещены все эти 7к строк в виде массива строк. Но при этом потребляется меньше 9мб памяти, то что нужно. Но если ввести фильтр, который найдет примерно 500 строк, то потребление памяти взлетает почти в 2 раза. Я если честно, не представляю как можно искать нужные строки не пробегая весь файл от начала до конца.
    – Dmitry
    28 мар 2022 в 12:18
  • простите, какая сортировка? про сортировку речь не шла 28 мар 2022 в 12:20
  • Сортировка идет уже после того как нашлись нужные строки. lines.sort(Comparator.comparing(o -> o[numberCols]));. Я замерял, на потребление памяти, она сильно не влияет, только немного увеличивает время.
    – Dmitry
    28 мар 2022 в 12:28

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.