0

Есть csv файл размером 1мб (7к строк). Необходимо его отфильтровать по заданной строке, но требуется использовать не более 9мб хипа. Пытался через BufferedReader, когда фильтрую все строки то укладываюсь в память (7мб), но если задаю параметр и в следствии фильтрую меньшее кол-во строк, используется уже 13мб. Как можно бы вписаться в память.

       List<String[]> lines;
       BufferedReader reader = null;
       try {
           reader = new BufferedReader(new FileReader(fileName));
           lines = new  ArrayList<>();
           String tmp;
           String[] list1;
           while ((tmp = reader.readLine()) != null) {
               list1 = tmp.split(",");
               if (list1[numberCols].contains("\"" + input)) {
                   lines.add(list1);
               }
           }
       }finally {
           assert reader != null;
           reader.close();
       }

1 ответ 1

0

Во-первых, нужен рефакторинг. Чем проще код, тем легче его править. Во-вторых, уберите бесполезную конкатинацию в цикле """ + input - это жрет вашу память. В-третьих, определитесь с размером буфера, по умолчанию он 8192, я далек от мысли, что нужно столько и установил 1024, но вы можете это подкорректрировать. В-четвертых, вы можете в конструктор ArrayList передать числовое значение для инициализации исходного размера, если имеете представление о приблизительном размере данной коллекции, это избавит от необходимости пересоздавать, который инкапсулирован в ArrayList, массив и копировать данные.

public static List<String[]> parse(String fileName, Integer numberCols, String input) throws IOException {
    List<String[]> lines = new ArrayList<>();
    input = "\"" + input;
    try (BufferedReader reader = new BufferedReader(new FileReader(fileName), 1024)) {
        String tmp;
        while ((tmp = reader.readLine()) != null) {
            String[] line = tmp.split(",");
            if (line[numberCols].contains(input)) lines.add(line);
        }
    }
    return lines;
}
5
  • Ваши советы помогли увеличить скорость, но размер используемой памяти не изменился. Может стоит использовать что-нибудь другое вместо листа?
    – Dmitry
    28 мар 2022 в 11:13
  • нет, ArrayList инкапсулирует массив. с точки зрения потребляемой памяти это оптимальная коллекция. а какое количество элементов попадает в итоге коллекцию и каков их размер? в целом потребление памяти зависит даже от версии java, ведь так или иначе вы зависимы от сборщика мусора, а его работа полностью автоматизирована. вы можете не создавать лишних объектов и использовать более оптимальные способы обработки информации 28 мар 2022 в 11:47
  • Csv файл содержит примерно 7к строк и 13 столбцов, в худшем случае если фильтр пуст, то проводится обычная сортировка коллекции в которую помещены все эти 7к строк в виде массива строк. Но при этом потребляется меньше 9мб памяти, то что нужно. Но если ввести фильтр, который найдет примерно 500 строк, то потребление памяти взлетает почти в 2 раза. Я если честно, не представляю как можно искать нужные строки не пробегая весь файл от начала до конца.
    – Dmitry
    28 мар 2022 в 12:18
  • простите, какая сортировка? про сортировку речь не шла 28 мар 2022 в 12:20
  • Сортировка идет уже после того как нашлись нужные строки. lines.sort(Comparator.comparing(o -> o[numberCols]));. Я замерял, на потребление памяти, она сильно не влияет, только немного увеличивает время.
    – Dmitry
    28 мар 2022 в 12:28

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.