4

Есть сервер с 1gb RAM. Есть лог файл nginx (любой другой веб-сервер) на 70gb. Как максимально быстро собрать статистику по user agent пользователей сайта, учитывая описанные ограничения по ресурсам.

4
  • я сталкивался с такой проблемой. мне помог StringTokenizer. попробуйте использовать это для чтения строк 15 авг 2017 в 21:04
  • 4
    вопрос не относится ни к нагруженным системам, ни к бигдате
    – etki
    15 авг 2017 в 22:51
  • 2
    @etki: ... ни к алгоритмам, ни к веб-программированию.
    – VladD
    16 авг 2017 в 0:24
  • С чего это он не относится указынным тема? Веб-программирвоание -да согласен тут мимо. Биг дата помоему впполне подходит, так ка кработа с огромными данными. Если 70гб смущает давайте на 700 заменим. Алгоритмы тоже считаю как часть оптимизации. Нагруженные системы - тут спорно но раз у нас есть сервак чьих возможностей не хватает для полноценной обработки данных, то можно считать что имеем дело с высокой нагрузкой. 17 авг 2017 в 19:35

2 ответа 2

5

Считываете файл построчно и анализируете считанную сроку. Практически во всех языках можно указать размер буфера при работе с файловой системой и поэтому, несмотря на то, что вы работаете с файлом построчно, система будет читать файл фиксированными блоками.

3
  • 1
    А я бы мапнул файл в память и сделал madvize с MADV_SEQUENTIAL
    – avp
    15 авг 2017 в 22:57
  • 1
    @avp можно поподробнее о вашем варианте? также можете офомить ка кответ его 17 авг 2017 в 19:52
  • man mmap -- map files or devices into memory (только учтите, у вас этот способ имеет смысл, только если система 64-разрядная)
    – avp
    17 авг 2017 в 20:35
3

можно воспользоваться StringTokenizer в языке Java, который позволяет считывать файл построчно и не тратить память на хранение всех строк файла.

StringTokenizer tok = new StringTokenizer("/path/to/file");
while (tok.hasMoreTokens()) {
    String line = tok.nextToken();
    // работаешь со строкой.
}

Также можно указывать разделитель в конструкторе, по умолчанию стоит \t\n\r\f

3
  • У StringTokenizer вроде нету конструктора, принимающего путь к файлу?
    – diralik
    16 авг 2017 в 19:25
  • А как у этого решения со временем? Успеем ли мы аз приемлимое распарсить большой фалй? 17 авг 2017 в 19:52
  • @Artur более 90% времени уйдет на парсинг файла, а не чтение. так что чтение идет очень быстро. это я убедился на собственном опыте 18 авг 2017 в 7:29

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.