0

Имеется файл на несколько гигабайт. для поиска нужной информации нужно производить сравнение текущей строки со всеми последующими. Помещение файла в память полностью - проблемно из-за объема файла. C go почти не знаком. Получился такой код. Отрабатывает корретно только частично. Т.е выводит нужные данные в нужном формате, но почему-то не все. прикладываю часть кода для фильтрации

for fileScanner.Scan() {
        text := fileScanner.Text()
        splitText := strings.Split(text, " ")
        ip_first := splitText[0]
        WriteMap[ip_first] = 1
        date_first := splitText[1]
        c1 := 1
        c2 := 1
        //повторно бежим по файлу начиная с индекса c2>c1
        for fileScanner.Scan() {
            //считаем только значения с индексом выше c1
            if c2 <= c1 {
                c2++
                continue
            } else {
                //полуаем знаения для сравнения
                text = fileScanner.Text()
                splitText := strings.Split(text, " ")
                ip_second := splitText[0]
                date_second := splitText[1]
                method_second := splitText[4]
                codeResponse_second := splitText[7]

                //старт сравнения.
                if comparator(date_first, date_second) {
                    if comparator(ip_first, ip_second) {
                        if method_second == "GET" {
                            if codeResponse_second == "200" {
                                WriteMap[ip_first]++
                            }
                        }
                    }
                }
                //В случае комментария else-части - код полностью перестает работать. Выводит пустую карту. без комментирования работает, но считает явно не все
                // else {
                //  break
                // }
                c2++
            }
        }
        c1++
    }
    return WriteMap, nil
}

//тупо для удобства
func comparator(a string, b string) bool {
    if a == b {
        return true
    } else {
        return false
    }

Возможно ли этот код заставить работать корректно?

2
  • 1
    зачем вам написание целой программы? Для обработки лога Nginx вполне достаточно утилит grep, sed и awk. Приложите фрагмент лога и напишите что вы хотите получить Commented 10 июн. 2022 в 8:19
  • Если у вас проблема стоит именно в объеме вгружаемого файла, то каноничное решение - это чтение строки за строкой не вгружая весь файл целиком в паять.
    – Borislav
    Commented 13 июн. 2022 в 9:08

1 ответ 1

0
for fileScanner.Scan() {

        text := fileScanner.Text()
        splitText := strings.Split(text, " ")

        ip_first := splitText[0]
        date_first := splitText[1]
        date_first = date_first[1:]

        if WriteMap[date_first+" "+ip_first] < 1 {
            WriteMap[date_first+" "+ip_first] = 1
        }

        // method_first:= splitText[4]
        // codeResponse_first:= splitText[7]
        c1 := 1
        c2 := 1
        get200 = 0
        for fileScanner.Scan() {
            if c2 <= c1 {
                c2++
                continue
            } else {

                //полуаем знаения для сравнения
                text = fileScanner.Text()
                splitText := strings.Split(text, " ")
                ip_second := splitText[0]
                date_second := splitText[1]
                method_second := splitText[4]
                codeResponse_second := splitText[7]

                //старт сравнения.
                if comparator(date_first, date_second) {
                    if comparator(ip_first, ip_second) {
                        if method_second == "GET" {
                            if codeResponse_second == "200" {

                                WriteMap[date_first+" "+ip_first]++

                            }

                        }
                    }
                } else {

                    break
                }
                c2++
            }
            c1++
        }

    }
    return WriteMap, nil
}

проблема оказалась в перезаписи значений внутри цикла.

if codeResponse_second == "200" {

WriteMap[date_first+" "+ip_first]++

}
``` Значения повторялись и перезаписывались. Текущий код - работает корректно. 

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.