1

Почему регулярные в Перл быстрее на 40%, чем в Go? Часть простого скрипта анализа лога.

Perl:

       $l=~s/\A([^\s]+?) - - \[([^\]]+?)\] \"([^\"]+?)\" ([^\s]+?) ([^\s]+?) \"([^\"]+?)\"(.+)/$1\n$2\n$3\n$4\n$5\n$6\n$7/g;
       ($ip, $time, $page, $code, $size, $ref, $agent, $els) = split(/\n/, $l);
       $page=~s/(GET|HEAD|POST) (.+) (HTTP.+)/$2/;
       $hash{$page}++;
       # this faster than Golang (35-40%)

Go:

    log_format := `^([^ ]+) (-) (-) \[([^\]]+)\] "([^\"]+?)" ([0-9]+) ([^ ]+) "([^"])*" "([^"]*)"`
    logParser := regexp.MustCompilePOSIX(log_format)
    log_format_get := `^(GET|HEAD|POST) (.+) (HTTP.+)$`
    logParserGet := regexp.MustCompilePOSIX(log_format_get)
    var hash = make(map[string] int);

    analize1 := func (iline *string) {
    submatch := logParser.FindSubmatch(strings.TrimSpace(*iline))
    if (len(submatch[0])>0){
        pg := logParserGet.FindAllStringSubmatch(strings.TrimSpace(submatch[0][5]), 1)
        if (len(pg)>0){
                hash[pg[0][2]]++
        }
    }
3
  • 1
    У вас на Go в "циклическом" методе FindSubmatch и FindAllStringSubmatch вставляется скриптовая команда TrimSpace, что может вызывать значительное замедление, в сравнении с split, который не генерирует цикл с вложеной скриптовой командой. Старайтесь не делать скриптовые циклы если хотите выиграть время. Может как-то можно разделить без вложений поправив выражение regex или как-то по-другому что б цикл обрабатовало ядро, а не скрипт - тогда будет быстрее.
    – nick_n_a
    5 янв 2017 в 8:25
  • 1) Сначала постройте корректные профилировочные тесты, исключающие влияние всего остального, потом уже сравнивайте 2) Само по себе название Perl о чём-то говорит?
    – PinkTux
    5 янв 2017 в 11:16
  • TrimSpace не влияет на скорость.
    – Дим900
    5 янв 2017 в 15:45

1 ответ 1

1

Вообще везде пишут, что оптимизация регулярных выражений в языке Go выполнена хуже, по сравнению с Perl, потому что Perl постарше и в его разработку было вложено больше человек/часов.

Вот тут есть тест скорости в разных языках, тест скорости регулярных выражений

4
  • Какая-то неправильная диаграмма. Ну и обезличенная. 1) В ней отсутствует php- он бы занял лидирующие места, после перла 2) перл обрабатывает регулярные выражения быстрее v8/js, проверено 3) перл не так сильно отличается от С, ибо сам модуль pcre представлен нативным кодом. А вообще- да. Все зависит от качества оптимизации самого движка в конкретном взятом языке.
    – ReinRaus
    6 янв 2017 в 19:55
  • @PeterSmith ты прав) 6 янв 2017 в 21:51
  • 1
    Нашел оригинал по картинке -_- citforum.ru/news/26547 какой-то черный ящик тестировали :)
    – ReinRaus
    6 янв 2017 в 23:15
  • @ReinRaus я на английском читал) 7 янв 2017 в 0:26

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.