Почему регулярные в Перл быстрее на 40%, чем в Go? Часть простого скрипта анализа лога.
Perl:
$l=~s/\A([^\s]+?) - - \[([^\]]+?)\] \"([^\"]+?)\" ([^\s]+?) ([^\s]+?) \"([^\"]+?)\"(.+)/$1\n$2\n$3\n$4\n$5\n$6\n$7/g;
($ip, $time, $page, $code, $size, $ref, $agent, $els) = split(/\n/, $l);
$page=~s/(GET|HEAD|POST) (.+) (HTTP.+)/$2/;
$hash{$page}++;
# this faster than Golang (35-40%)
Go:
log_format := `^([^ ]+) (-) (-) \[([^\]]+)\] "([^\"]+?)" ([0-9]+) ([^ ]+) "([^"])*" "([^"]*)"`
logParser := regexp.MustCompilePOSIX(log_format)
log_format_get := `^(GET|HEAD|POST) (.+) (HTTP.+)$`
logParserGet := regexp.MustCompilePOSIX(log_format_get)
var hash = make(map[string] int);
analize1 := func (iline *string) {
submatch := logParser.FindSubmatch(strings.TrimSpace(*iline))
if (len(submatch[0])>0){
pg := logParserGet.FindAllStringSubmatch(strings.TrimSpace(submatch[0][5]), 1)
if (len(pg)>0){
hash[pg[0][2]]++
}
}
FindSubmatch
иFindAllStringSubmatch
вставляется скриптовая командаTrimSpace
, что может вызывать значительное замедление, в сравнении сsplit
, который не генерирует цикл с вложеной скриптовой командой. Старайтесь не делать скриптовые циклы если хотите выиграть время. Может как-то можно разделить без вложений поправив выражение regex или как-то по-другому что б цикл обрабатовало ядро, а не скрипт - тогда будет быстрее.