9

У меня есть очень длинные регулярные выражения с большим количеством групп внутри. Например,такие:

((ab+)|(qwe[rty]?)|(hjk.*)|(mmm)|(ppp)|(sss))? ((ooo[0-9]?)|(ddd)|(ggg)|(jjj))kk? zzz

только длиной в 1-2 тысячи символов и с 100-200 групп и подгрупп.

Есть ли в python какие-то ограничения на длину регулярного выражения? На количество групп в нем? Еще какие-то нюансы? Или же ограничений нет вообще, и все зависит только от мощности процессора?

Пока кажется, что я не могу использовать регулярные выражения длиной более 1000 символов и/или с более, чем 100 группами.

5
  • Очень интересный вопрос! Вот тут рассказывают про ситуацию в php. Хотелось бы знать, как обстоят дела в python.
    – mymedia
    Commented 1 мар. 2017 в 9:07
  • 2
    А можно поинтересоваться, зачем? Может, для вашей задачи лучше написать обычный парсер без регулярок?
    – andreymal
    Commented 1 мар. 2017 в 9:11
  • Нет, не лучше, мне нужно искать совпадение токенов текста с большим количеством различных паттернов, а это именно регулярные выражения. А такие длинные регулярки тоже получаются не просто так, а из-за того, что нужно сократить количество паттернов и склеить похожие в один, так как скорость работы системы обратно пропорциональна количеству паттернов
    – Shelari
    Commented 1 мар. 2017 в 9:13
  • Какая у вас версия Python? Commented 1 мар. 2017 в 10:34
  • Версия python 2.7.9
    – Shelari
    Commented 1 мар. 2017 в 10:35

2 ответа 2

8

Судя по этому тикету в Python до версии 3.5 есть ограничение в 100 групп (capturing groups).

https://bugs.python.org/file36654/re_maxgroups.patch:

-``(?P=name)``
-   A backreference to a named group; it matches whatever text was matched by the
-   earlier group named *name*.
+``(?P=name)``, ``(?P=number)``
+   A backreference to a group; it matches whatever text was matched by the
+   earlier group named *name* or numbered *number*.
+
+   .. versionchanged:: 3.5
+   Added support of group numbers.

 ``(?#...)``
    A comment; the contents of the parentheses are simply ignored.
diff -r 8a2755f6ae96 Lib/sre_compile.py
--- a/Lib/sre_compile.py    Thu Sep 18 19:45:04 2014 +0300
+++ b/Lib/sre_compile.py    Thu Sep 18 23:27:28 2014 +0300
@@ -470,12 +470,6 @@ def compile(p, flags=0):

     # print code

-    # XXX: <fl> get rid of this limitation!
-    if p.pattern.groups > 100:
-        raise AssertionError(
-            "sorry, but this version only supports 100 named groups"
-            )
-
     # map in either direction
     groupindex = p.pattern.groupdict
     indexgroup = [None] * p.pattern.groups

Я бы все-таки посоветовал бы вам открыть новый вопрос и описать вашу задачу с примерами входного и "выходного" текста / данных - возможно существует более элегантное решение...

3
  • Большое спасибо!
    – Shelari
    Commented 1 мар. 2017 в 10:42
  • @Shelari, всегда пожалуйста. Я добавил небольшой совет в мой ответ - возможно стоит поискать другое решение... Commented 1 мар. 2017 в 10:45
  • Спасибо, если у меня будет возможность, я этим займусь
    – Shelari
    Commented 1 мар. 2017 в 10:45
3

Предположу, что Вам не нужно такое количество СОХРАНЯЮЩИХ групп. Скорее всего их все можно заменить на НЕ сохраняющие (?:...).
Вы используете «склейщик» регулярных выражений, который склеивает не правильно- группы не должны быть сохраняющими, так как в этом нет никакого смысла, кроме сокращения на два символа на каждую группу (нет ?:).

3
  • Да, про этот метод я знаю, но на данный момент его, увы, технически долго реализовывать. Но именно это я пока и планировала делать, когда появится возможность. А вы не подскажите, на количество неименованных групп ограничений нет?
    – Shelari
    Commented 2 мар. 2017 в 6:52
  • Хотя, кажется, неименованные группы не понимает elasticsearch, который является частью системы, поэтому, возможно, такое решение и не подойдёт.
    – Shelari
    Commented 2 мар. 2017 в 7:11
  • 1
    На такие группы нет ограничений.
    – ReinRaus
    Commented 3 мар. 2017 в 10:04

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.