11

Можно ли полагаться на то, что JVM «умным образом» разрешает диапазон "а-я" или "a-z" в регулярном выражении и добавляет в него все символы некоторого алфавита, который начинается на «а» и заканчивается на «я»?

Ответ: нет, диапазон читается буквально, и это можно подтвердить экспериментом.

Символы Ё и ё не попадают в диапазон юникода, в котором лежат все кириллические символы русского языка. То же самое верно для существенной части других алфавитов: буквы в Unicode идут не подряд. Предлагаю отвлечься от особенностей кириллицы и подумать об абстрактном "a-z", где "a" и "z" — первая и последняя буква какого-то алфавита.

Есть ли в Java готовое решение для того, чтобы описать все "родные" буквы в заданной локали?

Ответ: в Java нет, но есть в ответе к этому вопросу

Нашел про поддержку локалей, но не вполне представляю, как это можно применить в регулярном выражении. Логично бы ожидать character class, какой-нибудь \p{locale_Ru_Ru}, но не нахожу.

Навеяно этим ответом к вопросу «Как определить не русский текст?»

14
  • Что мешает определить символьный класс [а-яА-яёЁ]?
    – a_gura
    5 авг 2015 в 23:41
  • @a_gura а в общем виде, если я ге знаю целевого языка?
    – Nick Volynkin
    6 авг 2015 в 4:42
  • 2
    В регулярных выражениях нет такой поддержки (скажем, почти нет), можно только использовать символьный класс для каждого. Я написал такие для некоторых языков, основываясь на данных из Википедии. 6 авг 2015 в 6:56
  • 1
    @stribizhev: О, здорово, полезную очень работу проделали. Может, здесь тоже опубликуете?
    – Nick Volynkin
    6 авг 2015 в 7:22
  • @NickVolynkin: Думаю, не стоит, так как вопрос тут несколько иной, и ответ (по-моему, правильный) уже дан. Регулярные выражения просто "тупо" берут данные из таблицы Юникода подряд между заданными границами диапазона и не знают ничего о языках, использующих данные символы. 6 авг 2015 в 7:32

3 ответа 3

13

Готовые выражения для всех символов в заданной локали

Все ответы, где отдельно не указан источник, основаны на Useful ASCII Ranges. Этот ответ основан на ответе stribizhev на EN.SO.

Кроме первых двух, отсортировано по алфавиту.

Русский алфавит (wikipedia)

[а-яА-ЯёЁ] 

Вся латиница плюс акцентированные символы

(?![×÷])[A-Za-zÀ-ÿ]

Белорусский алфавит (wikipedia)

[ёа-зй-шы-яЁА-ЗЙ-ШЫІіЎў] 

Болгарский алфавит (является подмножеством русского) (wikipedia)

[а-ъьюяА-ЪЬЮЯ] 

Греческий и коптский алфавиты вместе: (wikipedia)

[\u0370-\u03FF\u1F00-\u1FFF]

Испанский алфавит

[a-zA-ZáéíñóúüÁÉÍÑÓÚÜ]

Итальянский алфавит

[a-zA-ZàèéìíîòóùúÀÈÉÌÍÎÒÓÙÚ]

Немецкий алфавит

[a-zA-ZäöüßÄÖÜẞ]

Норвежский алфавит (wikipedia)

[a-zA-ZæøåÆØÅ] 

Польский алфавит

[a-pr-uwy-zA-PR-UWY-ZąćęłńóśźżĄĆĘŁŃÓŚŹŻ]

В польском языке нет заглавных букв Q, V and X. Если нужен польский + латиница:

[a-zA-ZąćęłńóśźżĄĆĘŁŃÓŚŹŻ]

Румынский алфавит (wikipedia)

[a-zA-ZĂÂÎȘȚăâîșț] 

Сербский алфавит (кириллица) (wikipedia)

[А-ИК-ШЂЈ-ЋЏа-ик-шђј-ћџ]

Украинский (wikipedia)

Апостроф — тоже буква.

[а-щА-ЩЬьЮюЯяЇїІіЄєҐґ'] 

Французский алфавит

[a-zA-ZàâäôéèëêïîçùûüÿæœÀÂÄÔÉÈËÊÏΟÇÙÛÜÆŒ]

Шведский алфавит (wikipedia)

[a-zA-ZäöåÄÖÅ] 
5
  • С польским и, думаю, другими языками, основанными на части латинницы, есть такая проблема, что многие заимствованные слова также имеют оригинальное написание. "Такси" по-польски "taxi", хотя в алфавите отсутствуте буква "x". А в украинским, вообще, апостроф может быть буквой (см. комментарий @Vlad к моему ответу). 7 авг 2015 в 18:30
  • Вот пруф, чтобы не оставаться голословным: The alphabet comprises thirty-three letters, representing thirty-eight phonemes (meaningful units of sound), and an additional sign—the apostrophe.
    – VladD
    7 авг 2015 в 18:48
  • А английский, несмотря на формальное отсутствие в алфавите акцентов, вполне себе использует формы café, naïveté и Übermensch.
    – VladD
    7 авг 2015 в 20:30
  • По немецкому, заглавная ß практически не используется, вместо неё пишут двойное S. В реальности upcase("Spaß") должно выдавать "SPASS".
    – VladD
    7 авг 2015 в 20:57
  • @VladD: для английского можно использовать расширенную латиницу, второе выражение.
    – Nick Volynkin
    7 авг 2015 в 22:17
5

Регулярки просто включают диапазон между порядковыми значениями символов.

Полный кириллический диапазон безусловно включает Ёё и многое другое. Так что, чтобы собрать базовую кириллицу, достаточно задать диапазон вида [\x400-\x4ff] (не уверен что точный синтаксис для этого формата в Java).

3
  • у меня речь о диапазоне a-z или а-я. Я знаю, что в него входит в юникоде, но не вполне уверен, что то же самое входит в регулярках. О том и вопрос. Диапазон [\x400-\x4ff], конечно, включает Ёё, но там есть и много лишнего. Об этом второй вопрос — нет ли готового решения. Похоже, что нет.
    – Nick Volynkin
    6 авг 2015 в 7:20
  • @NickVolynkin если у вас речь о a-z как об "алфавите" то думаю в случае англ. языка здесь речь просто об удобном совпадении, остальное ручками, как выше уже написали. Да, я в нём, надеюсь знаете в хорошем смысле :) 6 авг 2015 в 7:32
  • Нуууу. Это не является диапазоном ни для русского, ни для украинского, ни для белорусского, ни для болгарского, ни для какого-то другого определённого языка — чем же это тогда является?
    – VladD
    7 авг 2015 в 16:38
2

Самому стало интересно как все это будет выглядеть в диапазонах символов:

int c = Character.MIN_VALUE;
int low = -1;
Pattern pat = Pattern.compile( "^[а-яА-Я]$" );
while ( c <= (int) Character.MAX_VALUE ) {
    if ( pat.matcher( String.valueOf( (char) c ) ).matches() ) {
        if ( low == -1 ) low = c;
    } else {
        if ( low > -1 ) {
            System.out.println( Integer.toHexString( low ) + " - " + Integer.toHexString(c-1) );
            low = -1;
        }
    }
    c++;
}

Для данной регулярки это

410 - 44f

Так что решается все очень просто: как и написал @Petr Abdulin

6
  • Я тут узнал про комбинированные символы и нормализацию Юникода, и понял, что для многих языков просто диапазона недостаточно. Нужно убедиться, что реализация регулярок «понимает», что a+ умлаут — это тоже ä. Или вот в польском: o нет, а ó есть.
    – Nick Volynkin
    31 янв 2017 в 17:39
  • Наверное всё это означает, что не нужно пытаться регулярками определять языковую принадлежность текста. ))
    – Nick Volynkin
    31 янв 2017 в 17:40
  • А в чём разница между проверкой регулярными выражениями и написанием кучи условий сравнения нативным кодом ?
    – ReinRaus
    31 янв 2017 в 20:37
  • Я имел в виду не столько метод, сколько путь решения. Т.е. не по четкому набору символов (который можно проверять хоть регулярками, хоть кучей условий), а по какой-то другой эвристике. Может, по словарям искать совпадения.
    – Nick Volynkin
    31 янв 2017 в 20:42
  • 1
    Иначе «Варкалось. Хливкие шорьки пыряли по наве.» распознается как русский текст, что спорно. )
    – Nick Volynkin
    31 янв 2017 в 20:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.