2

Как при помощи регулярных выражений сделать проверку кириллицы/латиницы. К примеру, если мы ввели в поле слова на английском, то выполнить такой-то метод, и соответственно для русского языка.

5
  • Проверку языка - никак. Если же нужно проверять только кириллицу/латиницу - в гугл. 25 апр 2013 в 15:37
  • Вы представляете, сколько всего есть языков? Забудьте об определении языка, максимум что можно — это сопоставить наборы символов. Отделить английский от, скажем, французского невозможно.
    – VladD
    25 апр 2013 в 15:57
  • Вы не поняли, я имел ввиду определить если мы ввели кириллицу, то вызвать один метод, если же с латиницей, то другой.
    – helio
    25 апр 2013 в 16:21
  • VladD, но в большинстве случаев с этой задачей научились неплохо справляться. Даже есть сервисы, которые предоставляют API ( detectlanguage.com например ).
    – dzhioev
    25 апр 2013 в 16:30
  • 1
    @dzhioev: 1. Возьмём слово "cousin". Оно имеет смысл и на английском, и на французском, следовательно, если ввод содержит только это слово, мы в тупике. Ещё меньше различий между, скажем, немецким и швейцарским вариантами немецкого. 2. Язык можно угадать с определённой достоверностью, исходя из большой базы данных слов, а лучше — текстов. Причём нестандартные тексты скорее всего распознаны не будут. 3. Построить базу данных слов всех возможных языков — довольно трудоёмкая, хоть и выполнимая задача, вы не находите?
    – VladD
    25 апр 2013 в 16:49

4 ответа 4

5

Регекспами это не делается (точнее, делается, но очень хрупко и очень неточно). Лучше всего делать частотный анализ символов, для латиницы вы должны получить... Да фиг знает, вот прошёлся по первому попавшемуся файлу на английском (около 330 Kb):

32  => 29.40% (96622)
!   => 0.04% (121)
"   => 1.45% (4762)
#   => 0.13% (412)
$   => 0.46% (1524)
%   => 0.07% (229)
&   => 0.02% (72)
'   => 0.28% (926)
(   => 0.46% (1526)
)   => 0.46% (1526)
*   => 0.10% (325)
+   => 0.02% (74)
,   => 1.09% (3598)
-   => 0.26% (860)
.   => 0.76% (2482)
/   => 0.12% (382)
0   => 1.42% (4654)
1   => 0.24% (801)
2   => 0.16% (539)
3   => 0.08% (255)
4   => 0.10% (322)
5   => 0.06% (204)
6   => 0.08% (266)
7   => 0.05% (154)
8   => 0.08% (272)
9   => 0.03% (99)
:   => 0.23% (756)
;   => 0.27% (882)
<   => 0.07% (228)
=   => 0.25% (815)
>   => 0.10% (321)
?   => 0.01% (41)
@   => 0.09% (304)
A   => 0.27% (895)
B   => 0.08% (272)
C   => 0.18% (585)
D   => 0.14% (450)
E   => 0.37% (1210)
F   => 0.16% (540)
G   => 0.06% (195)
H   => 0.10% (337)
I   => 0.40% (1329)
J   => 0.01% (24)
K   => 0.04% (131)
L   => 0.23% (747)
M   => 0.08% (269)
N   => 0.21% (696)
O   => 0.20% (663)
P   => 0.23% (753)
Q   => 0.01% (19)
R   => 0.26% (853)
S   => 0.34% (1129)
T   => 0.37% (1215)
U   => 0.08% (277)
V   => 0.06% (186)
W   => 0.05% (148)
X   => 0.09% (305)
Y   => 0.06% (185)
Z   => 0.01% (39)
[   => 0.03% (98)
\   => 0.08% (249)
]   => 0.03% (97)
^   => 0.02% (54)
_   => 0.20% (646)
`   => 0.01% (19)
a   => 4.15% (13651)
b   => 0.84% (2761)
c   => 1.90% (6239)
d   => 1.93% (6328)
e   => 7.55% (24821)
f   => 1.61% (5290)
g   => 0.98% (3211)
h   => 2.22% (7281)
i   => 4.03% (13233)
j   => 0.04% (121)
k   => 0.37% (1232)
l   => 2.63% (8643)
m   => 1.45% (4753)
n   => 4.01% (13195)
o   => 3.95% (12988)
p   => 1.45% (4780)
q   => 0.08% (266)
r   => 3.75% (12320)
s   => 4.09% (13445)
t   => 5.40% (17759)
u   => 1.90% (6257)
v   => 0.55% (1802)
w   => 0.64% (2089)
x   => 0.34% (1125)
y   => 0.98% (3235)
z   => 0.05% (164)
{   => 0.09% (303)
|   => 0.03% (95)
}   => 0.09% (299)
~   => 0.01% (23)

total: 328678 (100.00%)

Очевидно, если текст будет на кириллице, распределение будет совершенно другим. Хотя в области знаков (НЕ a-zA-Z) может оказаться и таким же.

Да, конечно же тут идёт речь об анализе алфавита, но ни в коем случае НЕ ЯЗЫКА.

4
  • В принципе, можно составить подобную табличку для пар (или троек) букв и посчитать к примеру для английского и немецкого - распределение явно будет разным, по крайней мере для каких-то характерных сочетаний. Тогда можно будет говорить об определении языка. Кстати, интересная тема для исследования
    – insolor
    26 апр 2013 в 4:00
  • Определение по парам тоже используется, и оно достаточно надёжно. Например, для восстановления текста из "ломаных" перекодировок а-ля win/koi/iso/utf, etc.
    – user6550
    26 апр 2013 в 6:50
  • 3
    Мне почему-то кажется, что ТС спрашивает о куда более простой вещи — просто узнать, вводит ли юзер русские символы или английские (типа, чтоб возле поля ввода пароля отобразить RU или EN). Если так, то лучше использовать API оси для получения активной раскладки. Если же нужно определить, символы какого языка преобладают в тексте, то можно поступить как-то так: if (str.replace(/[a-z]/i, '').length < str.replace(/[а-я]/i, '').length) language = EN; else language = RU; Извиняюсь за не C#, думаю, суть понятна
    – Bars
    26 апр 2013 в 8:37
  • @Bars, спасибо, КО! Задача, интересующая ТС решается тривиально, и потому не интересна. Задача определения языка по предложению/слову записанному латиницей более интересна, хотя конечно же не имеет 100% правильного решения.
    – insolor
    26 апр 2013 в 16:22
1

Для определения языка будет достаточно следующего простого кода:

static void Main(string[] args)
    {
        const string enWord = "Test";
        const string ruWord = "Тест";

        if (enWord.Any(wordByte => wordByte > 127))
        {
            Console.WriteLine("Russian Language Detected in enWord");
        }

        if (ruWord.Any(wordByte => wordByte > 127))
        {
            Console.WriteLine("Russian Language Detected on ruWord");
        }

        Console.ReadKey();
    }
11
  • He wrote "сам такой", that it means? Какой язык определится?
    – user6550
    30 апр 2013 в 9:30
  • wordByte > 127, сильно. А как вы китайский отличать собрались от французского?
    – VladD
    30 апр 2013 в 9:32
  • Вопрос читали?Необходимо определение "кириллицы/латиницы", т.е. о смешанных предложениях "кириллица и латиница" никто не говорил. To VladD: О китайском и французском вы где в вопросе прочитали?
    – MxMaxxtor
    30 апр 2013 в 9:50
  • @MxMaxxtor, а вот ни Вы, ни остальные авторы, отвечавшие ранее, совершенно не обратили внимание, что есть много кодировок кириллицы (в т.ч. utf-8) и это сильно (на практике) усложняет задачу, по сути делая неработоспособными предложенные подходы (без соответствующей их модификации).
    – avp
    30 апр 2013 в 10:56
  • 1
    @avp .NET Framework хранит строки в Unicode. Коды в стандарте Юникод разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Таблица ASCII до 127 СОДЕРЖИТ АНГЛИЙСКИЙ АЛФАВИТ, знаки пунктуации, цифры и непечатаемые знаки (которые нам в данном случае не важны). Для определения языка символов из двух вариантов (кириллицы/латиницы) этого более чем достаточно!
    – MxMaxxtor
    30 апр 2013 в 11:10
0

Могу предложить необычный способ:

  1. берем произвольных 2-4 слов из текста
  2. отправляем в API Google переводчика
  3. если смогли перевести с английского - значит текст английский, если не смогли, то проверяем можно ли его перевести с русского. :)

В общем, решение зависит от постановки задачи и ее контекста.

2
  • 1) Как был получен диапазон 2-4? 3) Почему вы считаете, что если гугл-переводчик перевел с английского, то исходный текст был английским? 26 апр 2013 в 5:25
  • 1) я лишь предположил. автору (Если выберет предложенный мной вариант) нужно будет подобрать свое число слов. 2) если гугл перевел большую часть слов, то можно с определенной вероятностью утверждать, что язык найден. еще раз повторю зависит от контекста. если программа автора подразумевает использование только русского и английского (что немаловероятно), то мой метод вполне подходит. и язык будет определяться однозначно. 26 апр 2013 в 5:41
0

Если предполагается, что запрос с кириллицой можно считать русским, а запрос её не содержащий - английским:

Способ 1 - используем Regex.IsMatch

static bool IsRussian(string text)
{
    return Regex.IsMatch(text, "[а-яА-ЯеЁ]");
}

Способ 2 - с использованием строковой константы

static bool IsRussian(string text)
{
    const string russianLetters = 
        "абвгдеёжзийклмнопрстуфхцчшщъыьэюяАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ";
    return text.Any(letter => russianLetters.Contains(letter));
}

Способ 3 - выдираем с помощью кодов Юникода все русские символы в отдельное множество/список

static bool IsRussian(string text)
{
    var russianLetters = new HashSet<char>();
    for (int i = 1040; i < 1072; i++)
    {
        russianLetters.Add((char)i); // верхний регистр
        russianLetters.Add((char)(i + 32)); // нижний регистр
    }
    russianLetters.Add((char)1025); // Ё
    russianLetters.Add((char)1105); // ё

    var isRussian = text.Any(x => russianLetters.Contains(x));

    return isRussian;
}

Подробнее про последний способ можно почитать тут: http://csharpprogramming.ru/uroki-po-c/kak-mozhno-bystro-poluchit-vse-bukvy-russkogo-ili-anglijskogo-alfavita

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.