Как при помощи регулярных выражений сделать проверку кириллицы/латиницы. К примеру, если мы ввели в поле слова на английском, то выполнить такой-то метод, и соответственно для русского языка.
-
Проверку языка - никак. Если же нужно проверять только кириллицу/латиницу - в гугл.– nitrocaster25 апр 2013 в 15:37
-
Вы представляете, сколько всего есть языков? Забудьте об определении языка, максимум что можно — это сопоставить наборы символов. Отделить английский от, скажем, французского невозможно.– VladD25 апр 2013 в 15:57
-
Вы не поняли, я имел ввиду определить если мы ввели кириллицу, то вызвать один метод, если же с латиницей, то другой.– helio25 апр 2013 в 16:21
-
VladD, но в большинстве случаев с этой задачей научились неплохо справляться. Даже есть сервисы, которые предоставляют API ( detectlanguage.com например ).– dzhioev25 апр 2013 в 16:30
-
1@dzhioev: 1. Возьмём слово "cousin". Оно имеет смысл и на английском, и на французском, следовательно, если ввод содержит только это слово, мы в тупике. Ещё меньше различий между, скажем, немецким и швейцарским вариантами немецкого. 2. Язык можно угадать с определённой достоверностью, исходя из большой базы данных слов, а лучше — текстов. Причём нестандартные тексты скорее всего распознаны не будут. 3. Построить базу данных слов всех возможных языков — довольно трудоёмкая, хоть и выполнимая задача, вы не находите?– VladD25 апр 2013 в 16:49
4 ответа
Регекспами это не делается (точнее, делается, но очень хрупко и очень неточно). Лучше всего делать частотный анализ символов, для латиницы вы должны получить... Да фиг знает, вот прошёлся по первому попавшемуся файлу на английском (около 330 Kb):
32 => 29.40% (96622)
! => 0.04% (121)
" => 1.45% (4762)
# => 0.13% (412)
$ => 0.46% (1524)
% => 0.07% (229)
& => 0.02% (72)
' => 0.28% (926)
( => 0.46% (1526)
) => 0.46% (1526)
* => 0.10% (325)
+ => 0.02% (74)
, => 1.09% (3598)
- => 0.26% (860)
. => 0.76% (2482)
/ => 0.12% (382)
0 => 1.42% (4654)
1 => 0.24% (801)
2 => 0.16% (539)
3 => 0.08% (255)
4 => 0.10% (322)
5 => 0.06% (204)
6 => 0.08% (266)
7 => 0.05% (154)
8 => 0.08% (272)
9 => 0.03% (99)
: => 0.23% (756)
; => 0.27% (882)
< => 0.07% (228)
= => 0.25% (815)
> => 0.10% (321)
? => 0.01% (41)
@ => 0.09% (304)
A => 0.27% (895)
B => 0.08% (272)
C => 0.18% (585)
D => 0.14% (450)
E => 0.37% (1210)
F => 0.16% (540)
G => 0.06% (195)
H => 0.10% (337)
I => 0.40% (1329)
J => 0.01% (24)
K => 0.04% (131)
L => 0.23% (747)
M => 0.08% (269)
N => 0.21% (696)
O => 0.20% (663)
P => 0.23% (753)
Q => 0.01% (19)
R => 0.26% (853)
S => 0.34% (1129)
T => 0.37% (1215)
U => 0.08% (277)
V => 0.06% (186)
W => 0.05% (148)
X => 0.09% (305)
Y => 0.06% (185)
Z => 0.01% (39)
[ => 0.03% (98)
\ => 0.08% (249)
] => 0.03% (97)
^ => 0.02% (54)
_ => 0.20% (646)
` => 0.01% (19)
a => 4.15% (13651)
b => 0.84% (2761)
c => 1.90% (6239)
d => 1.93% (6328)
e => 7.55% (24821)
f => 1.61% (5290)
g => 0.98% (3211)
h => 2.22% (7281)
i => 4.03% (13233)
j => 0.04% (121)
k => 0.37% (1232)
l => 2.63% (8643)
m => 1.45% (4753)
n => 4.01% (13195)
o => 3.95% (12988)
p => 1.45% (4780)
q => 0.08% (266)
r => 3.75% (12320)
s => 4.09% (13445)
t => 5.40% (17759)
u => 1.90% (6257)
v => 0.55% (1802)
w => 0.64% (2089)
x => 0.34% (1125)
y => 0.98% (3235)
z => 0.05% (164)
{ => 0.09% (303)
| => 0.03% (95)
} => 0.09% (299)
~ => 0.01% (23)
total: 328678 (100.00%)
Очевидно, если текст будет на кириллице, распределение будет совершенно другим. Хотя в области знаков (НЕ a-zA-Z) может оказаться и таким же.
Да, конечно же тут идёт речь об анализе алфавита, но ни в коем случае НЕ ЯЗЫКА.
-
В принципе, можно составить подобную табличку для пар (или троек) букв и посчитать к примеру для английского и немецкого - распределение явно будет разным, по крайней мере для каких-то характерных сочетаний. Тогда можно будет говорить об определении языка. Кстати, интересная тема для исследования– insolor26 апр 2013 в 4:00
-
Определение по парам тоже используется, и оно достаточно надёжно. Например, для восстановления текста из "ломаных" перекодировок а-ля win/koi/iso/utf, etc.– user655026 апр 2013 в 6:50
-
3Мне почему-то кажется, что ТС спрашивает о куда более простой вещи — просто узнать, вводит ли юзер русские символы или английские (типа, чтоб возле поля ввода пароля отобразить RU или EN). Если так, то лучше использовать API оси для получения активной раскладки. Если же нужно определить, символы какого языка преобладают в тексте, то можно поступить как-то так: if (str.replace(/[a-z]/i, '').length < str.replace(/[а-я]/i, '').length) language = EN; else language = RU; Извиняюсь за не C#, думаю, суть понятна– Bars26 апр 2013 в 8:37
-
@Bars, спасибо, КО! Задача, интересующая ТС решается тривиально, и потому не интересна. Задача определения языка по предложению/слову записанному латиницей более интересна, хотя конечно же не имеет 100% правильного решения.– insolor26 апр 2013 в 16:22
Для определения языка будет достаточно следующего простого кода:
static void Main(string[] args)
{
const string enWord = "Test";
const string ruWord = "Тест";
if (enWord.Any(wordByte => wordByte > 127))
{
Console.WriteLine("Russian Language Detected in enWord");
}
if (ruWord.Any(wordByte => wordByte > 127))
{
Console.WriteLine("Russian Language Detected on ruWord");
}
Console.ReadKey();
}
-
He wrote "сам такой", that it means? Какой язык определится?– user655030 апр 2013 в 9:30
-
wordByte > 127
, сильно. А как вы китайский отличать собрались от французского?– VladD30 апр 2013 в 9:32 -
Вопрос читали?Необходимо определение "кириллицы/латиницы", т.е. о смешанных предложениях "кириллица и латиница" никто не говорил. To VladD: О китайском и французском вы где в вопросе прочитали? 30 апр 2013 в 9:50
-
@MxMaxxtor, а вот ни Вы, ни остальные авторы, отвечавшие ранее, совершенно не обратили внимание, что есть много кодировок кириллицы (в т.ч. utf-8) и это сильно (на практике) усложняет задачу, по сути делая неработоспособными предложенные подходы (без соответствующей их модификации).– avp30 апр 2013 в 10:56
-
1@avp .NET Framework хранит строки в Unicode. Коды в стандарте Юникод разделены на несколько областей. Область с кодами от U+0000 до U+007F содержит символы набора ASCII с соответствующими кодами. Таблица ASCII до 127 СОДЕРЖИТ АНГЛИЙСКИЙ АЛФАВИТ, знаки пунктуации, цифры и непечатаемые знаки (которые нам в данном случае не важны). Для определения языка символов из двух вариантов (кириллицы/латиницы) этого более чем достаточно! 30 апр 2013 в 11:10
Могу предложить необычный способ:
- берем произвольных 2-4 слов из текста
- отправляем в API Google переводчика
- если смогли перевести с английского - значит текст английский, если не смогли, то проверяем можно ли его перевести с русского. :)
В общем, решение зависит от постановки задачи и ее контекста.
-
1) Как был получен диапазон 2-4? 3) Почему вы считаете, что если гугл-переводчик перевел с английского, то исходный текст был английским? 26 апр 2013 в 5:25
-
1) я лишь предположил. автору (Если выберет предложенный мной вариант) нужно будет подобрать свое число слов. 2) если гугл перевел большую часть слов, то можно с определенной вероятностью утверждать, что язык найден. еще раз повторю зависит от контекста. если программа автора подразумевает использование только русского и английского (что немаловероятно), то мой метод вполне подходит. и язык будет определяться однозначно. 26 апр 2013 в 5:41
Если предполагается, что запрос с кириллицой можно считать русским, а запрос её не содержащий - английским:
Способ 1 - используем Regex.IsMatch
static bool IsRussian(string text)
{
return Regex.IsMatch(text, "[а-яА-ЯеЁ]");
}
Способ 2 - с использованием строковой константы
static bool IsRussian(string text)
{
const string russianLetters =
"абвгдеёжзийклмнопрстуфхцчшщъыьэюяАБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯ";
return text.Any(letter => russianLetters.Contains(letter));
}
Способ 3 - выдираем с помощью кодов Юникода все русские символы в отдельное множество/список
static bool IsRussian(string text)
{
var russianLetters = new HashSet<char>();
for (int i = 1040; i < 1072; i++)
{
russianLetters.Add((char)i); // верхний регистр
russianLetters.Add((char)(i + 32)); // нижний регистр
}
russianLetters.Add((char)1025); // Ё
russianLetters.Add((char)1105); // ё
var isRussian = text.Any(x => russianLetters.Contains(x));
return isRussian;
}
Подробнее про последний способ можно почитать тут: http://csharpprogramming.ru/uroki-po-c/kak-mozhno-bystro-poluchit-vse-bukvy-russkogo-ili-anglijskogo-alfavita