Мне кажется, что этот вопрос скорее из плоскости философии, но всё равно было бы неплохо разобраться. Итак, начну немного издалека, чтобы была понятна суть. Абсолютно любой язык программирования, в том числе и упомянутый в заголовке Java, является формой формального языка, который предназначен для записи компьютерных программ. Если говорить грубо, то формальный язык представляет собой математическую модель реального языка и содержит набор правил, которые позволяют определить язык, в том числе множество грамматик (в иерархии Хомского выделено 4 типа формальных грамматик), предназначенных для этих целей. Разумеется, что каждый язык имеет свой алфавит, так что формальные языки не выпадают из этого правила и также подразумевают наличие некоторого множества атомарных символов, которые позволят выстраивать слова на этом языке и выступать в качестве основы терминальных символов. Запомним этот момент, так как он нам ещё пригодится.
Как только мы начинаем знакомиться с JLS, то уже во второй главе узнаём о том, что Java относится к формальным языкам с контекстно-свободной грамматикой, что и не сильно удивляет, так как подавляющее большинство языков программирования описывается именно при помощи этого типа формальной грамматики. Какую основную мысль мы можем выделить из этого для себя? Если мы имеем дело с КС-грамматикой, то любую лексическую и синтаксическую структуру, мы будем описывать при помощи продукций, в левой части которых всегда будет находиться исключительно один нетерминальный символ (отсутствует окружающий его контекст), который может быть выражен через некоторое сочетание, как терминальных, так и нетерминальных символов, начиная с целевого символа.
Чтобы понять, чем ограничен алфавит языка программирования Java, давайте обратим внимание на одну из продукций, которая представлена в разделе 3.3. Unicode Escapes
. Приведу её полностью.
UnicodeInputCharacter:
UnicodeEscape
RawInputCharacter
UnicodeEscape:
\ UnicodeMarker HexDigit HexDigit HexDigit HexDigit
UnicodeMarker:
u {u}
HexDigit:
(one of)
0 1 2 3 4 5 6 7 8 9 a b c d e f A B C D E F
RawInputCharacter:
any Unicode character
Здесь нас больше всего интересует фраза any Unicode character
, которая чётко даёт понять, что в качестве необработанного входного символа может выступать совершенно любой символ стандарта Unicode. И вот тут напрашивается вопрос. Любой Unicode-символ? Что именно подразумевалось в данном контексте под словом «любой»? Все символы, которые описаны стандартом по состоянию на сегодняшний день? Или же всё то кодовое пространство, которое описывается в общем и целом?
Здесь ведь вот какой интересный момент возникает. Я даже не буду брать пробельные символы (в том числе ограничители строк) и комментарии, они всё равно относятся к разряду незначащих и полностью игнорируются компилятором. Возьмём хотя бы лексические токены, которые составляют основу любой Java-программы. С ключевыми словами, операторами и разделителями всё понятно, их набор заранее определён и фиксирован спецификацией языка. А сколько тех же Unicode-символов можно использовать при составлении корректных идентификаторов? Выяснить это достаточно легко. Воспользовался методами Character.isJavaIdentifierPart(codepoint)
и Character.isJavaIdentifierStart(codepoint)
, которые поместил в тело цикла и прогнал через них все возможные значения кодовых позиций. Итак, многих это может удивить, но в качестве начального символа нашего Java-идентификатора мы можем использовать 125,951 различный Unicode-символ! И это только результат работы метода Character.isJavaIdentifierStart(codepoint)
. К примеру, тот же Character.isJavaIdentifierPart(codepoint)
, сообщает нам, что частью корректного Java-идентификатора может быть уже 129,053 символа. Во всяком случае, эта информация достоверна для версии Java SE 14, которая официально поддерживает Unicode 12.1. Такое огромное количество связано с тем, что в составе идентификатора могут быть фактически любые буквы национальных алфавитов, куча иероглифов, валютные символы, форматирующие и даже управляющие, не говоря уже о многих других символах, типа различных разновидностей пробелов и других специальных символов (к примеру, U+2060
WORD JOINER, U+2061
FUNCTION APPLICATION, U+2062
INVISIBLE TIMES, U+2063
INVISIBLE SEPARATOR и даже некоторые дефисы, такие как мягкий дефис (U+00AD
), дефис слога (U+00СA
) и т. д).
А вот когда мы подбираемся к литералам, особенно к строковым, то понимаем, что раздолье наступает такое, что нас уже не остановить. Мы можем использовать фактически любой символ из UCS, а это 1,114,112 кодовых позиций, если брать суммарно. Здесь конечно можно возразить и сразу же вычесть верхние и нижние суррогаты (2,048 кодовых позиций), а там ещё порассуждать над целесообразностью учёта символов, которые помечены, как <not a character>
, а также те, которые зарезервированы под частное использование. Хотя мы можем спокойно использовать любой codepoint в своих личных целях, даже те, которые выделены под суррогаты.
Так какую же величину имеет наш алфавит? 1,114,112 символов (если охватывать всё кодовое пространство Unicode)? 1,112,064, если вычесть из этого количества суррогаты? Или и вовсе 143,924 символа, если брать в расчёт исключительно символы, которые имеют графическое представление, а также форматирующие и управляющие. И то, это будет справедливо для Unicode 13.0. А если учитывать тот факт, что класс java.lang.Character в Java SE 14 поддерживает лишь версию Unicode 12.1, то правильно ли говорить, что в нашем распоряжении ещё меньше символов, а точнее 137,994 (именно столько символов однозначно определено в этой версии Unicode)? Этот вопрос всегда волновал, так как неопределённость мне не очень нравится и всегда хочется дать чёткий ответ на поставленный вопрос. Лично я считаю, что мы можем использовать абсолютно все кодовые позиции так, как посчитаем нужным (такая возможность есть, но так лучше не делать). Именно поэтому, если мы больше говорим о теории, то мне кажется, что мы упираемся лишь в ограничения самого стандарта и кодировки UTF-16. Согласны со мной? Или я всё-таки не совсем верно рассуждаю и 1,114,112 символов далеки от истины? Интересно Ваше мнение по данному вопросу! :)