2

Не могу понять, в чем сложность написания компилятора и нужно ли его вообще писать? Разве нет универсального компилятора - типа нажал "импорт" и все автоматически перевелось в машинный язык. Вопрос возник, потому что в интернете много противоречивой информации на этот счет.

Насколько я понимаю компилятор нужен, чтобы преобразовать какую-нибудь программу на языке высокого уровня (например С "си") в машинный код, который понимает процессор. Но ведь программа - это набор инструкций на языке высокого уровня, которым соответствует битовая последовательность на языке низкого уровня. Разве в языках программирования высокого уровня нет грубо говоря "программы перевода" на низкий уровень, называемый компиляцией?

Встречал информацию, что многие компании-разработчики сами пишут отдельные компиляторы под свои продукты. Но так ли это, если если командам языка высокого уровня соответствует некая команда на низком уровне (разумеется для разных языков своя) и по идее писать ничего не надо (все уже должно быть 30 лет назад написано)?

Также в интернете пишут, что компилируемые языки сложнее интерпретируемых, потому что после написания программы на компилируемых языках ее нужно компилировать? А в чем сложность? Если я правильно понимаю, то уже давно существует соответствие команд высокого уровня битовой последовательности низкого (разумеется для каждого языка свое соответствие)? Или все совсем не так, тогда что из себя технически представляет компилирование на языке высокого уровня?

13
  • 1
    "по идее писать ничего не надо (все уже должно быть 30 лет назад написано)?" во-первых, для нового языка еще не написан анализатор - алгоритм (лексический, синтаксический), который между тем является самой сложной частью компилятора. во-вторых, то что генераторы машинного кода (или байткода .NET, JVM) кем-то где-то написаны не означает возможность их юзать. они могут быть платными, проприетарными и не доступными как модуль для использования с другим анализатором. в-третьих если и доступны, то отсутствие доков и др. проблемы портят дело. 17 ноя 2017 в 21:38
  • "Не могу понять, в чем сложность написания компилятора" а она и не особа велика для опытного программиста даже с учетом анализатора. Основные проблемы создания своих продуктов совсем иные. Прежде всего это отсутствие инвестиций вкупе с тем, что для создания своего "языка прогр." (как реального продукта, а не студенческой поделки для курсача\диплома) нужно гораздо больше инвестиций, чем для создания его компилятора, который лишь часть его экосистемы - с тоннами библиотек, с IDE, форумами, доками. 17 ноя 2017 в 21:41
  • @koshkashoshka Я говорю про известные языки, а не новые. И ответы разнятся, VladD говорит, что очень сложно, а вы, что не сложно. 17 ноя 2017 в 21:48
  • Для понимания темы какой именно язык в общем-то не важно. Пишем компилятор -- просто почитайте
    – avp
    17 ноя 2017 в 21:53
  • 1
    "то уже давно существует соответствие команд высокого уровня битовой последовательности низкого". Начнем с того, что время от времени (и довольно часто) выходят новые процессоры, а у каждого процессора своя система команд, как минимум некоторые дополнения к системе команд предыдущего процессора в линейке. И разработчики компилятора, что бы скомпилированная программа могла более эффективно работать на новом железе (а иногда и что бы просто могла работать) должны те же самые команды высокого уровня совершенно по иному изображать в двоичном коде
    – Mike
    17 ноя 2017 в 22:03

2 ответа 2

5

Нет, универсального компилятора быть не может хотя бы потому, что в любой момент можно придумать язык с новыми ключевыми словами, которые существующий компилятор не знает.

Насколько я понимаю компилятор нужен, чтобы преобразовать какую-нибудь программу на языке высокого уровня (например С "си") в машинный код, который понимает процессор.

Это верно, обычно так это и есть. (Исключение — компиляторы в промежуточный код, например, компилятор C#.)

Но ведь программа - это набор инструкций на языке высокого уровня, которым соответствует битовая последовательность на языке низкого уровня.

Да. И вот именно переводом инструкций высокого уровня в инструкции низкого уровня и занимается компилятор.

Разве в языках программирования высокого уровня нет грубо говоря "программы перевода" на низкий уровень, называемый компиляцией?

Нету. Языки программирования обычно не содержат инструкции «скомпилировать исходник», это была бы слишком специализированная конструкция. На языке программирования обычно можно написать компилятор, и это нетривиальная задача. Даже если бы такая инструкция и была, то её реализация и была бы реализацией компилятора, который, таким образом, окажется встроенным в язык, но всё равно будет существовать.

Для того, чтобы было понятно, что задача компиляции сложна, представьте себе такую простую вещь, как нахождение всех деклараций переменных в файле с исходником на C++. Для этого вам придётся пробежаться препроцессором, и раскрыть все макросы (каждый из них может менять смысл кода). Затем, вам нужно пробежаться по тексту, и найти все идентификаторы. Все они переменные? Как бы не так, некоторые уже могут быть определены. Окей, ваш код нашёл строчку

T* pt;

Это определение указателя t на тип T? Может, да, а может, нет. Если T и pt — ранее определённые переменные, то это вызов оператора умножения. То есть ваш код должен знать, какие переменные есть к текущему моменту, чтобы понять, является ли данная строчка объявлением новой переменной. А значит, должен знать границы всех функций и всех классов.

Затем, допустим, что у нас есть *, и мы выяснили, что это не объявление указателя, а умножение. Какую инструкцию для него использовать? Если это умножение целых чисел, на интеловской архитектуре можно использовать imul. Если это умножение чисел с плавающей запятой, вам понадобится команда наподобие mulsd (если вы используете XMM-регистры). А если одно из чисел с плавающей запятой, а другое целое, то такой команды умножения у процессора вовсе нет, и вам нужно сконвертировать целое число в число с плавающей точкой. А если у вас перемножаются не числа, а пользовательские структуры данных с перегруженным оператором умножения, то вместо умножения надо и вовсе вызвать функцию.

То, что я описал, не представляет собой и десятой доли процента сложности компилятора C++.

по идее писать ничего не надо (все уже должно быть 30 лет назад написано)?

Новые стандарты языков и новые языковые возможности выходят регулярно, в C#, например, только в этом году вышло три (минорных) версии языка. Старым компилятором невозможно скомпилировать новый код.

Если я правильно понимаю, то уже давно существует соответствие команд высокого уровня битовой последовательности низкого (разумеется для каждого языка свое соответствие)?

Нет, это не так. Вы не можете механически поставить в соответствие ключевому слову for один набор битов машинного кода, а открывающей скобке другой. Такое было бы возможно, если бы семантика машинного кода соответствовала бы семантике всех языков. Например, в C++ есть понятие переменной, которое вовсе отсутствует в машинном коде. То, что по окончанию блока с точки зрения C++ переменная «исчезает», никак не может быть «прямо» закодировано в машинном коде. Компиляция намного сложнее.

нужно ли его вообще писать

Обычно вам это не нужно: к языку автор языка чаще всего выкатывает и компилятор, а если язык популярен, то обычно есть несколько компиляторов под разные платформы. Писать компилятор самостоятельно имеет смысл только если вас не устраивает качество кода, которое дают имеющиеся компиляторы (а оно на текущий момент обычно очень хорошее), или для вашей платформы компилятор никто не написал. Имейте в виду, написание компилятора (и обычно ещё и реализация стандартной библиотеки языка) — очень непростое занятие.

16
  • Но если все так сложно, то программистам, которые пишут на языках высокого уровня приходится также писать и компилятор? Т.е. почти под каждую программу сложный компилятор? 17 ноя 2017 в 21:35
  • 1
    @ПавелИгорев: Самому? Обычно нет, они уже написаны специалистами. Самому можно написать компилятор, но это очень трудная задача.
    – VladD
    17 ноя 2017 в 21:43
  • 1
    @ПавелИгорев Что бы написать интерпретируемый язык достаточно неплохо знать тот язык на котором ты пишешь. А что бы написать компилятор надо хорошо знать на чем пишешь и отлично знать ассемблер платформы для которой пишется компилятор. А платформ на сегодняшний день десятки и нормальный компилятор должен поддерживать большинство. А у каждой платформы собственный язык ассемблера и машинные коды. И в команде разработчиков компилятора должны быть специалисты со знанием этих десятков ассемблеров
    – Mike
    17 ноя 2017 в 22:07
  • 2
    @ПавелИгорев нет нормального обучения этому делу, документация видимо полузакрытая по процессорам, особенностям ОС - тут вы неправы. Что-что, а документация по Intel'у, например, не то что открытая - даже бесплатная (по крайней мере, я когда-то честно заказал - и мне бесплатно из Штатов прислали 4 тома). По операционкам написаны многие тома. Linux вообще идет в исходниках - бери и читай :) Все научные труды по компиляции - в открытом доступе. Ну, а чтоб оценить сложность - возьмите полистать книгу Компиляторы.
    – Harry
    18 ноя 2017 в 4:39
  • 1
    @ПавелИгорев: По работе процессора вам не нужна документация Microsoft. А по базовым функциям ОС прекрасная документация в MSDN. Знание того, как работают кнопки в Word’е, вам для компилятора не понадобятся.
    – VladD
    18 ноя 2017 в 9:56
3

И да, и нет.

Дело в том, что в любом современном компиляторе можно выделить по меньшей мере три этапа, образующие конвейер:

  1. Разбор — перевод исходного кода в некое внутреннее представление.
  2. Оптимизация этого представления с целью уменьшения количества инструкций в программе и увеличения скорости её работы.
  3. Перевод в машинное представление. Заметьте, не просто в инструкции, а именно представление — то есть исполняемый либо объектный файл строго определённого формата, код в котором взаимодействует со своим окружением строго определённым образом.

Было замечено, что эти части повторяются от языка к языку и от платформы к платформе. В результате родились проекты наподобие LLVM, в которых эти этапы выполнены в виде отдельных взаимозаменяемых модулей, сосредоточенных вокруг единого внутреннего ассемблероподобного представления программного кода.

При подобной организации компилятора действительно не надо писать всё с нуля. Достаточно предоставить свой «разборщик» в промежуточное представление (также известный как frontend), и на этом ваша работа заканчивается.

Аналогично и с платформой. Появился новый процессор, или ОС, или формат исполняемого файла — достаточно только предоставить соответствующий «переводчик» (также известный как backend).

То есть вашему frontend-у плевать на целевую платформу (это не его забота), а стороннему backend-у плевать на ваш язык — промежуточное представление едино для всех языков без исключения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.