Вопросы с меткой [лексер]

Руководство по использованию метки отсутствует.

Фильтрация
Сортировка
Метки
5 голосов
1 ответ
6k показов

В чём разница между парсером и лексером?

Если я описал синтаксис языка программирования с помощью yacc-подобной утилиты, то это парсер или лексер? Как строго определяются эти термины?
Vladimir Gordeev's user avatar
1 голос
1 ответ
2k показов

Регулярное выражение для лексического анализатора C#

Стоит задача реализовать лексер для конструкции if/else на C#, решил реализовать это путем последовательного пропуска входной строки через регэкспы, с которыми начал разбираться недавно. При написании ...
Сергей's user avatar
1 голос
1 ответ
448 показов

Как работает данный лексер ? Не очень понимаю принцип работы

Класс main public class main { public static void main(String args[]){ Lexems lex = new Lexems(); LinkedList<Token> tokens = new LinkedList<Token>(); ...
Maxim's user avatar
  • 15
1 голос
1 ответ
69 показов

При попытке парсинга кода регулярными выражениями выводится ошибка

Я делаю скриптовый язык, и у меня проблема разбиения кода на токены. У меня есть файл Lexer.py: from game.sl.TokenType import token_types_list from game.sl.Token import * class Lexer: def __init__(...
Kewsen's user avatar
  • 49
1 голос
0 ответов
293 показа

Понять лексер на конечном автомате

Привет!Хочу понять как сделать лекссер на C++.Анализировал лексеры на Питон.Там было понятно.Очень хотелось бы понять лексер на конечном автомате который я нашел на англоязычном сайте.Понимаю что код ...
Константин's user avatar
0 голосов
2 ответа
902 показа

Написание лексера: алгоритм

Здравствуйте! Пишу лексер. Делаю так: считываю один символ из файла, смотрю, что за символ: switch(_symbol){ case '.': return "[symbol: DOT]"; ... } Но чтобы определить, ключевое ли это ...
user avatar
0 голосов
1 ответ
87 показов

Как работает RegEx Engine?

Как работает RegEx Engine внутри? Это же не просто проход по строке (через while, например) и поиск нужных символов и последовательностей симовлов, так как это было бы очень медленно?
kaylil_01's user avatar
  • 762
0 голосов
2 ответа
625 показов

Разбить строку на отдельные токены

Есть строка data = 'Myvar5:=arr[-10];' Как из неё получить ['Myvar5', ':', '=', 'arr', '[', '-', '10', ']', ';'] ?
vazhnoah's user avatar
0 голосов
1 ответ
137 показов

Как лексический анализатор кода работает со "значащими" пробелами? С++

Решил начать изучать, хотя бы в общих чертах, как работают анализаторы. Начал с лексера. В некоторых статьях сказано, что лексер при сканировании кода сначала убирает все пробелы из файла. Отсюда ...
ComeInRage's user avatar
  • 1,611
0 голосов
0 ответов
59 показов

Этапы работы компилятора

Читаем википедию: Процесс компиляции, как правило, состоит из нескольких этапов: лексический анализ; синтаксический анализ; семантический анализ; ... Вроде и перечисленные виды анализов описаны в ...
sitev_ru's user avatar
  • 2,042