Как создать свой язык программирования

№5 Go

Компилируемый многопоточный язык от Google - https://ru.wikipedia.org/wiki/Go

№6 PHP

PHP - это изначально и до сих пор главный язык в вебе. Его основная задача - написание кода для серверной части веб-сервисов.

Пример кода:

№7-8 C/C++

Классические компилируемые языки, которые позволяют как работать с железом на низком уровне для написания драйверов и операционных систем, так и на высоком, для разработки прикладных приложений, например, используя Qt или Windows Forms.

#include #include // для system using namespace std; int main() < cout 

№9 Typescript

Объектно-ориентированный аналог Javascript от Microsoft, который транслируется в него. Сфера применения - аналогична.

№10 С Sharp

С# - это изначально аналог Java от компании Microsoft. На этом объектно-ориентированном (это парадигма) JIT-компилируемом языке общего назначения можно писать программы для платформ Microsoft: настольные приложения для Windows и Windows Phone, веб-сервисы на ASP.MVC, игры на Unity.

Сейчас Microsoft активно продвигает решения для запуска программ на C# на других платформах (.NET Core, Mono), а также решения для разработки кроссплатформенных мобильных приложений на этом языке - Xamarin.

Пример кода:

using System; using System.Collections.Generic; using System.Linq; using System.Text; namespace check1 < class Program < static void Main(string[] args) < int i; Console.Write("Enter a Number : "); i = int.Parse(Console.ReadLine()); if (i % 2 == 0) < Console.Write("Entered Number is an Even Number"); Console.Read(); >else < Console.Write("Entered Number is an Odd Number"); Console.Read(); >> > >

Изотерические языки программирования

Изотерические языки программирования - это отдельный класс языков, которые разработаны либо с целью изучения границ возможностей разработки языков, либо, в качестве шутки.

Обычно такие языки состоят всего из нескольких команд, однако полны по Тьюрингу, т.е. теоретически позволяют написать произвольную программу.

Наиболее известный изотерический язык - Brainfuck - состоит всего из восьми операций, которые обозначаются знаками арифметических операций и скобочками.

Другой пример - язык Petooh - состоит из криков петуха.

Свой язык программирования

Принцип работы

Если языков так много, то почему бы не придумать свой?

В таком случае перед нами встает две проблемы: язык нужно придумать, а затем написать для него транслятор.

Даже если мы придумаем идеальный язык, без транслятора никто не сможет написать программу на нем. К задаче написания транслятора есть два подхода:

1. Написать транслятор в машинный код. Это задача выполнимая, но на нашем уровне - очень сложная. Если вам интересна эта тема, можно начать копать здесь и здесь.
2. Написать транслятор в другой язык, для которого уже существует транслятор в машинный код. Например, транслировать наш язык в питон или яваскрипт. Так работают Petooh (транслируется в десяток языков), язык для реальных пацанов (транслируется в javascript) и, разработанный авторами этого курса, язык pithon [писон] (транслируется в python).

Второй вариант выглядит гораздо доступнее, поэтому выбрать на этом этапе предлагается именно его. Транслировать мы будем, конечно, в python.

Требования к языку

Чтобы языком можно было пользоваться, он должен поддерживать достаточное количество операций, включая:

• определение переменных
• операции с переменными
• условный оператор, логические операции
• циклы

Для каждой из этих операций можно придумать свое название и синтаксис, но, учитывая необходимость трансляции, старайтесь всегда держать в голове процесс преобразования вашего языка в Python.

В самом простом случае в вашем языке можно просто переназвать все команды, а в процессе трансляции использовать replace для замены на команды из питона.

Как написать свой язык программирования

Веб разработчик вот уже 10 лет. Начинал по классике, с бекенда на PHP. Постепенно расширял кругозор: пробовал разные языки и технологии, занимался DevOps и поднимал сервера, управлял проектами и собирал команды. Последние 4 года акцентирую свое внимание на front-end и на работе с командами. Работаю в компании ЦИАН руководителем группы front-end разработки.

Разрабатывал транспиляторы для ES6, когда babel еще не существовал. Создавал собственные языки программирования (на поиграть) и DSL (для работы). Сейчас работаю над оптимизирующем компилятором для React и TypeScript.

У каждого программиста рано или поздно появляется желание создать собственный язык программирования 🙂 У меня это желание появилось несколько лет назад и тогда я не знал с чего начать.

На этом мастер-классе я хочу концентрированно поделиться своим опытом и показать вам на примерах, как сделать так, чтобы из исходного кода придуманного вами языка получилась работающая программа.

После мастер-класса вы будете обладать всеми знаниями, чтобы быстро продолжить свое погружение в удивительный и интересный мир языков программирования. Также эти знания позволят вам лучше понимать то, что происходит под капотом у тех языков программирования, которые вы используете каждый день.

На мастер-классе мы создадим простейший интерпретируемый язык и пройдем через несколько этапов:

- Как прочитать исходный файл (токенизация);
- Как понять, что написано в исходном файле (парсинг);
- Как из исходного файла сделать исполняемый код (компиляция);
- Как запустить исполняемый код (интерпретация).

Бонус темы:
- Как оптимизировать исполняемый код (оптимизация);
- Как проверить валидность кода (статический анализ).

В работе будем использовать JavaScript, потому что это самый общеизвестный язык программирования в веб отрасли. Подготовьтесь заранее и установите себе на компьютер стабильную LTS версию Node.js (>=6.10.0 <7.0.0).

Как создать свой язык программирования: теория, инструменты и советы от практика

На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.

На протяжении последних шести месяцев я работал над созданием языка программирования (ЯП) под названием Pinecone. Я не рискну назвать его законченным, но использовать его уже можно — он содержит для этого достаточно элементов, таких как переменные, функции и пользовательские структуры данных. Если хотите ознакомиться с ним перед прочтением, предлагаю посетить официальную страницу и репозиторий на GitHub.

Введение

Я не эксперт. Когда я начал работу над этим проектом, я понятия не имел, что делаю, и всё еще не имею. Я никогда целенаправленно не изучал принципы создания языка — только прочитал некоторые материалы в Сети и даже в них не нашёл для себя почти ничего полезного.

Тем не менее, я написал абсолютно новый язык. И он работает. Наверное, я что-то делаю правильно.

В этой статье я постараюсь показать, каким образом Pinecone (и другие языки программирования) превращают исходный код в то, что многие считают магией. Также я уделю внимание ситуациям, в которых мне приходилось искать компромиссы, и поясню, почему я принял те решения, которые принял.

Текст точно не претендует на звание полноценного руководства по созданию языка программирования, но для любознательных будет хорошей отправной точкой.

Первые шаги

«А с чего вообще начинать?» — вопрос, который другие разработчики часто задают, узнав, что я пишу свой язык. В этой части постараюсь подробно на него ответить.

Компилируемый или интерпретируемый?

Компилятор анализирует программу целиком, превращает её в машинный код и сохраняет для последующего выполнения. Интерпретатор же разбирает и выполняет программу построчно в режиме реального времени.

Технически любой язык можно как компилировать, так и интерпретировать. Но для каждого языка один из методов подходит больше, чем другой, и выбор парадигмы на ранних этапах определяет дальнейшее проектирование. В общем смысле интерпретация отличается гибкостью, а компиляция обеспечивает высокую производительность, но это лишь верхушка крайне сложной темы.

Я хотел создать простой и при этом производительный язык, каких немного, поэтому с самого начала решил сделать Pinecone компилируемым. Тем не менее, интерпретатор у Pinecone тоже есть — первое время запуск был возможен только с его помощью, позже объясню, почему.

Выбор языка

Своеобразный мета-шаг: язык программирования сам является программой, которую надо написать на каком-то языке. Я выбрал C++ из-за производительности, большого набора функциональных возможностей, и просто потому что он мне нравится.

Но в целом совет можно дать такой:

• интерпретируемый ЯП крайне рекомендуется писать на компилируемом ЯП (C, C++, Swift). Иначе потери производительности будут расти как снежный ком, пока мета-интерпретатор интерпретирует ваш интерпретатор;
• компилируемый ЯП можно писать на интерпретируемом ЯП (Python, JS). Возрастёт время компиляции, но не время выполнения программы.

Проектирование архитектуры

У структуры языка программирования есть несколько ступеней от исходного кода до исполняемого файла, на каждой из которых определенным образом происходит форматирование данных, а также функции для перехода между этими ступенями. Поговорим об этом подробнее.

Лексический анализатор / лексер

На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.

Первый шаг в большинстве ЯП — это лексический анализ. Говоря по-простому, он представляет собой разбиение текста на токены, то есть единицы языка: переменные, названия функций (идентификаторы), операторы, числа. Таким образом, подав лексеру на вход строку с исходным кодом, мы получим на выходе список всех токенов, которые в ней содержатся.

Обращения к исходному коду уже не будет происходить на следующих этапах, поэтому лексер должен выдать всю необходимую для них информацию.

Flex

При создании языка первым делом я написал лексер. Позже я изучил инструменты, которые могли бы сделать лексический анализ проще и уменьшить количество возникающих багов.

Одним из основных таких инструментов является Flex — генератор лексических анализаторов. Он принимает на вход файл с описанием грамматики языка, а потом создаёт программу на C, которая в свою очередь анализирует строку и выдаёт нужный результат.

Моё решение

Я решил оставить написанный мной анализатор. Особых преимуществ у Flex я в итоге не увидел, а его использование только создало бы дополнительные зависимости, усложняющие процесс сборки. К тому же, мой выбор обеспечивает больше гибкости — например, можно добавить к языку оператор без необходимости редактировать несколько файлов.

Синтаксический анализатор / парсер

На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.

Следующая стадия — парсер. Он преобразует исходный текст, то есть список токенов (с учётом скобок и порядка операций), в абстрактное синтаксическое дерево, которое позволяет структурно представить правила создаваемого языка. Сам по себе процесс можно назвать простым, но с увеличением количества языковых конструкций он сильно усложняется.

Bison

На этом шаге я также думал использовать стороннюю библиотеку, рассматривая Bison для генерации синтаксического анализатора. Он во многом похож на Flex — пользовательский файл с синтаксическими правилами структурируется с помощью программы на языке C. Но я снова отказался от средств автоматизации.

Преимущества кастомных программ

С лексером моё решение писать и использовать свой код (длиной около 200 строк) было довольно очевидным: я люблю задачки, а эта к тому же относительно тривиальная. С парсером другая история: сейчас длина кода для него — 750 строк, и это уже третья попытка (первые две были просто ужасны).

Тем не менее, я решил делать парсер сам. Вот основные причины:

• минимизация переключения контекста;
• упрощение сборки;
• желание справиться с задачей самостоятельно.

В целесообразности решения меня убедило высказывание Уолтера Брайта (создателя языка D) в одной из его статей:

Абстрактный семантический граф

На данный момент этот блок не поддерживается, но мы не забыли о нём! Наша команда уже занята его разработкой, он будет доступен в ближайшее время.

В этой части я реализовал структуру, по своей сути наиболее близкую к «промежуточному представлению» (intermediate representation) в LLVM. Существует небольшая, но важная разница между абстрактным синтаксическим деревом (АСД) и абстрактным семантическим графом (АСГ).

АСГ vs АСД

Грубо говоря, семантический граф — это синтаксическое дерево с контекстом. То есть, он содержит информацию наподобие какой тип возвращает функция или в каких местах используется одна и та же переменная. Из-за того, что графу нужно распознать и запомнить весь этот контекст, коду, который его генерирует, необходима поддержка в виде множества различных поясняющих таблиц.

Запуск

После того, как граф составлен, запуск программы становится довольно простой задачей. Каждый узел содержит реализацию функции, которая получает некоторые данные на вход, делает то, что запрограммировано (включая возможный вызов вспомогательных функций), и возвращает результат. Это — интерпретатор в действии.

Варианты компиляции

Вы, наверное, спросите, откуда взялся интерпретатор, если я изначально определил Pinecone как компилируемый язык. Дело в том, что компиляция гораздо сложнее, чем интерпретация — я уже упоминал ранее, что столкнулся с некоторыми проблемами на этом шаге.

Написать свой компилятор

Сначала мне понравилась эта мысль — я люблю делать вещи сам, к тому же давно хотел изучить язык ассемблера. Вот только создать с нуля кроссплатформенный компилятор — сложнее, чем написать машинный код для каждого элемента языка. Я счёл эту идею абсолютно не практичной и не стоящей затраченных ресурсов.

LLVM

LLVM — это коллекция инструментов для компиляции, которой пользуются, например, разработчики Swift, Rust и Clang. Я решил остановиться на этом варианте, но опять не рассчитал сложности задачи, которую перед собой поставил. Для меня проблемой оказалось не освоение ассемблера, а работа с огромной многосоставной библиотекой.

Транспайлинг

Мне всё же нужно было какое-то решение, поэтому я написал то, что точно будет работать: транспайлер (transpiler) из Pinecone в C++ — он производит компиляцию по типу «исходный код в исходный код», а также добавил возможность автоматической компиляции вывода с GCC. Такой способ не является ни масштабируемым, ни кроссплатформенным, но на данный момент хотя бы работает почти для всех программ на Pinecone, это уже хорошо.

Дальнейшие планы

Сейчас мне не достаёт необходимой практики, но в будущем я собираюсь от начала и до конца реализовать компилятор Pinecone с помощью LLVM — инструмент мне нравится и руководства к нему хорошие. Пока что интерпретатора хватает для примитивных программ, а транспайлер справляется с более сложными.

Заключение

Надеюсь, эта статья окажется кому-нибудь полезной. Я крайне рекомендую хотя бы попробовать написать свой язык, несмотря на то, что придётся разбираться во множестве деталей реализации — это обучающий, развивающий и просто интересный эксперимент.

Вот общие советы от меня (разумеется, довольно субъективные):

• если у вас нет предпочтений и вы сомневаетесь, компилируемый или интерпретируемый писать язык, выбирайте второе. Интерпретируемые языки обычно проще проектировать, собирать и учить;
• с лексерами и парсерами делайте, что хотите. Использование средств автоматизации зависит от вашего желания, опыта и конкретной ситуации;
• если вы не готовы / не хотите тратить время и силы (много времени и сил) на придумывание собственной стратегии разработки ЯП, следуйте цепочке действий, описанной в этой статье. Я вложил в неё много усилий и она работает;
• опять же, если не хватает времени / мотивации / опыта / желания или ещё чего-нибудь для написания классического ЯП, попробуйте написать эзотерический, типа Brainfuck. (Советуем помнить, что если язык написан развлечения ради, это не значит, что писать его — тоже сплошное развлечение. — прим. перев.)

Я делал довольно много ошибок по ходу разработки, но большую часть кода, на которую они могли повлиять, я уже переписал. Язык сейчас неплохо функционирует и будет развиваться (на момент написания статьи его можно было собрать на Linux и с переменным успехом на macOS, но не на Windows).

О том, что ввязался в историю с созданием Pinecone, ни в коем случае не жалею — это отличный эксперимент, и он только начался.