Piano Genie

Piano Genie - это эксперимент на базе машинного обучения, который решает одну простую задачу: дать почувствовать себя пианистом тем, кто никогда не изучал нотную грамоту. Вместо 88 клавиш настоящего рояля здесь всего 8 кнопок (цифры 1 - 8 или буквы на клавиатуре), но нейросеть в режиме реального времени превращает твои нажатия в осмысленную музыку, словно ты действительно умеешь играть.

Как работает Piano Genie

Модель обучена на тысячах часов фортепианных мелодий и научилась предсказывать, какая нота логично звучит следующей. Когда ты нажимаешь одну из восьми клавиш, алгоритм анализирует контекст - что ты играл до этого, ритм, гармонию - и выбирает подходящую ноту из полного диапазона рояля. Получается, что твой простой ввод раскладывается в полноценную партию, как будто за инструментом сидит человек с музыкальным образованием.

Управление максимально интуитивное: можно играть с компьютерной клавиатуры (цифры или буквы домашнего ряда), тапать по цветным блокам на экране смартфона или даже подключить MIDI-контроллер и Makey Makey. Пробел работает как педаль сустейна, которая продлевает звучание нот - это добавляет выразительности, особенно если ты стараешься вести мелодию плавно.

Зачем нужен Piano Genie

Сервис отлично подходит для быстрых музыкальных скетчей: можно нащупать интересную мелодию, не задумываясь об аккордах или тональности. Для тех, кто хочет понять, как «ощущается» игра на фортепиано, но не готов тратить месяцы на обучение, Piano Genie даёт мгновенную обратную связь - музыка звучит красиво сразу, даже если ты нажимаешь кнопки почти случайно.

Ещё один сценарий - развлечение и демонстрация возможностей машинного обучения. Модель построена на библиотеке Magenta.js от Google, и весь код проекта открыт на Glitch, так что разработчики могут разобраться в архитектуре или встроить похожий функционал в свои приложения.

Настройки и совместимость

Интерфейс позволяет выбрать количество активных кнопок (от 4 до 8), переключить устройство ввода (клавиатура, MIDI, Makey Makey) и настроить аудио-выход. На смартфонах лучше работает в альбомной ориентации - так удобнее попадать по цветным блокам. Поддержка WebMIDI доступна только в Chrome и Opera, поэтому в других браузерах функции MIDI-вывода останутся недоступны.