Бесплатный инструмент gesture.live позволяет играть музыкой жестами перед веб-камерой

Браузерный инструмент распознаёт обе руки через камеру: левая управляет аккордами, правая — мелодией, басом, ритмом и эффектами.

gesture.live не требует установки или загрузки плагина. Достаточно открыть сайт в браузере, разрешить доступ к веб-камере и держать обе руки в кадре. Лучше использовать альбомную ориентацию и широкий кадр 16:9.

Распознавание жестов работает на Google MediaPipe, а звук создаётся библиотекой Tone.js. Проект развивает идею жестового синтезатора Indecisive Eric: управление аккордами сжато до одной руки, чтобы второй можно было контролировать дополнительные партии.

В версии 1.2 появился режим Sculpt для формирования тембра аккорда, изменён выбор басовых и ударных рисунков и упрощён интерфейс. Полной инструкции пока нет, но основные движения показаны короткими анимациями на стартовой странице.

Открыть бесплатный инструмент gesture.live

Для работы требуется камера; её изображение используется браузерным приложением для распознавания движений.

Дополнительный источник: Bedroom Producers Blog