Использование технологии AR, чтобы оживить виртуального пианиста за реальным фортепиано.

AR как отличный инструмент для предоставления нового способа прослушивания фортепианной музыки на вашем смартфоне или AR как полезная гарнитура для музыкального образования

Вы можете направить камеру своего телефона на различные фортепиано и практически мгновенно создать AR пианиста, который способен играть произведения от разных исполнителей, а ноты соответственно  демонстрируются  внизу в режиме реального времени.

Приложение использует нейронные сети для обнаружения фортепиано, а затем вычисляет точное трехмерное положение и ориентацию в трехмерном пространстве с точностью до 1 см. Это достигается путем обработкой  нейронной сетью  каждого  кадра причем без использования специализированных 3D-камер.

Данное AR приложение работает с любой моделью или маркой пианино при любых условиях освещения, без необходимости использовать специальные мишени, маркеры изображения или необходимости сканировать модель фортепиано заранее.

Это приложение поможет многим пользователям в музыкальном образовании. Любой пользователь сможете замедлить песню до 100 раз, не теряя информацию о движении рук, что невозможно осуществить с традиционным записанным видео. 

Полная версия приложения также будет использовать микрофон вашего смартфона, чтобы слушать вас во время тренировки и с помощью искусственного интеллекта мгновенно получать обратную связь о вашей игре; плюс  использовать AR пианиста, чтобы дать вам советы о том, как точно двигать руками во время игры на фортепиано.