AR как отличный инструмент для предоставления нового способа прослушивания фортепианной музыки на вашем смартфоне или AR как полезная гарнитура для музыкального образования
Вы можете направить камеру своего телефона на различные фортепиано и практически мгновенно создать AR пианиста, который способен играть произведения от разных исполнителей, а ноты соответственно демонстрируются внизу в режиме реального времени.
Приложение использует нейронные сети для обнаружения фортепиано, а затем вычисляет точное трехмерное положение и ориентацию в трехмерном пространстве с точностью до 1 см. Это достигается путем обработкой нейронной сетью каждого кадра причем без использования специализированных 3D-камер.
Данное AR приложение работает с любой моделью или маркой пианино при любых условиях освещения, без необходимости использовать специальные мишени, маркеры изображения или необходимости сканировать модель фортепиано заранее.
Это приложение поможет многим пользователям в музыкальном образовании. Любой пользователь сможете замедлить песню до 100 раз, не теряя информацию о движении рук, что невозможно осуществить с традиционным записанным видео.
Полная версия приложения также будет использовать микрофон вашего смартфона, чтобы слушать вас во время тренировки и с помощью искусственного интеллекта мгновенно получать обратную связь о вашей игре; плюс использовать AR пианиста, чтобы дать вам советы о том, как точно двигать руками во время игры на фортепиано.