Le système de détection de vibrations à double obturateur utilise des caméras ordinaires pour obtenir des résultats extraordinaires

Même les microphones les plus puissants et les plus dirigés ne peuvent pas éliminer les sons proches, le bruit ambiant et l’effet de l’acoustique lorsqu’ils capturent l’audio. Le nouveau système développé à l’Institut de robotique (RI) de l’École d’informatique utilise deux caméras et un laser pour détecter les vibrations de surface à grande vitesse et à faible amplitude. Ces vibrations peuvent être utilisées pour reconstruire le son, en capturant un son isolé sans inférence ni microphone.

“Nous avons inventé une nouvelle façon de voir le son”, a déclaré Mark Sheinin, chercheur postdoctoral au Laboratoire d’illumination et d’imagerie (ILIM) du RI. “C’est un nouveau type de système de caméra, un nouveau dispositif d’imagerie, capable de voir quelque chose d’invisible à l’œil nu.”

L’équipe a effectué plusieurs démonstrations réussies de l’efficacité de leur système dans la détection des vibrations et la qualité de la reconstruction sonore. Ils ont capturé le son isolé de guitares distinctes jouant en même temps et de haut-parleurs individuels jouant simultanément de la musique différente. Ils ont analysé les vibrations d’un diapason et ont utilisé les vibrations d’un sac de Doritos près d’un haut-parleur pour capturer le son provenant d’un haut-parleur. Cette démo rend hommage aux travaux antérieurs des chercheurs du MIT qui ont développé l’un des premiers microphones visuels en 2014.

Le système CMU améliore considérablement les tentatives passées de capture du son à l’aide de la vision par ordinateur. Le travail de l’équipe utilise des caméras ordinaires qui coûtent une fraction des versions à grande vitesse utilisées dans les recherches antérieures tout en produisant un enregistrement de meilleure qualité. Le système à double caméra peut capturer les vibrations d’objets en mouvement, tels que les mouvements d’une guitare pendant qu’un musicien en joue, et détecter simultanément des sons individuels à partir de plusieurs points.

“Nous avons rendu le microphone optique beaucoup plus pratique et utilisable”, a déclaré Srinivasa Narasimhan, professeur au RI et directeur de l’ILIM. “Nous avons amélioré la qualité tout en réduisant les coûts.”

Le système fonctionne en analysant les différences de motifs de chatoiement à partir d’images capturées avec un obturateur roulant et un obturateur global. Un algorithme calcule la différence entre les motifs de chatoiement des deux flux vidéo et convertit ces différences en vibrations pour reconstruire le son.

Un motif de chatoiement fait référence à la façon dont la lumière cohérente se comporte dans l’espace après avoir été réfléchie sur une surface rugueuse. L’équipe crée le motif speckle en pointant un laser sur la surface de l’objet produisant les vibrations, comme le corps d’une guitare. Ce motif de chatoiement change lorsque la surface vibre. Un volet roulant capture une image en la balayant rapidement, généralement de haut en bas, produisant l’image en empilant une rangée de pixels au-dessus d’une autre. Un obturateur global capture une image en une seule instance à la fois.

La recherche, “Dual-Shutter Optical Vibration Sensing”, a reçu le prix du meilleur article lors de la conférence IEEE/CVF 2022 sur la vision par ordinateur et la reconnaissance de formes (CVPR) à la Nouvelle-Orléans. Dorian Chan, titulaire d’un doctorat, a rejoint Sheinin et Narasimhan dans la recherche. étudiant en informatique, et Matthew O’Toole, professeur adjoint au département RI et informatique.

CVPR est la première conférence sur la vision par ordinateur. La conférence a enregistré un record de 8 161 articles soumis et accepté environ un quart d’entre eux. Parmi ceux-ci, seuls 34 ont été présélectionnés pour les prix du meilleur article.

“Ce système repousse les limites de ce qui peut être fait avec la vision par ordinateur”, a déclaré O’Toole. “Il s’agit d’un nouveau mécanisme pour capturer des vibrations à grande vitesse et minuscules, et présente un nouveau domaine de recherche.”

La plupart des travaux en vision par ordinateur se concentrent sur la formation de systèmes pour reconnaître des objets ou les suivre dans l’espace – une recherche importante pour faire progresser des technologies telles que les véhicules autonomes. Le fait que ce travail permette aux systèmes de mieux voir les vibrations imperceptibles à haute fréquence ouvre de nouvelles applications pour la vision par ordinateur.

Le système de détection de vibrations optiques à double obturateur de l’équipe pourrait permettre aux ingénieurs du son de surveiller la musique d’instruments individuels sans les interférences du reste de l’ensemble pour affiner le mixage global. Les fabricants pourraient utiliser le système pour surveiller les vibrations de machines individuelles dans une usine afin de repérer les premiers signes d’une maintenance nécessaire.

“Si votre voiture commence à faire un bruit bizarre, vous savez qu’il est temps de la faire examiner”, a déclaré Sheinin. “Imaginez maintenant une usine pleine de machines. Notre système vous permet de surveiller la santé de chacun en détectant leurs vibrations avec une seule caméra fixe.”

Vidéo: https://youtu.be/_pq0d1oxtA0

Plus d’informations sur le système : https://imaging.cs.cmu.edu/vibration/

Source de l’histoire :

Matériaux fourni par L’université de Carnegie Mellon. Original écrit par Aaron Aupperlee. Remarque : Le contenu peut être modifié pour le style et la longueur.