Des chercheurs créent une IA capable de s'occuper du sound design d'un film

13 août 2020 à 14h19
7
Fotolia Intelligence Artificielle_cropped_0x0

Des chercheurs ont créé un programme automatisé visant à analyser le mouvement dans des séquences vidéos pour créer un sound design adapté et artificiel qui correspond aux images.

Le processus, nommé AutoFoley en référence au nom du métier de bruiteur dans l'industrie du cinéma, a convaincu les personnes interrogées, qui l'ont jugé bien plus efficace que les bruits effectués par les artistes Foley.

Gagner du temps et de l'argent

La notion de sound design d'un film inclut la bande originale, qui est l'ensemble des musiques composées spécifiquement pour l'œuvre ou non, le mixage des voix de chacun des personnages, principaux ou secondaires, et le bruitage plus général, qui comporte par exemple les bris de verre, les claquements de portes ou encore les bruits des coups et coups de feu dans les films d'actions. Ces derniers sont faits par des bruiteurs, appelés Foley artists, qui utilisent des objets similaires ou des processus intelligents en studio, pour des sons plus propres. Mais des chercheurs ont développé une intelligence artificielle destinée à effectuer ces protocoles de manière automatisée.

« Ajouter des effets sonores en post-production en utilisant l'art du Foley est une partie importante des bandes-son des films et de la télévision depuis les années 30 », a déclaré Jeff Prevost, professeur à l'université du Texas de San Antonio et co-créateur de l'AutoFoley. « Les films sembleraient vides sans les couches contrôlées de bande-son Foley réaliste. Cependant, ce processus ajoute aussi un temps et des coûts significatifs à la création de films. »

Des rendus plus convaincants avec une IA ?

Prevost et une de ses étudiantes, Sanchita Ghose, ont créé une machine d'apprentissage avec deux modèles différents. Le premier s'appuie sur l'identification des actions d'une vidéo, notamment en se fondant sur les couleurs et les mouvements, tandis que le second détermine le son approprié en analysant l'évolution des objets dans le cadre temporel de la vidéo. La dernière étape après ces deux pistes de travail consiste à synthétiser les sons.

Le chercheur et son étudiante ont déjà fait de nombreux clips pour tester différentes situations, et Jeff Prevost explique la complexité de la tâche : « Une limite dans notre approche est le besoin de classification, qui est présent dans toute la séquence vidéo. » Les deux modèles ont été présentés à un panel de 57 étudiants et les ont convaincus en majorité. Face au premier modèle, 73 % d'entre eux ont choisi le son automatisé plutôt que le son original, et ils ont été 66 % à être plus convaincus par le second modèle que par le son initial de la vidéo.

Source : IEEE Spectrum

Soyez toujours courtois dans vos commentaires.
Respectez le réglement de la communauté.
7
6
faciliteur_de_transit
L’Humanité n’a plus qu’à aller se pendre, la Machine qu’Elle à créé fait bien mieux qu’Elle. … Mais ce n’est pas ça la Vie !
Star
Avant ce n’était pas la vie non plus … faut pas raconter n’importe quoi, c’est un film pas la matrice !
mcbenny
Mon faible niveau de connaissance sur le sujet me pousse vers l’idée que l’IA va en général se contenter de recréer un bruit «&nbsp;générique&nbsp;» pour chaque action, avec variation de volume, de vitesse, certes, mais quid du bruit des pas sur du gravier d’un personnage cadré uniquement sur son visage ? L’IA devine qu’il marche sur du gravier ?<br /> Et reproduire le son théorique parfaitement n’est pas forcément ce qu’on demande, on n’est pas des machines, il y a des tas de sons qui sont reproduits avec d’autres éléments qui nous semblent bien plus réalistes.
Peter_Vilmen
Les IA d’aujourd’hui sont trop bête pour saisir ces nuances, littéralement, elles n’ont pas assez de neurones pour pouvoir phyisquement encoder autant d’information. Ce que donneront ce genre de réseaux de neurones dans le futur nulle ne le sait… mais il y a beaucoup de chemins vers une IA intelligente, les réseaux de neurones vont probablement être seulement un bout dans une structure plus large.
faciliteur_de_transit
«&nbsp;une IA intelligente&nbsp;»<br /> bigre !
Peter_Vilmen
Une distinction nécessaire vu que notre vision de l’intelligence est anthropocentrée ! Un humain qui prouve pour la première fois un théorème de mathématique est super intelligent, un ordinateur qui fait la même chose est un vulgaire tas de ferraille qui aura l’honneur de se faire diminuer par tous les anti-IA.
kroman
Ça va pour les scènes type qui restent simples, mais tout ce qui se passe n’est pas visible à l’image…
Voir tous les messages sur le forum

Actualités du moment

4A Games (Metro) et 7 autres studios ont été rachetés par Embracer Group
La Russie affirme développer un outil pour traquer les transactions en crypto-monnaies
Xbox Series X : la console arrivera également en novembre au Japon
Après 2 ans d'activité, le télescope TESS a rempli sa mission initiale
Amazon Music veut bien des podcasts... tant qu’ils restent bienveillants à son égard
Apple retire discrètement le serveur web Zoom caché via une mise à jour sur Mac
Les meilleures séries d'anthologie
Les meilleurs series animes
Black Friday Amazon : Microsoft Surface Pro 7 à 799€ au lieu de 1069€
Soldes d'été : l'enceinte Bluetooth Ultimate Ears Boom 2 Lite pour seulement 59€
Haut de page