Pourquoi Sora, d'OpenAI, pourrait devenir dangereuse avec ses vraies-fausses vidéos

19 février 2024 à 12h14
22
Des visages qui échappent plutôt très bien à la théorie de l'uncanny valley © Capture Clubic - OpenAI
Des visages qui échappent plutôt très bien à la théorie de l'uncanny valley © Capture Clubic - OpenAI

À peine dévoilée, Sora, l'IA générative de vidéos créée par OpenAI, fascine autant qu'elle inquiète. Certains lui prêtent déjà un fort potentiel dans la propagation de désinformation.

Il y a quelques jours, OpenAI a de nouveau montré à quel point elle était considérablement en avance en matière d'IA. Après la déferlante de ChatGPT, allons-nous connaître un nouveau raz de marée provoqué par Sora, leur nouveau système d'IA capable de transformer des descriptions textuelles en vidéos ? 2024 est une année charnière où de nombreuses élections auront lieu à travers la planète. Dans ce contexte, l'utilisation d'un outil si puissant que Sora dans l'élaboration de deepfakes est une possibilié à ne pas sous-estimer.

Sora : promesses et périls

Les vidéos générées par Sora, bien qu'imparfaites, sont déjà saisissantes. Alors que certaines auraient demandé plusieurs heures de travail à des animateurs, VFX artist ou motion designers, Sora est capable de générer des vidéos de 60 secondes rapidement à partir d'une simple phrase. C'est une avancée technologique considérable. Pour Rachel Tobac, co-fondateur de SocialProof Security, l'écart entre ce qu'est capable de produire ce nouvel outil et ce qui se faisait avant en termes de crédibilité est immense.

Pour parvenir à un tel résultat, Sora marie deux technologies d'IA. Elle s'appuie premièrement sur des modèles de diffusion, comme DALL-E. Cela lui permet d'agencer des pixels aléatoires en images nettes. Ensuite, elle s'appuie sur une autre technologie, baptisée « transformer architecture » qui vient ordonner ces images en séquences cohérentes.

Des capacités impressionnantes, qui suscitent déjà l'inquiétude. Hany Farid de l'Université de Californie à Berkeley explique : « Comme pour d'autres méthodes en IA générative, rien ne laisse penser que la conversion de texte en vidéo ne va pas continuer à s'améliorer rapidement, nous rapprochant toujours plus d'une époque où il sera difficile de différencier le faux du vrai ». Il continue : « 
Cette technologie, si elle est associée au clonage vocal alimenté par l'IA, pourrait ouvrir un tout nouveau champ de possibilités dans la création de deepfakes montrant des personnes dire et faire des choses qui ne se sont jamais produites ».

OpenAI n'a, pour le moment, pas rendu publiquement accessible Sora. Pour l'instant, elle met le modèle à l'épreuve pour évaluer son potentiel de mésusage. Selon un porte-parole d'OpenAI, le groupe qui opère cette analyse est composé « d'experts dans des domaines tels que la désinformation, le contenu haineux et les biais ».

 Des mammouths plus vrais que nature © Capture Clubic - OpenAI
Des mammouths plus vrais que nature © Capture Clubic - OpenAI

Vers un cadre réglementaire renforcé

L'impact potentiel d'un outil aussi puissant que Sora sur la propagation d'informations erronées est réel. Les vidéos générées, aussi imparfaites soient-elles, restent au-delà de tout ce qui existait jusqu'alors. N'oublions pas que Sora n'est qu'au début de son existence et qu'il pourrait évoluer aussi rapidement que l'a fait Midjourney l'a fait. Il est fort possible qu'un jour, ces vidéos soient complètement indifférenciables de la réalité.

Que nous reste-t-il pour éviter cet écueil ? Cela peut paraître un peu utopiste, mais mis à part une étroite collaboration entre les gouvernements, les entreprises d'IA et les réseaux sociaux, pas grand-chose. Des mécanismes comme des « watermarks » (filigrane prouvant qu'un contenu a été généré par IA) peuvent également être envisagés. Au vu de l'ampleur du défi, sera-ce suffisant ?

Sora
  • Text-to-video
  • De courtes vidéos très réalistes
  • L'IA générative d'Open AI

Sora a un but simple : reprendre le principe de ChatGPT et Dall-E pour l'étendre aux vidéos. Si le concept était jusqu'ici peu efficace, avec des résultats vidéo peu impressionnants, l'outil d'Open AI offre une précision beaucoup plus intéressante dans le rendu, avec notamment la possibilité de contrôler les mouvements de la caméra, le rendu des objets présents, etc.

Sora a un but simple : reprendre le principe de ChatGPT et Dall-E pour l'étendre aux vidéos. Si le concept était jusqu'ici peu efficace, avec des résultats vidéo peu impressionnants, l'outil d'Open AI offre une précision beaucoup plus intéressante dans le rendu, avec notamment la possibilité de contrôler les mouvements de la caméra, le rendu des objets présents, etc.

Source : New Scientist

Camille Coirault

Une fois réveillé dans le bateau arrivé en Morrowind, j’avais mis le doigt dans l'engrenage. Un autre de mes doigts fut lui aussi coincé entre les pages des livres d’auteurs classiques : Charles Baud...

Lire d'autres articles

Une fois réveillé dans le bateau arrivé en Morrowind, j’avais mis le doigt dans l'engrenage. Un autre de mes doigts fut lui aussi coincé entre les pages des livres d’auteurs classiques : Charles Baudelaire, Émile Zola, Choderlos de Laclos ou Victor Hugo pour ne citer qu’eux. Vingt ans après, quelques milliers d'heures à jouer, à lire, et me voilà ! Mon coeur balance toujours entre ma passion de la tech, des jeux vidéo et mon amour incommensurable pour les Lettres. Spoiler : je n’ai pas choisi et cela ne risque pas d’arriver de sitôt.

Lire d'autres articles
Vous êtes un utilisateur de Google Actualités ou de WhatsApp ? Suivez-nous pour ne rien rater de l'actu tech !
google-news

A découvrir en vidéo

Rejoignez la communauté Clubic S'inscrire

Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.

S'inscrire

Commentaires (22)

philouze
faut voir les démos, c’est réellement bluffant,<br /> un nouveau métier vient de disparaître, avec beaucoup de monde derrière : vidéaste.
ayaredone
C’est du pain béni pour les deepfakes.<br /> Une grande partie de la population est ignorante de ces technologies et prête à tout croire du moment qu’on tape sur le gouvernement, l’armée, les vaccins etc… (faites votre choix, la liste est longue).<br /> Ils ne vont jamais se demander si c’est vrai ou faux. Ils vont juste gober.
Binbin
Le problème n’est évidemment pas SORA mais l’usage que certains en feront…<br /> C’est bien contre ces individus qui nous ont déclaré la guerre qu’il faut combattre et ne pas trouver des excuses pour se défiler…<br /> Quand un terroriste poignarde des enfants, on ne s’en prend pas au vendeur et au fabricant du couteau…
gothax
Le problème est que le législateur est en retard car les société lâche leur truc dans la nature et s’en lave les mains !!!
Kriz4liD
Bientôt des videos de yetis , ovni et terre plate pour bien alimenter les théories du complot.<br /> Qui sait, la NASA pourrait l’utiliser pour générer des vidéos d’alunissage réalistes.
vidarusny
C’est bien tout ça , mais concrètement ça sert à quoi cette IA générative de vidéo ? J’ai franchement du mal a comprendre pourquoi passer autant de temps et autant d’argent dans ce Type d’IA.<br /> Certes le cinéma est une manne financière importante, mais ça fait vivre combien de personnes dans le monde ?<br /> J’en arrive à penser que le seul véritable intérêt est la propagande avec tous les risques qui vont avec… et si c’est le cas, pourquoi ont interdit pas tous financement ?<br /> Attention, je ne dis pas que l’IA en générale est inutile.
Loposo
ca ne remplacera jamais les comédies francaise , car pour atteindre ce niveau, il ne faut pas d’intelligence
Sodium
vidarusny:<br /> C’est bien tout ça , mais concrètement ça sert à quoi cette IA générative de vidéo ? J’ai franchement du mal a comprendre pourquoi passer autant de temps et autant d’argent dans ce Type d’IA.<br /> Tu n’as visiblement pas idée du nombre de vidéos de quelques secondes que les cinéastes piochent dans des banquent ou doivent réaliser eux-même pour illustrer leurs productions.<br /> Par ailleurs, ça a un intérêt ne serais-ce que d’un point de vue recherche fondamentale.
karmentic
Raconter une histoire avec un support visuel. Mets ce que tu veux dans ton histoire.
vidarusny
karmentic:<br /> Raconter une histoire avec un support visuel. Mets ce que tu veux dans ton histoire.<br /> Ok, mais c’est un plaisir personnel, je ne vois pas de solution financière intéressante à court moyen terme.<br /> Sodium:<br /> Tu n’as visiblement pas idée du nombre de vidéos de quelques secondes que les cinéastes piochent dans des banquent ou doivent réaliser eux-même pour illustrer leurs productions.<br /> absolument aucune, mais ça ne répond pas au côté rentabilité… Je veux bien entendre que ça peut simplifier, mais si le visuel ne correspond pas au reste des images qu’ils accolent… La compétence et le temps nécessaire a écrire correctement la requête pour que le visuel correspondent, pas sûr que ça règle le problème financier…<br /> Sodium:<br /> Par ailleurs, ça a un intérêt ne serais-ce que d’un point de vue recherche fondamentale.<br /> Ok mais pour la recherche fondamentale, les dérives d’apprentissages a rattraper suite aux mauvaises requêtes, ça doit aussi couter cher en temps et énergie. La encore, d’un point de vue purement financier je ne suis pas sûr, car la recherche fondamentale se finance aussi sur l’intérêt financier que l’on peut en tirer.
Rainforce
Sora, Sora pas …
Sodium
vidarusny:<br /> absolument aucune, mais ça ne répond pas au côté rentabilité…<br /> Voilà, donc si tu es incompétent sur le sujet ne t’exprime pas
karmentic
Toutes les pubs que tu vois partout et pour tout, a la TV, dans la rue, sur le web. Toutes les vidéos qui permettent de présenter une idée, une marque, un produit, un sport etc… Des vidéos qui permettent d’illustrer ce que raconte une personne dans des vidéos Youtube. Des vidéos explicatives sur des sujets comme par exemple : «&nbsp;comment changer sa roue de vélo&nbsp;».<br /> La vidéo est un outil d’expression qui n’est pas a la porté de tout le monde. La réalisation d’une vidéo coute chère, idéation, recording, montage, acteurs etc… Je pense que tu n’as pas conscience a quel point il est difficile de trouver la bonne vidéo qui colle a une idée.<br /> Des outils comme Midjourney. Sora etc… nous permettent a nous créateur d’itérer très rapidement et d’arriver avec des productions abordables pour des gens qui n’ont pas forcément 6000$ à mettre dans une vidéo de 15secondes.<br /> Sora va permettre sa démocratisation et son adoption en masse.
Krimog
Pour une vidéo faite par IA (Sora ou autre), il faudrait intégrer de manière systématique, au minimum, un petit pattern vers le centre de l’image (histoire qu’un simple crop ne puisse pas empêcher ça) qui ne saute pas aux yeux mais qui soit détectable si on sait ce qu’on cherche.<br /> Ça n’empêcherait pas des personnes mal intentionnées de supprimer ce pattern, mais ça éviterait que n’importe qui puisse poster des fakes sur tous les réseaux sociaux.
vidarusny
Quel agressivité… mais bon rien d’étonnant non plus compte tenu de l’incroyable développement dont tu fais preuve dans tes réponses.
vidarusny
karmentic:<br /> La vidéo est un outil d’expression qui n’est pas a la porté de tout le monde.<br /> Effectivement, il y a une grande différence entre consommation et création. Par contre, c’est une autre façon de créer qui sera pas à la porté de tous non plus, et pas forcément aux mêmes personnes. Mais ça c’est le principe de l’évolution.<br /> karmentic:<br /> Je pense que tu n’as pas conscience a quel point il est difficile de trouver la bonne vidéo qui colle a une idée.<br /> En fait, si a tout petite échelle, j’ai fais des montages avec des copains pour accompagner des concerts quand jetais étudiants (ça plus de 25 ans)… et effectivement on a passé beaucoup d’heure a sélectionner des extraits pour les assembler. C’était du bricolage, des tests de la découverte.<br /> On a aussi filmé plusieurs pièce de théâtre et autres spectacles dans mon établissement.<br /> Que du bricolage, très très loin de ce que doit être le travail de ceux qui en vivent. Et j’imagine certainement pas du travail nécessaire en tant que professionnel…<br /> Pour autant, il y a un écart toujours important entre ce que l’on imagine et le rendu que l’on obtient. Comme tu le dis c’est un métier. Mais c’est aussi parce que cette difficulté, que j’imagine qu’il faut faire plusieurs essais avec une IA générative pour aboutir à un résultat, comparer les résultats entre eux etc… Sur ce fait, je me demande le réel gain de temps.<br /> karmentic:<br /> Des outils comme Midjourney. Sora etc… nous permettent a nous créateur d’itérer très rapidement et d’arriver avec des productions abordables pour des gens qui n’ont pas forcément 6000$ à mettre dans une vidéo de 15secondes.<br /> Ok je veux bien l’entendre, mais concrètement tu penses faire quel gain sur une vidéo ? est-ce adapté à tous les formats ?
Blade_Hunter
@Sodium exactement … le problème est que le gens critiquent sans connaitre… sur tout et importe quoi… VE, Bitcoin, etc…
LeLapinou64
Belle techno, pour le meilleur comme pour le pire. Il faudra que nos gouvernants veillent bien à ce que : 1. le filigrane de ces vidéos générées par IA existe systématiquement, 2. soit ultra costaud (pour ne pas être falsifié / supprimé), et surtout, 3. qu’il soit possible et aisé POUR TOUT LE MONDE d’aller vérifier ce filigrane quand et comme il le souhaite pour éviter le deep fake. Et enfin, 4. qu’openAI n’ait pas la super idée de faire payer ce genre de vérification, qui serait un business plan aussi pervers que rémunérateur !
Sodium
vidarusny:<br /> Pour autant, il y a un écart toujours important entre ce que l’on imagine et le rendu que l’on obtient. Comme tu le dis c’est un métier.<br /> En ce moment les créateurs piochent dans des bases vidéos gratuites ou payantes. Quand un Youtuber, même à plusieurs millions d’abonnés, a besoin d’une vidéo aérienne d’une pyramide de 5 secondes, tu imagines bien qu’il ne part pas en Égypte avec son petit drone pour la faire. Donc non seulement il n’a pas forcément exactement ce qu’il veut puisqu’il doit choisir des extraits, mais en plus il y a de bonnes chances de retrouver le même extrait dans d’autres productions - à moins de payer un droit d’exclusivité mais c’est hors de prix.<br /> vidarusny:<br /> Ok je veux bien l’entendre, mais concrètement tu penses faire quel gain sur une vidéo ? est-ce adapté à tous les formats ?<br /> Pas mal de Youtubers qui vont de la vulgarisation scientifique font des millions de vues. Tu divises par 1000 le nombre de vue pour obtenir à peu près ce que reverse Youtube et ça ne comprend pas les sponsors.<br /> Blade_Hunter:<br /> exactement … le problème est que le gens critiquent sans connaitre… sur tout et importe quoi… VE, Bitcoin, etc…<br /> Les gens qui s’y connaissent vraiment en tech savent que le Bitcoin est une immense merde. Ca n’est vraiment pas la peine de revenir polluer un autre sujet avec ta propagande de crypto-bro
Blade_Hunter
Sodium:<br /> Les gens qui s’y connaissent vraiment en tech savent que le Bitcoin est une immense merde.<br /> t’as raison, apparentement j’y ne connais rien en tech tu es trop fort, mdr
chriscombs
Ce genre d’IA peut générer des niveaux entiers de Minecraft. Il est très probable que ce type de génération sera capable de générer des niveaux complets de jeux en quelques minutes / heures… c’est une application auquel on ne pense pas forcément. Imaginez un équivalent plus réaliste que Cyberpunk , généré en quelques heures.
philouze
«&nbsp;Quand un terroriste poignarde des enfants, on ne s’en prend pas au vendeur et au fabricant du couteau…&nbsp;»<br /> argument assez faible.<br /> si tu inventais un couteau transparent et mortel à tous les coups, même s’il pouvait faire d’autres choses que tuer, il serait à minima vendu avec des précautions d’usages, interdit de transport etc etc.<br /> Bien sûr, s’armer de précaution contre l’arme par destination n’est pas suffisant et n’est pas à opposer à une lutte en règle contre les acteurs.
vidarusny
Merci pour cette réponse plus complète…<br /> Les youtubeurs, combien existe et combien gagne leur vie avec. C’est exactement ce que je veux dire sur les questions de rentabilités.<br /> Ensuite chercher une vidéo est une chose, l’utiliser nécessite potentiellement des droits d’auteurs, ce que tu mets en avant dans l’explication mais pas de ce paie le youtubeur ce qui peut faire largement baissé sa rému… (Même si ils sont très souvent bafoué). Les vidéos utilisé par une IA générative finira par avoir les mêmes questions de fond, si ce n’est pas déjà le cas a vous de me dire. On peut déjà prévoir que ce droit augmentera au fur et à mesure que l’on passera sur un fonctionnement basé sur de l’investissement, à la recherche de rentabilité…<br /> Les plateforme Netflix and Co en sont l’exemple, peu chère pour s’installé, puis recherche une certaine rentabilité avec des côut assez faible, et enfin politique qui se durci pour maintenir un niveau de marge… Au final, les créateurs de contenu seront ils vraiments gagnant ? Surtout s’il deviennent captif de se genre d’outils…<br /> Mes remarques et questionnements ne sont pas sur la technique. ni sur la capacité à créer… mais sur le modèle économique de ces IA qui nécessite beaucoup de matériel ont un cout électrique et sont fortement financier par de l’investissement. A terme ils faudra bien qu’il génère de l’argent.<br /> Alors je suis possiblement à la masse je le reconnais, et l’avenir dira si ça fonctionne et se généralise
Binbin
Contre argumentation creuse, mauvaise compréhension du sujet. Peut mieux faire !
Sodium
vidarusny:<br /> Les youtubeurs, combien existe et combien gagne leur vie avec. C’est exactement ce que je veux dire sur les questions de rentabilités.<br /> Bah euh, pas mal. Et ça ne se limite pas à ça, ça peut être utilisé dans tout type de production vidéo où l’on a besoin de courtes séquences pour illustrer un propos.<br /> vidarusny:<br /> Mes remarques et questionnements ne sont pas sur la technique. ni sur la capacité à créer… mais sur le modèle économique de ces IA qui nécessite beaucoup de matériel ont un cout électrique et sont fortement financier par de l’investissement. A terme ils faudra bien qu’il génère de l’argent.<br /> Les usages de ces IAs peuvent tout à fait être monnayés, c’est déjà le cas.<br /> Binbin:<br /> Contre argumentation creuse, mauvaise compréhension du sujet. Peut mieux faire !<br /> Toi par contre tu ne peux pas faire beaucoup mieux dans la médiocrité
Binbin
Moi, je m’adapte, que veux-tu…
philouze
je te résume là chose : identifier et combattre les utilisateurs d’une arme, fussent ils des couteaux de cuisine, n’empêche pas d’encadrer vente et usage desdits couteaux.<br /> Cet argumentaire assez mauvais, utilisé initialement par les vendeurs d’armes américains, se heurte aux faits : on ne vend pas de couteaux de cuisine tranchants dans les packs de jouets pour enfants, ce n’est donc pas si «&nbsp;libre&nbsp;» que ça.<br /> le sophisme concerné est le «&nbsp;faux dilemme&nbsp;» il n’était absolument pas nécessaire d’opposer les deux aspects du problème.
Voir tous les messages sur le forum
Haut de page

Sur le même sujet