Microsoft: Nieuwe AI-patent maakt realtime spraakmodificatie en lip-synchronisatie mogelijk
Microsoft heeft een technologie voor kunstmatige intelligentie gepatenteerd die is ontworpen om te modificeren wat mensen zeggen in video-opnamen en hun lipbewegingen dienovereenkomstig aan te passen, wat mogelijk nieuwe mogelijkheden opent voor realtime vertaling en audiovisuele bewerking.
De technologie, beschreven in een patentaanvraag met de titel Verbeteren van videostreams met behulp van kunstmatige intelligentie, zou de manier waarop het publiek digitale inhoud consumeert kunnen transformeren. Echter, de potentiële toepassingen roepen ook belangrijke vragen op over de betrouwbaarheid van audiovisuele informatie in een tijdperk dat steeds meer wordt gevormd door door AI gegenereerde media.
Een AI-systeem dat spraak op het scherm kan herschrijven
Het gepatenteerde systeem is ontworpen om gelijktijdig in de audio- en visuele componenten van een video in te grijpen. Door beide elementen te verwerken, zou de technologie de originele woorden van een spreker kunnen vervangen terwijl de lipbewegingen worden aangepast aan de nieuw gegenereerde spraak.
Het proces zou naar verluidt met een vertraging van één tot tien seconden moeten werken, waardoor aanpassingen tijdens een lopende videostream kunnen plaatsvinden.
Buiten het veranderen van gesproken woorden, zou de technologie ook de algehele kwaliteit van opgenomen gesprekken kunnen verbeteren. De potentiële functies omvatten het verwijderen van verbale aarzeling, het corrigeren van uitspraakfouten, het filteren van kwetsende uitdrukkingen en het verminderen van ongewenst achtergrondgeluid.
Dergelijke mogelijkheden zouden digitale presentaties, interviews en online communicatie gepolijster kunnen maken zonder uitgebreide nabewerking.
Gepersonaliseerde inhoud en realtime vertaling
Een ander opmerkelijk aspect van Microsofts gepatenteerde technologie is het potentieel om gesproken inhoud aan individuele kijkers aan te passen.
Het systeem zou rekening kunnen houden met verschillende gebruikersvoorkeuren, waaronder taal, leeftijd en geografische locatie. Het zou ook informele uitdrukkingen of onbekende woordenschat kunnen aanpassen om gesprekken toegankelijker te maken voor specifieke doelgroepen.
Realtime vertaling vertegenwoordigt een andere bijzonder veelbelovende toepassing. In plaats van eenvoudigweg ondertitels toe te voegen of de originele soundtrack te vervangen, zou de technologie vertaalde spraak kunnen genereren terwijl de lipbewegingen van de spreker worden gesynchroniseerd met de nieuwe taal.
Deze benadering zou de ervaring van het kijken naar internationale conferenties, online vergaderingen, interviews en audiovisuele producties aanzienlijk kunnen veranderen.
Het zou ook traditionele benaderingen van nasynchronisatie en vertaling kunnen verstoren door de technische barrières te verminderen die gepaard gaan met het aanpassen van inhoud voor publiek dat verschillende talen spreekt.
Deepfake-zorgen en de uitdaging van authenticiteit
Ondanks de potentiële voordelen roept de technologie zorgen op over de groeiende moeilijkheid om authentieke opnamen van AI-gemodificeerde inhoud te onderscheiden.
Het vermogen om iemands uitspraken te veranderen terwijl de schijn van een natuurlijk gesprek behouden blijft, zou kansen kunnen creëren om het publiek te misleiden. Kijkers zouden woorden kunnen horen die nooit daadwerkelijk door de persoon op het scherm zijn uitgesproken, zonder onmiddellijk te beseffen dat de originele opname is gemodificeerd.
Deze mogelijkheid voegt een nieuwe dimensie toe aan het voortdurende debat over deepfakes, digitale manipulatie en desinformatie.
Een functie die in het patent wordt beschreven, is het behoud van een originele, ongewijzigde versie van de videostream. Dit zou een referentie kunnen bieden waartegen gemodificeerde inhoud kan worden vergeleken.
De technologie wordt ook beschreven als mogelijk compatibel met verschillende apparaten, waaronder smartphones, tablets, camera's en slimme brillen.
Een patent betekent geen onmiddellijke productlancering
Hoewel het patent inzicht biedt in Microsofts verkenning van geavanceerde AI-toepassingen, betekent de registratie niet noodzakelijk dat het bedrijf van plan is een commercieel product uit te brengen.
Microsoft heeft geen uitrolschema voor de technologie aangekondigd. Bovendien stelt de patentbeschrijving niet vast hoe kijkers zouden worden geïnformeerd dat een video is gewijzigd of hoe de authenticiteit van gemodificeerde inhoud zou worden geverifieerd.
Voorlopig illustreert het project zowel de kansen als de risico's die gepaard gaan met steeds geavanceerdere AI-systemen die in staat zijn audiovisuele communicatie te transformeren.
Naarmate deze technologieën vorderen, zullen transparantie en betrouwbare authenticatiemechanismen waarschijnlijk essentieel worden om het vertrouwen van het publiek in digitale media te behouden.