Pakai Sadtalker utk lipsync
Pembuka
Hari ini AI untuk rakyat telah diluncurkan, benda pertama yang menarik perhatian aku(sebab tak dapat register website dia lol) adalah AI announcer? A.K.A Intan dimana dia combine Text to Speech(TTS) dan syntesis gambar.
So far based on experience aku, benda ni probably pakai SadTalker atau adik beradik dia.
Apa tu SadTalker?
SadTalker adalah model untuk buat animation terhadap gambar kepala yang menggunakan audio suara sebagai input. Goal dia adalah untuk generate realistic/natural riak wajah dan pergerakan kepala.
High level
Dalam high level punya architecture, SadTalker analisa audio suara untuk memilih riak wajah dan pergerakan kepala yang sesuai dan menukarkan gambar kepada gambar yang dinamik.
Teknologi ini ada potensi di pelbagai bidang seperti reality maya(VR), gaming dan digital communication.
Low level
Secara low level boleh lihat gambar dibawah pipeline SadTalker:
Pertama akan membuat versi 3D dari gambar wajah(Monocular 3D Face Recon.). Kemudian menggunakan suara yang diberikan.
Dengan menggunakan network PoseVAE yang dah faham pose kepala daripada audio dan ExpNet yang memahami riak wajah untuk mendapatkan berapa koefisien untuk dijadikan input kepada 3D-Aware Face Render
Kemudian menggunakan maklumat ini untuk mencipta video di mana wajah dalam gambar tersebut bergerak dan berekspresi seakan-akan sedang bercakap serupa dengan percakapan audio.
Ini menjadikan gambar statik menjadi lebih hidup dan interaktif.
Tutorial
Boleh follow code dekat sini:
https://colab.research.google.com/drive/1jGuQO-1c7_tUIUjSVu8eJbvIFKXPs7JA?usp=sharing
Audio aku pakai yang aku pernah buat dulu:
https://twitter.com/khursani8/status/1745871310302183533
Gambar aku pakai ni:
Result:
Penutup
Tapi bila tengok result ni, macam tak sama je dengan Intan tu. Sebab bibir Intan je gerak dan bibir dia tak sync dengan pertuturan xD.
Aku assume dia pakai benda mcm https://www.kreadoai.com/