Нещодавно Microsoft презентувало свою модель VASA-1 (Visual Avatar Synthesis and Animation) яка займається синтезом та анімацією віртуальних аватарів. за допомогою обширних експериментів, включаючи оцінку за набором нових метрик, метод значно перевершує попередні методи за різними параметрами. Новий метод не тільки забезпечує високу якість відео з реалістичною динамікою обличчя та голови, але й підтримує онлайн-генерацію відео 512x512 зі швидкістю до 40 кадрів в секунду з незначною стартовою затримкою. Це відкриває шлях до взаємодії в реальному часі з реалістичними аватарами, які імітують людську розмовну поведінку.
Основні особливості VASA-1:
Реалістичність: Модель здатна створювати аватари з високим ступенем реалістичності, включаючи деталі обличчя, волосся, одягу та інші елементи.
Персоналізація: VASA-1 може створювати аватари, які відображають індивідуальні риси людини, такі як колір очей, форма обличчя, стиль волосся тощо.
Анімація: Модель також може генерувати анімації аватарів, включаючи рухи голови, рух очей, міміку та інші елементи.
Висока швидкість: VASA-1 працює досить швидко, що дозволяє генерувати аватари в режимі реального часу.
Microsoft's VASA-1 може конкурувати з іншими відомими моделями для генерації аватарів, такими як:
StyleGAN: Ця модель від компанії NVIDIA відома своєю здатністю генерувати високоякісні, реалістичні зображення людей зі складними текстурами та деталями. StyleGAN також має можливість створювати аватари з різними стилями та варіаціями.
BigGAN: Ця модель від Google Research зосереджена на генерації великих, високороздільних зображень. Вона може створювати аватари з великою кількістю деталей та реалістичними текстурами.
AvatarGAN: Ця модель від Китайського університету науки і техніки (Tsinghua University) спеціально розроблена для генерації аватарів. Вона може створювати персоналізовані аватари з різними стилями, виразами обличчя та одягом.
Нова дослідницька робота Microsoft обіцяє майбутнє, в якому ви зможете завантажити фотографію, зразок свого голосу і створити живу, анімовану голову, що розмовляє, зі свого власного обличчя.VASA-1 бере одну портретну фотографію та аудіофайл і перетворює їх на гіперреалістичне відео з обличчям, що розмовляє, з синхронізацією губ, реалістичними рисами обличчя та рухами голови.
Приклад генерації
Microsoft оголосила, що не планує розповсюджувати нову версію своєї нейромережі у відкритий доступ через побоювання створення дипфейків. Замість цього, компанія зосереджується на поліпшенні технології захисту VASA-1 від зловживань з боку недобросовісних користувачів.
