Стартап Tavus розробляє ШІ-інструмент, за допомогою якого можна створювати безліч персоналізованих відеороликів на основі одного вихідного відео. Продукт призначений насамперед для використання в корпоративних цілях.
Стартап заснували 2020 року в Сан-Франциско співзасновники Хассан Раза (генеральний директор) і Квінн Фаврет; він є випускником акселератора Y Combinator. Днями компанія оголосила про залучення 6,1 мільйона доларів під час посівного раунду фінансування, в якому взяла участь ціла низка технологічних фондів і приватних інвесторів.
Основна ідея Tavus полягає в тому, щоб дати професіоналам у сфері маркетингу та інших сфер можливість створювати нескінченну кількість персоналізованих відеороликів для потенційних клієнтів, підставляючи потрібну інформацію в одне вихідне відео. Наприклад, така послуга може стати в нагоді для розсилки відеозапрошень кандидатам на посаду, відео-реклами різних продуктів або персоналізованих відео-анонсів корпоративних заходів.
Щоб почати користуватися інструментом, користувачеві потрібно записати на платформі 15-хвилинне відео, зачитуючи сценарій, наданий самим сервісом. Це необхідно для того, щоб ШІ зміг навчитися голосу, манер мовлення і міміки користувача. Потім потрібно записати загальний відео-шаблон для конкретного завдання, на основі якого можна буде генерувати безліч персоналізованих аналогів: наприклад, запрошення прийти на співбесіду або звернення до клієнта.
Шаблон персоналізується за допомогою вбудованого веб-редактора: користувач може вибрати, які саме елементи в ролику потрібно персоналізувати і як саме - наприклад, підставити різні назви компаній, імен або міст, додати різні заклики до дії тощо.
При цьому можна задавати не тільки короткі змінні на кшталт назв, а й довші - це можливо завдяки інтеграції в інструмент функцій ChatGPT. Наприклад, базовий сценарій, за яким генеруються відео, можна налаштувати таким чином, щоб він включав вступне речення, згенероване за інформацією з профілю потрібної людини в сервісі з пошуку роботи.
Як пояснили порталу TechCrunch розробники Tavus, компанія використовує машинне навчання для навчання своєї ШІ-моделі міміки, руху губ і жестів. Створена ними система вміє реалістично імітувати ці рухи і синхронізувати їх із синтезованим звуком.
Як і у випадку з будь-яким іншим генеративним ШІ, компанії доводиться враховувати ймовірність потенційного використання її технології в зловмисних і негативних цілях. За словами Фаврета, необхідність запису згаданого 15-хвилинного відео в режимі реального часу є основним захистом від можливості зловмисного використання системи - кожне записане відео використовується для перевірки голосу і зовнішності користувача, що відсікає можливість завантаження конкретним користувачем роликів, що належать стороннім людям.
Наразі продукт випущено у вигляді бета-версії, доступ до якої відкривається за листом очікування. Інструментом можна користуватися двома основними способами: через веб-платформу або шляхом інтеграції у свою систему через API.
Отримані нові інвестиції компанія планує вкласти в подальшу розробку продукту.
