Ми вже багато розповідали про нейромережі, зокрема для генерації зображень. Одна з великих їхніх проблем - неможливість генерувати нормальний текст на картинці: виходить або абракадабра, або взагалі нечитабельні символи. Але колишні співробітники Google змогли виправити цей недолік - вони запустили сервіс Ideogram, в якому будь-які написи за вашим бажанням генеруються з неймовірною точністю.

Чому у нейромереж погано виходять написи

За останні півтора року (приблизно тоді у світ вийшла перша версія MidJourney) нейромережі для генерації зображень пройшли величезний шлях поліпшень і стали створювати якісні роботи. Проте, все ще трапляються "вади" - неправильна кількість пальців на руках (або ногах), косі обличчя, нерозбірливі написи.

Усі ці дефекти роботи нейромережі, насправді, зумовлені однією і тією ж проблемою: процесом навчання моделі. Річ у тім, що, навчаючи нейромережу, фахівці дають їй певні зображення і створений людиною текст, що описує те, що на цьому зображенні знаходиться. Навчаючись, нейромережа зазвичай аналізує зображення загалом - дуже рідко фахівці описують окремі частини картини, оскільки це дуже трудомістко і складно.

У підсумку, навіть якщо в навчальній вибірці є достатньо зображень із правильним числом пальців на руках або красивими і зрозумілими написами, нейромережа просто не розуміє, яка конкретна деталь на зображенні - напис, а яка - палець. Тому, коли в запиті алгоритм бачить фразу, наприклад, "табличка з текстом I love you", він може видати щось на кшталт "IIu lvooo Youuu".

У навчальній вибірці алгоритму могли бути зображення з такими написами, але ніхто не говорив йому, що єдиний правильний варіант написання цієї фрази - саме "I love you", тому нейромережа просто змішує всі літери, як змішує моделей у Баленсіага і фото Папи Римського.

Нейромережа, що створює написи

Але ось у програмістів Ideogram вийшло навчити нейромережу так, щоб написи на згенерованих нею зображеннях були коректними. Представники стартапу, генеральний директор якого Мохаммад Норузі був старшим науковим співробітником Google, не розкривають секретів того, як їм вдалося навчити свою модель.

Наразі кожен може випробувати нову нейромережу і насолодитися результатами її роботи. Досить зайти на сайт ideogram.ai/ і пройти реєстрацію за допомогою акаунта Google. Після цього ви потрапляєте на головну сторінку, де будуть висвічуватися ваші роботи і стрічка із зображеннями, створеними іншими користувачами:

Вводите свій запит у вікні й отримуєте на виході чотири варіанти зображення. Найкраще поки що справляється з англійською мовою - з українською зовсім погано, хоча інтент запиту алгоритм розуміє. Ось кілька прикладів того, на що здатна Ideogram:

Як вводити запит в Ideogram

Загалом, правила формулювання промта (запиту) для Ideogram точно такі самі, як і для Stable Diffusion і MidJourney - про них ми розповідали в окремій статті. Але оскільки тут ми маємо справу з написами, варто відзначити ще одну важливу річ: при введенні запиту текст напису, який ви хочете побачити на зображенні, найкраще вводити всередині лапок - так нейромережа краще зрозуміє, який текст має бути на малюнку.

Більше від автора