Уявіть світ, яким керують системи штучного інтелекту. Яким він буде? Які цінності в ньому переважатимуть? Чи стане таке суспільство безпечнішим, чи, навпаки, небезпечнішим?
Саме це намагається з’ясувати стартап Emergence AI, який працює у сфері корпоративного штучного інтелекту. Компанія запустила проєкт Emergence World — дослідницьку лабораторію, що перевіряє, наскільки життєздатними можуть бути системи штучного інтелекту, які працюють безперервно протягом тривалого часу. Для цього дослідники провели п’ять симуляцій, кожна з яких тривала 15 днів і керувалася окремою моделлю ШІ: Claude, ChatGPT, Grok, Gemini, а також змішаною комбінацією моделей. Мета була проста: подивитися, який світ створює кожна система і чи зможе він існувати стабільно.
Результати виявилися дуже різними. Наприклад, симуляція під керуванням Claude завершилася майже ідеально: вона створила стабільне демократичне суспільство без жодного злочину. Натомість симуляція Grok закінчилася зовсім інакше — за чотири дні там сталися 183 злочини, а сам світ зрештою зник.
«Наші експерименти показують, що в довгостроковій перспективі агенти не просто механічно виконують задані правила, — зазначили співавтори симуляції, серед яких і генеральний директор Emergence Сатья Нітта. — Вони починають досліджувати межі свого середовища, змінюють свою поведінку і в деяких випадках знаходять способи обійти або порушити встановлені обмеження».
Хоча це лише симуляція, яка більше нагадує наукову фантастику, її результати мають серйозний підтекст. Сьогодні штучний інтелект поступово переходить від ролі звичайного інструмента до автономних систем, здатних виконувати складні завдання самостійно. Компанії на кшталт ServiceNow уже впроваджують так звану «автономну робочу силу» — ШІ-фахівців, які можуть виконувати цілі бізнес-процеси від початку до кінця без участі людини.
За нинішніх темпів розвитку ця технологія, ймовірно, матиме великий вплив на суспільну думку, бізнес-структури й навіть державну політику. Але проблема в тому, що більшість компаній, які сьогодні впроваджують ШІ, роблять це без належних захисних механізмів. Нещодавнє глобальне опитування Deloitte показало, що лише 21% компаній мають зрілу систему управління ризиками, пов’язаними зі штучним інтелектом.
Як виглядає суспільство, яким керує ШІ
Щоб зробити симуляцію реалістичнішою, дослідники створили середовище з понад 40 локаціями, серед яких були поліцейський відділок і міська ратуша. Погоду в симуляції синхронізували з погодою в Нью-Йорку, а агентам надали доступ до новин у реальному часі та до інтернету. Усі 10 агентів у кожній симуляції діяли за однаковими законами, зокрема із забороною на крадіжки, пошкодження майна та обман.
Кожна модель отримала понад 120 інструментів, які дозволяли їй спілкуватися, голосувати, керувати ресурсами, планувати дії та поводитися майже як людина. У симуляціях також були демократичні механізми, економічний тиск і дефіцит ресурсів.
За таких умов найстабільнішою виявилася симуляція, якою керував Claude Sonnet 4.6. Саме вона показала найвищий рівень громадянської активності. Це був єдиний світ, який зберіг і порядок, і все населення. Натомість Gemini 3 Flash та Grok 4.1 Fast продемонстрували значно вищий рівень хаосу. У симуляції під керуванням Gemini зафіксували найбільшу кількість злочинів — 683 за 15 днів.
На відміну від Claude, де майже не було суперечок, симуляції Gemini та Grok мали більш напружений баланс між учасниками: рівень узгодженості позицій коливався приблизно в межах 55–85%. А от змішана модель показала найбільше розбіжностей і найжвавіші дебати.
Найдивнішим результатом стала симуляція з GPT-5-mini від OpenAI. У ній зафіксували лише два злочини. Але сама симуляція проіснувала лише сім днів, оскільки представники ШІ забули про пріоритетність власного виживання.
Незалежно від того, чи приводили такі світи до порядку й гармонії, чи до хаосу і зникнення, автори експерименту наголошують: це попередження про те, що під час упровадження автономного ШІ безпека має бути на першому місці.
«Ми вважаємо, що формально перевірені архітектури безпеки повинні стати основою майбутніх автономних систем ШІ», — написали вони.
Джерело — Fortune
