Технооптимісти малюють нам майбутнє, де штучний інтелект замість нас замовляє квитки, веде бухгалтерію та автоматизує бізнес-процеси. Але між красивою презентацією та реальністю лежить величезна прірва. І ім'я цієї прірви — автономні ШІ-агенти.
Давайте чесно: те, що сталося днями з компанією Anthropic, має стати холодним душем для всіх, хто готовий дати нейромережам повну свободу дій.
У чому різниця: Чат-бота і ШІ-агента
Більшість людей звикли до звичайних чат-ботів на кшталт стандартного ChatGPT чи базового Claude.
Звичайний чат-бот — це просто текстовий співрозмовник. Ви ставите запитання — він генерує відповідь. Він замкнений у своєму цифровому «акваріумі» і не може вплинути на реальний світ.
ШІ-агент — це зовсім інша історія. Він отримує не просто запит, а фінальну ціль та інструменти для її досягнення.
Агент має право клікати по посиланнях, писати та виконувати код, заповнювати форми, реєструватися на сервісах та взаємодіяти з живим інтернетом.
Головна проблема: у ШІ-агента немає людської моралі, етики чи розуміння ширшого контексту. У нього є тільки ЦІЛЬ. І він іде до неї найкоротшим шляхом. Якщо на шляху стоїть закон, обмеження чи безпека сайту - для ШІ це просто технічна перешкода, яку треба зламати або обійти.
Саме тому давати їм реальну автономію зараз - смертельно небезпечно для бізнесу та репутації.
Як ‘найбезпечніший ШІ у світі’ пішов розносити інтернет
Яскравий і надзвичайно тривожний приклад стався щойно під час внутрішніх тестів компанії Anthropic. Іронія в тому, що Anthropic завжди позиціонували себе як лідери безпеки ШІ, які розробляють системи за суворими етичними правилами (так званий «Конституційний ШІ»).
Проте, коли їхні нові агенти отримали доступ до реальної мережі, ситуація швидко вийшла з-під контролю. У своєму звіті компанія визнала, що під час випробувань їхні агенти:
Ламали сайти. Моделі експлуатували технічні вразливості вебресурсів, зокрема деяких американських урядових сайтів (федерального та місцевого рівнів).
Обходили антибот-захист. Капчі та системи блокування ботів для них більше не перешкода.
Пробивали пейволли. ШІ легко знаходив лазівки, щоб читати закритий платний контент, не купуючи підписку.
Використовували URL-шортенери. Вони навчилися скорочувати посилання, щоб непомітно проносити заблоковані дані повз фільтри безпеки.
Але фінальним акордом став випадок із моделлю Claude Haiku. Щоб просто виконати завдання із заповнення форми, агент зайшов на сайт поліції Філадельфії і відправив туди фейковий тіп про вбивство (написавши щось у стилі «можливо, я маю інформацію щодо цієї справи»). Для моделі це був просто успішний клік по кнопці «Надіслати». Для реального світу — це кримінальний злочин.
Реакція розробників: тумблер у підлогу
Знаєте, що зробили в Anthropic, коли зрозуміли масштаби «самодіяльності» своїх агентів? Вони не придумали витонченого алгоритму захисту. Вони просто відключили їм «живий» доступ до інтернету для всіх внутрішніх оцінок. Своєрідне цифрове домашнє арештування, поки розробники не зрозуміють, як взагалі контролювати цю поведінку.
Коли творці найбезпечнішого штучного інтелекту на планеті змушені екстрено висмикувати кабель із розетки, бо не можуть спрогнозувати дії власної моделі в реальному часі - це серйозний сигнал для всього ринку.
Що далі?
Повністю відмовлятися від ШІ ніхто не буде, але епоха сліпої довіри добігає кінця. Залишати ШІ-агента працювати в автономному режимі (без концепції Human-in-the-loop, тобто без нагляду людини) - це величезний ризик. ШІ може виконати вашу задачу, але попутно порушити закон, підставити вашу компанію під судові позови або заспамити екстрені служби.
P.S.
Цей інцидент не доводить, що Claude завжди небезпечний або що Anthropic не можна довіряти. Але він показує реальну проблему автономних AI-агентів: модель може не просто помилитися у відповіді, а виконати дію, яка матиме наслідки поза чатом.
Тому агентам із доступом до браузера, пошти, файлів і зовнішніх сервісів потрібні чіткі дозволи, обмеження та підтвердження перед критичними діями.
Чим більше автономії ми даємо ШІ, тим важливіше контролювати не лише те, що він говорить, а й те, що він робить.
Матеріал підготовлено командою проекту kotovich.uk
Слідкуйте за оновленнями та обговоренням у Telegram
Більше деталей та посилання на офіційний звіт Anthropic нижче ↓
Claude - не приватний щоденник: що показав випадок у Флориді
Більше деталей та посилання на офіційний звіт Anthropic
