Реальна ефективність AI-агентів у роботі: що насправді виміряв GDPx
Дванадцять відсотків. Це найвищий результат, який AI-агент показав у GDPx, бенчмарку від SemiAnalysis, опублікованому 2 листопада 2026 року. Він став новою точкою відліку для оцінки того, яка реальна ефективність AI-агентів у роботі. У фінансових і юридичних завданнях майже всі провідні моделі отримали рівно нуль.
Для керівника важливіша не сама цифра, а те, що за нею стоїть. Одні завдання агенти виконують з разючою швидкістю, а в інших помиляються так, що живого аналітика зняли б з проєкту. Один реальний кейс із цифрами «до» і «після» показує, де проходить межа. Допоможе й короткий список перевірок перед підписанням наступного контракту на автоматизацію.
Більшість знайомих бенчмарків влаштовують моделі іспит. GDPx робить інакше: він наймає модель на робочу зміну.
Як працює тест
SemiAnalysis зібрала 206 завдань в 11 галузях: проєктування чипів, кібербезпека, біологія, фінанси, право, квантова торгівля, проєктування апаратного забезпечення, матеріалознавство, alignment, розробка ПЗ і рекурсивне самовдосконалення. За даними The Decoder, агенти працюють до восьми годин у змодельованих робочих середовищах. Вони користуються професійним софтом на кшталт Siemens NX, розбирають кімнати даних із тисячами файлів і атакують живі корпоративні системи. Одне з робочих місць — копія реальної угоди з придбання бізнесу з великою кімнатою даних, і потрібні матеріали агент мусить знайти сам. Завдання підготували 14 профільних партнерів.
У цьому й суть. Чат-бот відповідає на охайне запитання. Агент у компанії отримує розмите доручення, захаращений спільний диск і нікого, в кого можна перепитати.
Таблиця лідерів
Модель Результат у GDPx Що впадає в око Claude Opus 5.5 12,0% Перше місце загалом; близько $51 за завдання Gemini 4 Carbon 10,9% Менш ніж на один пункт позаду лідера за приблизно втричі нижчої ціни завдання GPT-6 Astra 9,6% Лідер у завданнях з AI-досліджень і матеріалознавства; захисні класифікатори тиснуть на результати з кібербезпеки, біології та alignment Grok 4.7 3,9% Дванадцяте місце з 13 у загальному списку: далі результати різко падають
Результат — це частка завдань, які модель пройшла за оцінкою SemiAnalysis. Дані про вартість узято з таблиці лідерів GDPx і вторинних оглядів, тож перед тим як цитувати їх на раді директорів, варто звірити з першоджерелом від SemiAnalysis.
У таблиці є дві деталі, на які варто глянути вдруге. Різниця між першим і третім місцем — 2,4 пункти, і добір завдань цілком міг би переставити моделі місцями. А різниця в ціні велика. Проста прикидка: якщо спроба коштує близько $51, а проходить модель 12% завдань, то одне повністю виконане завдання обходиться приблизно в $430 обчислень. Це власний розрахунок, а не дані SemiAnalysis, але він показує, чому з вендорів слід вимагати ціну за успішний результат.
Як читати 12% без паніки й ейфорії
Ця цифра не означає, що «AI вміє виконувати 12% роботи співробітників». У відкритих джерелах зафіксовано кілька застережень.
GDPx свідомо добирає складні завдання у високовартісних галузях. Це не репрезентативна вибірка офісної роботи, а державний сектор, нерухомість і страхування SemiAnalysis пропустила навмисно.
Критики, яких цитує The Decoder, вказують на малу кількість завдань у кожній галузі та нерівні умови тестування.
Професор Wharton Ітан Моллік назвав тест цінним, але сказав, що йому бракує людських базових показників. Поки ніхто не знає, яку частку цих завдань пройшов би добрий фахівець за тих самих правил.
Захисні класифікатори іноді переривають агентів у завданнях з кібербезпеки, біології та alignment, що знижує деякі результати.
За суворого оцінювання «пройшов/не пройшов» фінансові та юридичні завдання дали нулі, тому для них GDPx показує часткові бали.
SemiAnalysis планує оновлювати бенчмарк кожні три-шість місяців, тож це перше зчитування, а не вирок. Чесний висновок такий: реальна ефективність AI-агентів у роботі над довгими, нечітко поставленими експертними завданнями поки низька, а за таблицею лідерів не вгадати, як агент впорається з черговою заявкою відділу закупівель конкретної компанії.
Бенчмарк не довів, що агенти марні. Він показав, що «автономний» і «надійний» — різні слова.
