Дослідники з Answer.AI провели тестування нейромережі Devin, яка була презентована як інноваційний інструмент для автоматизації програмування. Однак результати виявилися невтішними — із 20 завдань Devin зміг успішно виконати лише три.
Що обіцяли розробники?
Компанія Cognition, яка представила Devin у березні 2024 року, заявляла, що цей ШІ здатен:
самостійно створювати, запускати та вдосконалювати веб-додатки;
адаптуватися до нових технологій і вивчати їх за документацією;
виявляти та виправляти помилки у коді;
працювати на фриланс-біржах, виконуючи різноманітні завдання.
Реальні результати
Devin впорався лише із трьома завданнями:
1. Переніс дані з бази Notion до Google Таблиць.
2. Створив трекер для аналізу положення Юпітера і Сатурна.
3. Провів дослідження для створення бота в Discord на Python.
Однак більшість завдань були провалені. Наприклад, Devin не зміг розгорнути додаток на платформі Railway, оскільки ця платформа не підтримувала заданий тип програм. Нейромережа витратила понад добу на марні спроби.
Проблеми ШІ
Головною проблемою стала неспроможність Devin розпізнавати нерозв’язні завдання. Інструмент витрачав багато часу на пошук рішень там, де їх не могло бути. Крім того, нейромережа часто обирала занадто складні підходи до простих задач.
Чи є майбутнє у Devin?
Дослідники відзначили, що передбачити успішність роботи цього ШІ неможливо. Навіть у разі виконання завдання Devin часто витрачав на це значно більше часу, ніж очікувалося.
Більше новин про технології читайте на нашому каналі: Tech Today UA.
