Автор: Пол Шарре для Foreign Affairs
Оригінальний допис був опублікований 29 лютого 2024 року
Як обмежити загрозу автономної зброї
Про автора: Пол Шарре - виконавчий віце-президент і директор з досліджень Центру нової американської безпеки, автор книги «Чотири поля битви: Сила в епоху штучного інтелекту».
Минулого року українська компанія-виробник безпілотників Saker заявила, що випустила на ринок повністю автономну зброю - Saker Scout, яка використовує штучний інтелект для прийняття власних рішень про те, кого вбивати на полі бою. Представники Saker заявили, що безпілотник здійснював автономні атаки в невеликих масштабах. Хоча це не було підтверджено незалежною перевіркою, технологія, необхідна для створення такої зброї, безумовно, існує. Це невеликий технічний крок - але важливий з моральної, правової та етичної точки зору - до створення повністю автономної зброї, здатної самостійно шукати і вибирати цілі.
Розгортання безпілотника Saker [на полі бою] показує, що вікно для регулювання автономної зброї швидко закривається. Країни вже десять років обговорюють, що робити з автономною зброєю, але так і не змогли дійти згоди щодо правил, які б обмежили шкоду від неї. Проте існує нагальна потреба в міжнародній угоді. Необмежений розвиток автономної зброї може призвести до війн, які вийдуть з-під людського контролю, з меншим захистом як для комбатантів, так і для цивільного населення. Навіть якщо повна заборона не є реалістичною, існує багато практичних правил, які уряди можуть прийняти, щоб пом'якшити найгірші небезпеки, які несе в собі автономна зброя. Без обмежень людство ризикує опинитися в майбутньому небезпечної, керованої машинами війни.
МАЙЖЕ ТУТ
Майже в усіх країнах світу армії використовують частково автономну зброю в обмежених умовах оборони, починаючи з 1980-х років. Сьогодні щонайменше 30 країн мають на озброєнні системи протиповітряної і протиракетної оборони або системи протиракетного захисту наземних транспортних засобів, які мають автономні режими. Після активації ці оборонні системи можуть автоматично виявляти ракети, артилерію, міномети, ракети або літаки, що наближаються, і перехоплювати їх. Але люди контролюють їхню роботу і можуть втрутитися, якщо щось піде не так.
Армії не поспішали впроваджувати технології штучного інтелекту, розроблені в комерційному секторі, частково через громіздкі процеси закупівель. Війна в Україні прискорила впровадження інновацій з обох сторін, особливо у сфері комерційних технологій, таких як малі безпілотники. І Москва, і Київ широко використовували дрони для розвідки та атак на наземні війська. Розгортання безпілотників, своєю чергою, призвело до розробки нових контрзаходів, зокрема систем радіоелектронної боротьби, які глушать зв'язок безпілотників або визначають місцезнаходження операторів на землі, які потім можуть бути атаковані. Така увага до оператора є стратегічно обґрунтованою: більшість безпілотників пілотуються дистанційно, що робить людину-оператора важливою і критично важливою мішенню. Без людини-оператора дистанційно керовані дрони стають марними. Ось чому автономні дрони такі цінні: вони не залежать від вразливих ліній зв'язку. Щоб протидіяти їм, потрібно знайти і знищити самі дрони.
Конкретна форма, якої набуває автономна зброя, буде залежати від потреб конфлікту. В Україні Москва і Київ використовували невеликі безпілотники для ураження особового складу і бойових машин. Більші безпілотники, що діють на середніх висотах, використовувалися для проникнення в тил ворога і нанесення ударів по радарах і установках. Україна навіть використовувала безпілотні катери для атак на Чорноморський флот росії. Всі ці безпілотники, які наразі керуються дистанційно, можуть бути автономізовані, що дозволить продовжувати роботу, якщо лінія зв'язку буде заблокована.
Інші конфлікти можуть призвести до розробки різних автономних озброєнь. Декілька країн, в тому числі Китай, Франція, Індія, росія, Велика Британія і США, зараз працюють над створенням малопомітних бойових дронів. У майбутніх війнах ці безпілотники можуть автономно атакувати засоби протиповітряної оборони або мобільні ракетні пускові установки. Наземні роботи поки що відстають від своїх повітряних і морських колег, але майбутні війни можуть побачити автономне озброєння, розміщене на роботах або стаціонарних гарматних установках. На цьому зміни, швидше за все, не зупиняться. Рої дронів зможуть автономно координувати свою поведінку, реагуючи на зміни на полі бою зі швидкістю, що виходить за межі людських можливостей. Автономні реакції зі швидкістю машини можуть пришвидшити темп операцій, прискоривши темп бою. Це, в свою чергу, може створити ще більший тиск на усунення людини з циклів прийняття рішень. Наслідки цього переходу до нової ери війни, керованої машинами, будуть глибокими.
АВТОНОМНА НЕБЕЗПЕКА
Провідні вчені в галузі штучного інтелекту, серед яких професор Каліфорнійського університету Стюарт Рассел та лауреат премії Тьюрінга Ян Лекун, попередили про небезпеку автономної зброї. Консорціум з понад 250 неурядових організацій, серед яких Amnesty International, Human Rights Watch та Нобелівська жіноча ініціатива, створили кампанію «Зупинити роботів-вбивць», закликаючи до укладення превентивного, юридично обов'язкового договору про заборону автономної зброї. Ці попередження і кампанії мотивовані занепокоєнням тим, що автономна зброя може збільшити кількість жертв серед цивільного населення під час війни. Хоча автономна зброя теоретично може зменшити кількість жертв серед цивільного населення, точно націлюючись на комбатантів, в руках держави, яка мало дбає про жертви серед цивільного населення - або хоче покарати цивільне населення - вона може бути використана для вчинення руйнівних звірств. Величезні полчища автономної зброї можуть бути розгорнуті, щоб вбивати тисячі людей за один раз, і в порівнянні з ними сучасні «розумні» бомби здаватимуться незграбними.
Один з найбільш екстремальних ризиків пов'язаний з інтеграцією штучного інтелекту і автономності в ядерну зброю. У 2022 році Сполучені Штати оголосили, що завжди матимуть «людину в курсі» рішень про застосування ядерної зброї. Велика Британія прийняла аналогічну політику у 2022 році. Проте росія і Китай цього не зробили. Людський контроль над ядерною зброєю здається легкою відправною точкою для міжнародної угоди, але Москва продемонструвала тривожну готовність інтегрувати ризиковану автоматизацію в свої ядерні операції. У цьому немає нічого нового: після закінчення Холодної війни колишні радянські чиновники пояснювали, що Радянський Союз побудував напівавтоматизовану систему ядерного удару у відповідь під назвою «Периметр». Після активації вона за допомогою низки автоматизованих датчиків виявляла ядерну атаку на радянську територію. У разі виявлення такої атаки і відсутності реакції з боку лідерів країни - ймовірно, через їхню загибель під час нападу - система автоматично передавала б повноваження на запуск ядерної зброї офіцеру відносно низького рангу в захищеному бункері. У 2018 році російські офіційні особи заявили, що система все ще працює і навіть була модернізована. Зовсім недавно Москва почала розробляти автономний підводний безпілотник з ядерною зброєю. Ядерні безпілотники на морі або в повітрі можуть бути відправлені на патрулювання, ризикуючи потрапити в аварію або втратити контроль над ядерною зброєю.
Широко розгорнута автономна зброя, інтегрована з іншими аспектами військового ШІ, може призвести до нової ери війни, керованої машинами. Застосування військового ШІ може прискорити обробку інформації і прийняття рішень. Цикли прийняття рішень скорочуватимуться, оскільки країни впроваджуватимуть ШІ і автоматизацію, щоб скоротити час на пошук, ідентифікацію і нанесення ударів по ворожих цілях. Теоретично, це може дати людям більше часу для прийняття продуманих, зважених рішень. На практиці конкуренти будуть змушені відповідати тим же, використовуючи автоматизацію для прискорення власних операцій, щоб не відставати. Результатом стане розкручування спіралі більшої автоматизації і меншого контролю з боку людини.
Кінцевим результатом цієї конкуренції, ймовірно, стане війна, яка буде вестися зі швидкістю машини і не підконтрольна людині. У фінансовій сфері широке використання алгоритмів у високочастотній торгівлі призвело до того, що акції торгуються автономно з надлюдською швидкістю. Китайський військовий науковець Чен Хангуй з Коледжу армійського командування Народно-визвольної армії висунув гіпотезу про «сингулярність» на полі бою - точку, в якій темпи ведення війни машинами так само випереджатимуть швидкість прийняття рішень людиною. Цей переломний момент змусить людей поступитися машинам як у прийнятті тактичних рішень, так і в оперативних стратегіях ведення війни. Машини не лише обиратимуть окремі цілі, але й плануватимуть і здійснюватимуть цілі кампанії. Роль людини зведеться до того, щоб вмикати машини і сидіти на узбіччі, не маючи можливості контролювати чи навіть закінчувати війни.
ЗАСТРЯГЛА В КУЩАХ
Міжнародні правила, якщо вони будуть ретельно розроблені і успішно впроваджені, можуть допомогти пом'якшити деякі з найгірших наслідків використання автономної зброї. Близько 30 країн і консорціум гуманітарних організацій закликали до укладення превентивного, юридично обов'язкового договору про заборону автономної зброї до того, як вона буде розгорнута. Уряди досягли відносного успіху в забороні хімічної і біологічної зброї, касетних боєприпасів і використання довкілля як зброї. Але аналогічний прогрес у регулюванні автономних озброєнь виявився складним. Зокрема, повна заборона є малоймовірною. Оскільки автономна зброя ще не повністю розроблена, невідома як її потенційна шкода, так і військова цінність. Тому уряди неохоче відмовляються від потенційно цінної зброї через невизначеність щодо потенційної майбутньої шкоди.
Дискусії про те, як регулювати автономну зброю, ведуться на багатьох форумах. На міжнародному рівні уряди обговорюють автономну зброю в рамках Конвенції ООН про конкретні види конвенційної зброї з 2014 року. Конвенція про КВКЗ - це міжнародний форум для регулювання зброї, яка вважається надмірно шкідливою для комбатантів або цивільних осіб, наприклад, наземні міни і засліплюючі лазери. До неї входять 126 країн, і угода вимагає підтримки всіх урядів-учасниць, що є рецептом для дисфункції. Росія і Сполучені Штати, зокрема, рішуче виступають проти договору про заборону автономної зброї, стверджуючи, що існуючих норм воєнного права достатньо для усунення будь-якої потенційної шкоди. Опозиція Москви і Вашингтона є фатальною, оскільки заборона на автономну зброю не має сенсу, якщо до неї не приєднаються найбільші військові держави світу. Усвідомлюючи відсутність прогресу, у 2023 році прихильники заборони винесли питання на розгляд Генеральної Асамблеї ООН, що не потребує консенсусу. У листопаді 2023 року Перший комітет Генеральної Асамблеї проголосував за те, щоб доручити Генеральному секретарю ООН підготувати доповідь про автономну зброю, яка, як сподіваються прихильники заборони, стане першим кроком до отримання мандату на переговори про укладення договору.
Тим часом Сполучені Штати запропонували альтернативний підхід до повної заборони і наприкінці 2023 року на чолі з понад 40 країнами схвалили політичну декларацію про необхідність відповідального використання військового ШІ. Станом на лютий 2024 року до цих зусиль приєдналися понад 50 урядів. Хоча декларація не забороняє автономну зброю, вона містить загальні рекомендації щодо її використання, такі як забезпечення належного тестування для зменшення ризику нещасних випадків. Хоча декларація відстоює цінні принципи, їй бракує значущих обмежень на найнебезпечніші види автономної зброї, такі як протипіхотна автономна зброя і автономність в ядерних операціях.
ДОКИ НЕ СТАЛО НАДТО ПІЗНО
Замість цих підходів, що зайшли в глухий кут, є п'ять взаємодоповнюючих ініціатив, які країни могли б реалізувати для зменшення загрози автономних озброєнь. По-перше, уряди могли б прийняти широкий принцип, який встановлює мінімально необхідну участь людини у прийнятті летальних рішень. Такий принцип може бути ухвалений як юридично обов'язкове правило через КВКЗ або Генеральну Асамблею, або ж як політично зобов'язуюча декларація. Цей стандарт повинен вимагати, щоб людина, яка приймає рішення, мала конкретну і достатню інформацію про передбачувану ціль, зброю, навколишнє середовище і контекст атаки, щоб визначити, чи є атака законною до того, як вона буде санкціонована. Країни могли б також погодитися, що для того, щоб людський контроль мав сенс, будь-яке використання автономної зброї має бути обмежене за географією, часом і цілями, що зазнають атаки. Хоча такий принцип не заборонить всю автономну зброю - фактично, він легітимізує її використання за умови дотримання цих правил - він створить запобіжники щодо того, як країни використовують автономну зброю, і забезпечить участь людини в ухваленні найважливіших рішень щодо санкціонування атак.
По-друге, уряди можуть заборонити автономну зброю, спрямовану проти людей. У світі, де багато комбатантів не носять уніформи, навіть люди часто не можуть точно відрізнити цивільних від солдатів. Алгоритмам буде набагато складніше зробити висновок, чи є людина з гвинтівкою комбатантом, чи фермером, який захищає свою землю. Машина також з меншою ймовірністю зможе точно і надійно розпізнати, чи дійсно солдат намагається здатися, чи лише імітує капітуляцію. Як наслідок, протипіхотна автономна зброя становить більші ризики, ніж та, що націлена лише на транспортні засоби чи техніку, а шкода, яку вона може завдати, значно перевищує її військову цінність. Держави могли б заборонити їх до того, як їх застосування набуде широкого розповсюдження.
По-третє, країни можуть оприлюднити найкращі практики тестування військового ШІ та автономних систем, щоб уникнути нещасних випадків. Ключова мета політичної декларації 2023 року на чолі з США - забезпечити безпеку військових систем штучного інтелекту шляхом вдосконалення тестування. Вашингтону слід піти далі і поділитися з іншими країнами найкращими практиками тестування систем ШІ для підвищення їхньої безпеки. Це можна було б зробити подібно до того, як Сполучені Штати діляться інформацією про процес проведення перевірок легальних озброєнь, не розголошуючи зміст конкретних перевірок.
По-четверте, Сполученим Штатам слід співпрацювати з Великою Британією, щоб переконати інші ядерні держави укласти угоду, яка забезпечить суворий контроль над ядерною зброєю з боку людини. Лондон є правильним партнером для цих зусиль через свою політику збереження людського контролю над своїм ядерним арсеналом. Забезпечення аналогічних односторонніх заяв від інших ядерних держав або, в ідеалі, багатосторонньої угоди стане важливим кроком до того, щоб найнебезпечніша зброя людства залишалася під контролем людей. Угода між п'ятьма постійними членами Ради Безпеки ООН стала б потужною заявою. Вашингтон також повинен тиснути на Пекін у цьому питанні на нових двосторонніх американсько-китайських переговорах щодо ШІ.
Нарешті, держави могли б прийняти єдину «дорожню карту» для автономних дронів, щоб зменшити ризик аварій. У міру того, як країни використовують все більше безпілотників у повітрі і на морі - і в міру того, як ці безпілотники стають все більш автономними, - зростає ймовірність того, що аварія або прорахунок можуть спровокувати міжнародний інцидент. Наприклад, у 2019 році іранські засоби ППО збили американський безпілотник Global Hawk над Ормузькою протокою. У березні 2023 року російський винищувач втрутився в роботу американського безпілотника MQ-9 Reaper у Чорному морі, що призвело до його аварії. Оскільки ці безпілотники керувалися дистанційно, людина вирішувала, як реагувати. Але майбутні повітряні та морські дрони можуть бути автономними. Це означатиме, що в подібних ситуаціях безпілотник самостійно виконуватиме ті дії, на які він був запрограмований. Якщо він був запрограмований відкрити вогонь у відповідь, він це зробить, що може призвести до ескалації міжнародного інциденту без будь-якого свідомого людського рішення про це. Уряди повинні гарантувати, що будь-яка автономна поведінка відповідає людським намірам. Американсько-радянська угода 1972 року про інциденти на морі допомогла зменшити кількість незапланованих інцидентів між американським і радянським флотами під час Холодної війни. Подібна угода щодо автономних інцидентів допоможе країнам зорієнтуватися в ризиках протистояння автономних систем, розгорнутих у спірних районах, і уникнути незапланованих і небажаних інцидентів.
Ці ініціативи, спрямовані на подолання ризиків, пов'язаних з автономними озброєннями, можуть реалізовуватися разом або окремо, різними каналами і в різні терміни. КВКЗ, Генеральна Асамблея, очолювана США ініціатива політичної декларації, Рада Безпеки, двосторонній американо-китайський діалог та інші багатосторонні форуми - все це простори для глобальної співпраці, які слід розглянути. Співпраця Вашингтона з Пекіном буде особливо важливою. Угода між Сполученими Штатами і Китаєм, як провідними військовими, економічними і технологічними наддержавами світу, стане важким, але критично важливим кроком вперед в управлінні ризиками, пов'язаними з автономними озброєннями.
ЗБЕРІГАЙТЕ ОБЕРЕЖНІСТЬ
Автономна зброя наближається. Спроби повністю заборонити її, хоч і з добрими намірами, швидше за все, будуть марними. Їх військова цінність просто надто велика. Проте у країн є вибір, як саме використовувати автономну зброю. Без ефективних обмежень автономна зброя зменшить контроль людини над війною, створить підвищену небезпеку для цивільного населення і комбатантів і підірве міжнародну стабільність. Необхідно терміново вжити заходів для усунення найбільших небезпек, які несе в собі ця зброя. Це вимагатиме виходу за межі нинішнього спрощеного і оманливого вибору між забороною усієї автономної зброї і повною відсутністю обмежень.
Автономна зброя - це перша перевірка здатності людства протистояти озброєному ШІ, більш небезпечні форми якого з'являтимуться в майбутньому. Новітні системи штучного інтелекту продемонстрували здатність допомагати в розробці кіберзброї, хімічної та біологічної зброї. Глобальне співробітництво є нагальною потребою для управління їх вдосконаленням, обмеження їх розповсюдження та захисту від їх потенційного використання. Досягнення міжнародної угоди щодо автономної зброї має вирішальне значення для подолання її шкоди і закладення фундаменту для співпраці у боротьбі з майбутніми, ще більш серйозними загрозами, пов'язаними зі штучним інтелектом.
