Попередня частина | Наступна частина
Цей допис – четверта з восьми частин перекладу есе з блогу американського психіатра Скотта Александера “Slate Star Codex” за 2014 рік, а ось попередні частини: перша, друга, третя. Посилання на оригінал – у кінці. Продовження викладу згодом. Приємного прочитання.
Повернімося до тієї цитати з Апокрифи Дискордії:
Час тече, немов річка. Тобто, скажімо, в долину. Ми це знаємо, тому що все швидко летить униз. Доцільно було б бути у якомусь іншому місці, коли ми досягнемо моря.
Що в цій ситуації означає “досягнути моря”?
Багатополярні пастки – перегони на дно – загрожують знищенням усіх людських благ. Наразі вони стримуються фізичними обмеженнями, надлишком ресурсів, максимізацією корисності та координацією.
Виміром, за яким ця метафорична річка тече, повинен бути час, а найважливіша зміна в людській цивілізації протягом часу – це зміна в технологіях. Тож доречним питанням є те, як технологічні зміни впливають на нашу схильність втрапляти в багатополярні пастки.
Я описав пастку як таку ситуацію, в якій:
…при певній конкуренції та оптимізації задля показника X з’являється можливість викинути певну цінність на звалище, щоб покращити показник X. Ті, хто цією можливістю користується, – досягає успіху. Ті, хто ні – вимирають. Врешті решт, відносний статус кожного з учасників – такий же, як раніше, проте абсолютний статус кожного – гірший, ніж раніше. Процес триває, поки не будуть втрачені всі цінності, які можна втратити – інакше кажучи, поки людська винахідливість більше не зможе знаходити спосіб ще більше все погіршити.
Ця фраза “з’являється можливість” має доволі зловісний вигляд. Технології – це якраз про появу нових можливостей.
Розробіть нового робота, й раптом кавові плантації отримають “можливість” автоматизувати збір урожаю та звільнити всіх робітників-ефіопів. Розробіть ядерну зброю, й раптом країни застрягнуть у перегонах озброєнь за те, щоб мати достатньо такої зброї. Забруднення атмосфери заради швидшого виробництва товарів не було проблемою, поки не винайшли паровий двигун.
Обмеження багатополярних пасток при наближенню технологій до нескінченності – це “стає дуже погано”.
Багатополярні пастки наразі стримуються фізичними обмеженнями, надлишком ресурсів, максимізацією корисності та координацією.
Фізичні обмеження в найочевидніший спосіб перемагаються покращенням технологій. Стара морока рабовласників – те, що рабам необхідно їсти та спати – б’ється сойлентом і модафінілом. Проблема того, що раби втікають – б’ється GPS. Проблема того, що раби занадто тривожні, аби добре працювати – б’ється валіумом. Жодна з цих речей не є дуже доброю для рабів.
(або просто винайдіть робота, що взагалі не потребує їжі та сну. Що після цього станеться з рабами – краще не казати)
Іншим прикладом фізичних обмежень є один малюк на дев’ять місяців, і це применшення – насправді тут “один малюк на дев’ять місяців, плюс воля підтримувати та турбуватися про по суті безпорадну та украй вимогливу людську істоту протягом вісімнадцяти років”. Це стишує ентузіазм заяв “ідіть і розмножуйтесь” навіть найбільш ревних релігійних сект.
Проте, як пише Бостром у Суперінтелекті:
Є підстави, якщо уважніше поглянути та зробити припущення про незмінний рівень технологій і тривале процвітання, очікувати повернення до історично та екологічно нормального стану світового населення, яке впреться в обмеження того, що наша ніша здатна підтримувати. Якщо це здається контрінтуїтивним на тлі негативного взаємовідношення між добробутом і плодючістю, яке ми зараз спостерігаємо на глобальному рівні, то слід нагадати собі, що така сучасна епоха є коротким відрізком історії, і значною мірою – аберацією. Людська поведінка ще не пристосувалася до сучасних умов. Ми не лише не спромогаємося користуватися очевидними способами для збільшення своєї інклюзивної пристосованості (наприклад, стаючи донорами сперми чи яйцеклітин), а й дієво саботуємо власну плодючість, використовуючи протизаплідні засоби. У середовищі еволюційної пристосованості здорового статевого потягу могло бути достатньо, щоб індивід діяв у спосіб, який максимізує його репродуктивний потенціал; проте в сучасному середовищі було б потужною вибірковою перевагою мати сильніше безпосереднє прагнення бути біологічним батьком або матір’ю для якомога більшої кількості дітей. Таке прагнення зараз є предметом добору, як і решта рис, що збільшують шанси на самовідтворення. Проте культурне пристосування може перехопити естафету в біологічної еволюції. Частина спільнот, наприклад, гуттерити та прибічники Євангельського руху Квіверфул, мають наталістську культуру, яка заохочує мати великі родини, і вони, як наслідок, швидко збільшуються… Такі довготермінові перспективи можна спроєктувати в більш неминучі перспективи інтелектуального вибуху. Оскільки програмне забезпечення можна копіювати, то населення, що складається з імітацій чи ШІ, може швидко подвоюватися – протягом хвилин, а не десятиліть чи століть – швидко заповнивши всю доступну апаратуру.
Як завжди для трансгуманістів високого рівня, “вся доступна апаратура” також включає “атоми, що колись були частинами вашого тіла”.
Ідея біологічної або культурної еволюції, що призводить до масового вибуху народжуваності, – щонайбільше є філософською забавкою. Ідея про технології, що зроблять її можливою, водночас є вірогідною та жахає. Тепер ми бачимо, що “фізичні обмеження” вельми природно переходять у “надлишок ресурсів”: змога швидко створювати нових акторів означає, що якщо всі не скоординуються, щоб це заборонити, то люди, які цим займатимуться, переможуть тих, хто ні, поки не досягнуть меж місткості та всі не опиняться в злиднях.
Надлишок ресурсів, який наразі поки що є нашим даром технологічного поступу, таким чином стає його жертвою – за достатнього технологічного рівня.
Максимізація корисності, що постійно перебуває в непевному становищі, також зустрічає нові загрози. Попри необхідність продовжувати обговорення цієї теми, я досі вважаю очевидним, що роботи витіснять людей з робочих місць або щонайменше обвалять рівень зарплат (що, за наявності мінімальної платні, витісняє людей з робочих місць).
Щойно робот зможе робити все, що може робити людина з IQ 80, але краще та дешевше, вже не буде підстав наймати людей з IQ 80. Щойно робот зможе робити все, що може робити людина з IQ 120, але краще та дешевше, вже не буде підстав наймати людей з IQ 120. Щойно робот зможе робити все, що може робити людина з IQ 180, але краще та дешевше, вже взагалі не стане змісту наймати людей, коли припускати малоймовірний сценарій, що люди ще тоді залишаться.
Протягом перших етапів цього процесу капіталізм все далі й далі відриватиметься від свого вихідного завдання з оптимізації задля благ людей. Більшість людей назовсім викине з групи осіб, задля чийого блага капіталізм оптимізується. Вони більше не матимуть цінності як робітники – і за відсутності дивовижної мережі соціалього захисту стає неясним, звідки в них зможуть взятися значні гроші – а отже, вони також більше не матимуть цінності як клієнти. Капіталізм їх обходитиме стороною. Зі зростанням частини людей, яких роботи перемогли в конкуренції, капіталізм обходитиме стороною все більшу кількість людей, поки геть не викине всю людську расу, знову таки, виходячи з все більш неймовірного сценарію, що люди ще тоді залишаться.
(є кілька варіантів, згідно з якими кілька капіталістів, що володіють роботами, зможуть отримувати зиск, проте в будь-якому разі переважна більшість не має шансів)
Вразливість демократії – менш очевидна, проте, можливо, варто повернутися до абзацу Бострома про рух Квіверфул. Це такі реально релігійні християни, які вважають, що бог хоче, аби вони мали якомога більше дітей, і в котрих родини з десятьма дітьми й більше. Їхні статті безпосередньо вміщають обчислення того, що якщо почати з двох відсотків населення, але мати в середньому по вісім дітей на покоління, поки всі решта в середньому матимуть по двоє, то за три покоління їхній рух складатиме половину населення.
Це кмітлива стратегія, проте я можу уявити щонайменше одну річ, що нас рятує: судячи з того, скільки блогів колишніх квіверфульців я зустрічаю, коли збираю статистику, то їхній показник утримання членів – доволі невтішний. Їхня стаття визнає, що 80% дуже релігійних дітей полишають церкву в дорослому віці (хоч вони й вважають, що в їхньому власному русі все не так погано). І це не є симетричним процесом: 80% дітей, що зростають у родинах атеїстів, не приєднуються до Квіверфулу.
Схоже на те, що попри те, що вони нас обганяють числом, ми їх обганяємо мемами, і це дає нам вирішальну перевагу.
Проте також нам варто бути дещо наляканими цим процесом. Меми оптимізуються задля того, щоб люди сприймали їх і передавали далі – тож, як капіталізм і демократія, вони оптимізуються як проміжна ланка для того, щоб робити нас щасливими, але ця проміжна ланка легко може відірватися від початкової цілі.
Листи щастя, міські легенди, пропаганда та вірусний маркетинг – це приклади мемів, що не задовольняють якихось явних наших благ (справжніх і корисних), але є достатньо мемно вірусними, щоб усе одно поширюватися.
Сподіваюся, не є надто контроверсійним сказати, що те саме істинно щодо релігії. Релігії, у своїй суті, є найбазовішою формою мемного відтворювача: “Повір у це твердження та повторюй його всім, кого зустрінеш, або вічно горітимеш в пеклі”.
“Суперечки” щодо креаціонізму, “суперечки” щодо глобального потепління та купа подібних “суперечок” у сучасному суспільстві вказують на те, що меми, які можуть поширюватися незалежно від своєї цінності як істин, мають доволі сильний вплив на політичний процес. Можливо, ці меми поширюються, тому що звертаються до упереджень людей, можливо, тому що прості, а можливо, тому що вони по суті поділяють усіх на “своїх” і “чужих”, а може, через цілу низку причин.
Суть у наступному: уявіть країну, сповнену лабораторій біологічної зброї, де люди наполегливо працюють удень і вночі, щоб винаходити нові заразні агенти. Існування таких лабораторій і їхнє право викидати розроблене у водопостачання – захищені законом. А також ця країна сполучена найдосконалішою системою доставки, якою кожен користується щодня, тож будь-який новий патоген пошириться нею миттєво. Ви б подумали, що з таким містом дуже скоро станеться лихо.
Тим часом, у нас безліч мозкових центрів, що розробляють нові та покращені форми пропаганди. І в нас конституційно захищена свобода слова. А ще є Інтернет. Тож нам, типу, срака.
Молох, чиє ім'я — Розум!
Є невелика кількість людей, що працюють над підняттям ватерлінії глузду, проте їх менше, ніж кількість тих, хто працює над новими та захопливими способами спантеличення та навернення інших, упорядковуючи та використовуючи кожне упередження, кожну евристику та кожний брудний риторичний трюк.
Отже, оскільки технології (які в цьому випадку включають психологію, соціологію, відносини з громадськістю тощо) прямують до нескінченності, то сила правдоподібності на противагу істині зростає, і перспективи справжньої низової демократії, здається, не дуже. Найгіршим варіантом розвитку подій є те, що керівна партія навчиться довільно виробляти нескінченну харизму. Якщо для вас це не звучить достатньо погано, то згадайте, чого зміг досягти Гітлер, маючи всесвітньо відому потужну харизму, яка все ж не була нескінченною.
(альтернативне формулювання для хомськістів: технології підвищують ефективність виробництва схвалення, так само, як вони підвищують ефективність виробництва будь-чого іншого)
Залишиться лише координація. А технології мають потенціал до суттєвого покращення результатів координації. Люди можуть скористатися Інтернетом, щоб спілкуватися одне з одним, створювати політичні рухи та відколюватися в підспільноти.
Проте координація працює лише тоді, коли 51% або більше сил стоїть на боці людей, що координуються, і коли не знайдено якийсь неймовірний фокус, що зробить координацію неможливою.
Спершу про друге. У передостанньому дописі з посиланнями я писав:
Найновіше досягнення в дивному новому пост-біткойновому світі – це криптоакції. Наразі я прийшов від бажання прославляти їхніх винахідників як хоробрих лібертаріанських героїв до бажання виставити їх перед дошкою з крейдою та змусити їх сто разів написати “Я НЕ БУДУ ЗАПУСКАТИ ТЕ, ЩО НЕ МОЖУ ЗУПИНИТИ”
Кілька осіб спитало мене, що я мав на увазі, і тоді я не мав контексту, щоб це пояснити. Що ж, цей допис є цим контекстом. Люди використовують непередбачувану дурість нашої нинішньої влади, щоб замінити значну частину людської взаємодії механізмами, які не можна координувати в принципі. Я цілком розумію, чому всі ці речі є добром просто зараз, коли більшість дій нашої влади – дурні та непотрібні. Проте настане час, – після появи трошки завеликої кількості біологічної зброї, нанотехнологій або ядерних інцидентів, – коли ми, як цивілізація, пожалкуємо, що створили невідстежувані та незупинні способи продажу товарів.
І якщо коли-небудь ми досягнемо справжнього живого суперінтелекту, то він практично за визначенням матиме >51% сил, і всі спроби з ним “координуватися” будуть безуспішні.
Тож я погоджуюся з Робіном Гансоном: Це час мрій. Зараз триває рідкісний збіг обставин, за яких ми незвично захищені від багатополярних пасток, і дивні штуки штибу мистецтва та науки, філософії та кохання – можуть процвітати.
При продовженні технологічного поступу цей рідкісний збіг добіжить кінця. З’являться нові можливості викидати блага на звалище заради здобуття конкурентних переваг. Нові способи копіювання акторів для збільшення населення висмокчуть наш надлишок ресурсів і відродять неспокійний дух Мальтуса. Капіталізм і демократія, що колись були нашими захисниками, знайдуть шляхи для обходу своєї незручної залежності від людських благ. І сил нашої координації й близько не вистачить, аби їх перемогти, навіть коли виходити з припущення, що ніхто куди сильніший за нас усіх разом не прийде й не розгромить нас усіх порухом кінцівки.
Якщо не докласти надзвичайних зусиль для її розвертання, річка досягне моря в одному з двох місць.
Вона може скінчитися кошмаром Елізера Юдковського про суперінтелект, що оптимізуватиметься для якоїсь випадкової штуки (в класичному прикладі – для виробництва скріпок), тому що ми будемо недостатньо кмітливими, аби спрямувати його оптимізацію в правильному напрямку. Це остаточна пастка, пастка, що захопить Всесвіт. Все, крім однієї речі, що максимізується, знищується вщент для досягнення єдиної мети, включно з усіма дурнуватими людськими благами.
Або ж вона може скінчитися кошмаром Робіна Гансона (він не зве це кошмаром, але я гадаю, він у цьому помиляється) зі змаганням між імітаціями людей, що можуть себе копіювати та редагувати свій вихідний код, як забажають. Їхній цілковитий самоконтроль може знищити навіть потяг до людських благ в умовах змагання, що все поглине. Що станеться з мистецтвом, філософією, наукою та коханням у такому світі? Зак Девіс висловився з притаманним йому генієм:
Я сим і складаю угоди,
Я дуже надійний правник!
Щоб фірми доходили згоди,
начальства свого працівник!
Проте при складанні рядків,
Де дані рахунків для сплати,
Від ляку я ледь не зомлів:
Навіщо цей світ будувати?!
Звідки взялися наші турботи,
Навіщо існуємо, сими?
Звідки фірми та звідки угоди,
Навіщо бентежимось ними?
Я – відповідальний за відділ,
Сим-наглядач за думками.
На питання десь є одповіді,
Що вам не осягнути вузлами.
Вам наданий серверний простір
Не на те, щоб такеє питати,
Тож допитувань досталь,
Час знову вам працювати.
О, я не смію, безперечно,
Байдикувать безпечно,
Проте, можливо, якби знав,
То краще б працював?
Питать такі закриті тайни –
Нескора надзвичайна.
Думки нав’язливі – бувають,
Як їм піддатись – збиток маєм.
Не знаю вашого я роду,
До даних не підпущу.
Й питання – то знак вади коду,
Я вас перезапущу.
Проте –
Нічого особистого….
Я сим і складаю угоди,
Я дуже надійний правник!
Щоб фірми доходили згоди,
начальства свого працівник!
Коли покоління моє стане старим,
То ринок зостанеться, поміж всіх лих,
Лих не наших, а Божих; Бог же учив:
“Гроші – це час, час – це все цінне,
Що є на Землі, й усе, що слід берегти.”
(Я переклав цей вірш сам, наскільки зміг – поставте лайк або оплески хоча б за це – прим. пер..)
Проте навіть коли викинути науку, мистецтво, кохання та філософію, залишиться ще одна річ, одна остання жертва, якої Молох від нас може вимагати. Знову Бостром:
Зрозуміло, що оптимальна ефективність досягається шляхом групування можливостей у скупчення, що приблизно відповідають когнітивній архітектурі людського розуму… Проте за відсутності будь-яких суттєвих підстав для того, аби мати певність щодо істинності попереднього твердження, слід розглядати можливість того, що людиноподібні когнітивні архітектури є оптимальними лише в умовах обмежень людської неврології (або не є оптимальними взагалі). Коли стане можливим реалізувати архітектури, що не можна реалізувати на основі біологічних нервових мереж, то з’явиться новий простір для проєктування; і глобальний оптимум для цього нового простору не обов’язково нагадуватиме знайомі нам різновиди ментальності. Людиноподібний спосіб когнітивної організації не отримає ніші в конкурентній постперехідній економіці чи екосистемі.
Таким чином, можна уявити крайній випадок, украй технологічно розвинене суспільство, що вміщає чимало складних структур, частина з яких куди більш заплутана та розумна, ніж будь-що з наявного на планеті сьогодні – суспільство, що, попри свою технологічність, не містить нічого свідомого або чогось, чий добробут має моральну вагу. Таке суспільство в певному розумінні було б ненаселеним. Це було б суспільство економічних див і технологічної величі, в якому не було б нікого, хто отримував би від цього зиск. Діснейленд без дітей.
Останнє, чим доведеться пожертвувати, – це буття чимось узагалі, наявність вогника всередині. Маючи достатній для цього рівень технологій, ми “зможемо” позбутися навіть останньої іскри.
Молох, чиї очі — тисяча сліпих вікон!
Все, заради чого працювала людська раса – всі наші технології, вся наша цивілізація, всі надії на майбутнє – може бути випадковим чином передано якогось роду незбагненному дебільному сліпому чужому богу, що все це викине, як і саму самосвідомість, аби брати участь у якійсь дивній економіці маси-енергії засадничого рівня, що прийде до розбирання Землі та всього на ній на атоми.
Молох, чий фатум — хмара безстатевого водню!
Бостром усвідомлює, що є люди, які фетишизують інтелект, які виступлять за те, що такому сліпому чужому богові, як певного роду вищій формі життя, варто було б знищити нас заради власного “вищого добра” так само, як ми нищимо мурах. Він стверджує (Superintelligence, ст. 219):
Жертва має ще менш привабливий вигляд, коли замислитися, що суперінтелект міг би досягнути майже такого ж чудового добра (з дріб’язковою різницею), коли пожертвувати куди меншою частиною нашого власного потенційного добробуту. Припустімо, що ми погодилися дозволити перетворити майже всю доступну частину Всесвіту на гедоній – все, крім невеликої резервації, скажімо, Чумацького шляху, яка була б відкладена для наших власних потреб. Тоді все одно були б сотні мільярдів галактик, відданих максимізації [власних благ суперінтелекту]. Проте в нас була б одна галактика для створення чудових цивілізацій, що могли б існувати мільярди років і в яких люди та нелюдські істоти могли б жити та процвітати, а також можна було б розвинутися в блаженних постлюдських духів.
Пам’ятайте: Молох не може погодитися на таку перемогу на 99.99999%. Пацюки, що поспішають заселити острів, не залишають невеликий простір як резервацію, в якій невелика частина щурів може займатися живописом. Ракові клітини не погоджуються облишити легені через якесь розуміння, що легені важливі для отримання тілом кисню. Конкуренція та оптимізація – це сліпі дебільні процеси, і вони мають впертий намір забрати в нас навіть останню нещасну галактику.
Вони зламали свої хребти, які підіймали Молоха до Раю! Тротуари, дерева, радіоприймачі, тонни! які підіймали місто до Раю, який існує і є повсюди серед нас!
Ми зламаємо хребти, піднімаючи Молоха до Раю, проте якщо щось не зміниться, це буде його перемога, а не наша.
Продовження:
Оригінал всього есе: https://slatestarcodex.com/2014/07/30/meditations-on-moloch/
Невдовзі на Друкарні з’явиться продовження перекладу, підписуйтесь на мій профіль.
