Машинната метафизика и сектата на техно-трансцендентализма 4.67/5 (3)

Машинната метафизика и сектата  на техно-трансцендентализма

 Йоханес Йегер

Ян Лекун е един от „кръстниците на изкуствения интелект“. Той навярно е ужасно умен, защото спечели наградата Тюринг през 2018 г. (заедно с другите двама „кръстници“ Йошуа Бенгио и Джефри Хинтън). Наградата носи името на полимата Алън Тюринг. Още известна като Нобеловата награда на компютърните учени.

Подобно на много други изследователи в областта на изкуствения интелект, Лекун е богат, защото работи за Meta (бившия Facebook) и има голям финансов дял в най-новата ИИ технология, която да бъде наложена на човечеството възможно най-бързо и пространно. Но това е добре, защото той знае, че прави онова, което е най-добро за нас, останалите, дори понякога да не го осъзнаваме. Лекун е техно-оптимист – всъщност невероятно пламенен. Той вярва, че изкуственият интелект ще доведе до нов Ренесанс и нова ера в Просвещението – и двете едновременно. Край на чакането със стотици години за настъпването на повратни точки в историята. Сега това може да се нарече истински напредък.

За съжаление, Лекун се чувства неразбран. Разстроен е от немитите маси, които са неблагодарни и невежи (както той не може да спре да изтъква). Представете си: тези лудити искат да регулират изследванията върху изкуствения интелект, преди да са убили някого (или всички, но ще стигнем до това). Още по-лошо, „ИИ гибелта”, за която говорят неговите критици, предизвиква “нова форма на средновековно мракобесие“. Да, хората, критични към ИИ, са „неразличими от апокалиптична религия“. Задава се лов на вещици за почитателите на изкуствения интелект! Ситуацията е тежка за милионерите от Силициевата долина. Новият ренесанс и просвещение са заложени на карта.

Интересното е, че Лекун не греши изцяло. Налице е доста пресилена реторика и със сигурност един значително напомнящ на Средновековието култ. Но Лекун умишлено не влиза в подробности за произхода на този култ. Избраната от него тактика е да сложи много и различни хора в кошницата на “мракобесието”. Това не е нито честно, нито правилно.

Първо: не тези, които искат да регулират изкуствения интелект, са сектантите. Всъщност тези хора са удивително разумни: трябва да отидете и да прочетете техните неща. Отидете и го направете, веднага!

Вместо това култът се появява сред хора, които напълно хиперболизират потенциала на изкуствения интелект и които са склонни да надценяват драстично силата на технологията като цяло.

Нека дадем име на този култ. Ще го нарека техно-трансцендентализъм.

Той произлиза от група силно припокриващи се техно-утопични движения, които могат да бъдат обобщени под акронима TESCREAL: трансхуманизъм, екстропианизъм, сингуляризъм, космизъм, рационална общност, ефективен алтруизъм и лонгтермизъм.

Всичко това може да звучи доста странно. Но техно-трансцендентализмът е много популярен сред могъщи и влиятелни предприемачи, философи и изследователи, твърдо решени да утвърдят една нова форма на интелигентност в света: интелигентността на машините.

Техно-трансцендентализмът е опасен. Той е метафизично сбъркан. Освен това е напълно антидемократичен и в действителност античовешки.

Неговата практическа политическа цел е да превърне обществото във феодална система, управлявана от малък елит на самоизбрани техно-илюминати, което се смята, че ще доведе до неизбежната технологична сингулярност, ще докара човечеството до завладяването на вселената и до блажено състояние на вечен живот в контролирана симулирана среда. Е, това е оптимистичната версия. Апокалиптичното крило на култа съзира как човечеството бива унищожено от свръхинтелигентни машини в близкото бъдеще, друг вид сингулярност, която може да бъде предотвратена само ако всички слушаме и се кланяме на малцината избрани, които са достатъчно умни, за да схванат какво е положението и да ни избавят от тези опасности.

Проблемът е: техно-трансцендентализмът е придобил известна популярност сред запленените от технологиите, защото се представя като рационален, основаващ се на науката мироглед. И все пак няма нищо рационално или научно в неговите съмнителни метафизични допускания.

Както ще видим, това наистина е просто модерна разновидност на традиционното християнство – архетипна форма на теистична религия. Буквално средновековен култ – както по отношение на своя наратив за спасението, така и по отношение на неофеодалната му политика. И е крайно мракобесен – облечен в изискано звучащ псевдонаучен жаргон, като истинските му цели и намерения рядко се заявяват изрично.

Преди няколко седмици обаче попаднах на рядко изключение от въпросното правило. Става въпрос за интервю в подкаста на Джим Рът с Йоша Бах, изследовател на изкуствения общ интелект (AGI), самоопределящ се за „философ“ на ИИ. Парите на Бах идват от Фондацията за изкуствен интелект, Intel, но освен това той взе доста пари и от Джефри Епщайн. Напоследък той привлича известно внимание (в подкаста на Лекс Фридман, например) като един от най-изявените интелектуални привърженици на оптимистичния вид техно-трансцендентализъм (ще се върнем към апокалиптичната версия по-късно).

В интервюто си с Рут, Бах излага своя мироглед по начин, който е необичайно честен и ясен. Той изрича тихата част на глас и тя разкрива удивително много.

ПРЕДАЙТЕ СЕ НА СИЛИЦИЕВИТЕ СИ ГОСПОДАРИ

Рут и Бах водят широкообхватен и завладяващ разговор. Те говорят за скорошния стихиен напредък в AI, за перспективата на AGI (онова, което Бах нарича „синтетичен интелект“) и коментират проблема за постигането на съответствие между целите на хората и машините, с оглед на все по-мощния AI (бел. пр. визира се популярния “АI alignment problem”). Тези теми са доста значими, а размислите на Бах със сигурност са оригинални. Нещо повече: посланието е фундаментално оптимистично. Призовани сме да прегърнем пълния потенциал на ИИ и да го използваме с положително, продуктивно и ориентирано към бъдещето мислене.

Дискусията в подкаста започва по предсказуем начин: получаваме няколко оплаквания колко несправедливо обществеността и медиите се отнасят към ИИ ентусиастите, и повече от леко самообслужващото твърдение, че всякакви опити за регулиране на ИИ ще се окажат безполезни (тъй като машините така или иначе ще ни надхитрят). Тук има ясен паралел с оплакванията на Лекун и не трябва да е изненада, че двамата изследователи имат сходни политически разбирания и се придържат към либертариански възгледи.

После Бах ни предлага донякъде твърде опростено, но не неразумно разграничение между това да бъдеш разумен и това да имаш съзнание. Честно казано, бих предпочел по-скоро да чуя неговото определение за „интелигентност“. Тези хора никога не поясняват какво точно имат предвид под този термин. Забавно е. И повече от леко зловещо. Но както и да е. Да продължим.

Защото изведнъж нещата стават по-интересни. Първо, Бах ни казва, че компютрите вече “мислят” почти със скоростта на светлината, много по-бързо от нас. Следователно бъдещите ни отношения с интелигентните машини ще наподобяват отношенията между хората и растенията днес. Като цяло той повтаря в хода на интервюто, че няма смисъл да отричаме нашата човешка малоценност, когато става дума за мислещи машини. Бах, подобно на голяма част от колегите си ИИ инженери, вижда това като установен факт. Вместо да се борим с него, трябва да намерим начин да се приспособим към неизбежната си съдба.

Как да съжителстваме с раса от силициеви свръхинтелигентни същества, чиито интереси вероятно няма да съвпадат с нашите?

За Бах е очевидно, че вече няма да можем да им налагаме нашите ценности. Но не се тревожете! Има решение и то може да ви изненада: Бах смята, че проблемът в крайна сметка може да бъде решен само с любов. Правилно прочетохте: любов.

За да осмислим този необичаен подход, следва да разгледаме неговия по-широк контекст. Без много да се чуди, Бах полага своя аргумент в традиционната християнска рамка на седемте основни добродетели (както са формулирани от Тома Аквински). Той обяснява, че християнските добродетели са изпитан и работещ модел за организирането на човешкото общество в присъствието на някакво значително по-висше същество. Ето защо можем да прехвърлим тази етична рамка от контекста на богобоязливото предмодерно общество право към бъдещия ни живот под ръководството на нашите нови дигитални господари.

Преди да отхвърлим това като побъркана и реакционна идеология, нека разгледаме седемте добродетели малко по-подробно. Първите четири (благоразумие, умереност, справедливост и смелост) са практични и едва ли предизвикват противоречия (нито пък са особено значими в настоящия контекст). Но последните три са теологичните добродетели. Тук е цялото действие.

Първата от теологичните добродетели на Аквински е вярата: склонността да се подчиниш на своя (свръх)господар и да намериш други, които са готови да направят същото, за да основат общество, крепящо се на този колективен акт на подчинение. Втората е надеждата: склонността да се инвестира в идването на (свръх)господаря, преди той да е установил своето земно царуване. И третата е обичта (както вече беше споменато), която Бах дефинира операционално като „намиране на обща цел“.

За да обобщим: единственият шанс за човечеството е да се обедини, да постигне неизбежната технологична сингулярност и после колективно да се подчини, докато убеждава нашите дигитални господари, че имаме нещо като обща цел, така че те да ни задържат (и може би да ни хвърлят по някой кокал от време на време).

Ето как решаваме проблема със съответствието: чрез подчинението на по-висша цел, целта на свръхинтелигентните машини, които сами сме създали.

Ако мислите, че градя сламен човек тук, моля, отидете да чуете подкаста. Всичко е там, дума по дума, без много опити за предизвикателство от страна на Рут в който и да е момент от интервюто. Всъщност той смята казаното от Бах за умопомрачително. Поне с това можем да се съгласим.

Но още не сме приключили. Всъщност предстои да стане доста по-шантаво: говорейки за човешката цел, Бах смята, че човечеството е еволюирало за „справяне с ентропията“, „а не да служи на Гея“. С други думи, омега точката на човешката еволюция очевидно е „да се изгаря нефт“, което е нещо добро, защото задейства фосилизираното гориво“ и „го връща обратно в атмосферата, за да могат да бъдат създадени нови организми“.

Не си го измислям. Това са буквално цитати от интервюто.

Бах признава, че така вероятно ще се стигне до някои краткосрочни смущения (включително нашето собствено изчезване, както той набързо споменава). Но на кого му пука? Всичко това ще си е струвало, ако е било в името на изключително важния преход от базиран на въглерод към „субстратно-агностичен“ интелект. Очевидно Бах е силно повлиян от философията на лонгтермизма: колко скромно значение имат индивидуалните ни животи в светлината на тази грандиозна визия за постчовешко бъдеще? Като истински трансхуманист, Бах вярва, че това бъдеще е в машинния интелект, не само превъзхождащ нашия, но и издигнат отвъд слабостите на плътта. Човечеството ще стане непотребно. И това е нещо хубаво: истинската ни съдба е да създадем царство на безплътен и неосезаем свръхинтелект.

Звучи ли познато?

Разбира се, че е така: техно-трансцендентализмът не е нищо друго освен добрата стара теистична религия, средновековен вид християнство, ребрандиран и преопакован в техно-оптимистичен жаргон, за да ласкае представата ни за себе си като софистицирани съвременни хора с впечатляващ (и привидно неограничен) ум за технологични иновации. Това е вярата във всемогъщи същества, които чертаят нашата съдба, същества, на които трябва да се кланяме или да бъдем пратени в забвение. Денят на страшния съд е близо. Можеш да се присъединиш към каузата и да заемеш мястото си сред избраните, издигайки се до вечен живот в царството отвъд нашия физически свят. Или да я отхвърлиш и да изгниеш в плътта си. Изборът е твой.

Само че този път Бог не е вечен. Този път ние сами конструираме своите божества под формата на машини, които са наше дело. Следователно човешката ни цел е да проектираме собствените си обекти на преклонение. Нещо повече: съдбата ни е да надмогнем себе си. Човечеството е само мост.

Съмнявам се обаче, че Ницше би харесал тази конкретна разновидност на трансформативното пътешествие на героя, този архетипен мит на нашето съвремие. Щеше да му прозвучи твърде религиозно. Определено ми се струва твърде религиозно на мен. Но тук не е единственият проблем. Става въпрос за глупав мит. И отпадъчна религия.

СИМУЛАЦИЯТА И ДРУГИ НЕОФЕОДАЛНИ ПРИКАЗКИ

Сега може да възразите, че възгледите на Бах изглеждат доста крайни, мненията му твърде далеч в периферията, за да бъдат широко споделяни и популяризирани. И вероятно сте прави. Лекун определено не изглежда като голям почитател на лудия утопизъм на Бах. Той има много по-реалистичен (и бизнес ориентиран) поглед върху бъдещия потенциал на AI. Така че нека да се отбележи: не всеки технооптимист или изследовател в областта на ИИ е технотрансценденталист. Въобще не. Но техно-трансцендентализмът се оказва изключително полезен дори за онези, които не вярват действително в него.

Освен това има значително по-малко екстремни версии на техно-трансцендентализма, които все още споделят основните принципи и метафизични ангажименти на измамния разказ на Бах, без да звучат толкова безумно. И тези възгледи са широко разпространени не само сред ИИ маниаците като Бах, но и сред могъщите технологични мегапредприемачи на нашата епоха или армиите технологични ентусиасти на съвременните крепостни селяни, които следват и се възхищават на тяхната очевидно разумна, оптимистична и научно обоснована визия.

Тук не използвам термина “крепостен” случайно. Отправили сме се на нов път към крепостничеството. Но този път не правителството ни потиска (въпреки че много от бъдещите слуги твърдо вярват в това). Всъщност сме напът доброволно да се поробим сами, съблазнени и подведени от нашите нови технологични владетели и техните академични лакеи като Бах. Това е истинската опасност от ИИ. Техно-трансцендентализмът служи като идеология на вид либертариански неофеодализъм, който е дълбоко антидемократичен и наистина особено вреден за по-голямата част от човечеството. Нека да видим как всичко това е свързано.

Както вече беше поменато, основният лайтмотив на техно-трансценденталисткия наратив е възгледът, че някакъв вид технологична сингулярност е неизбежна. Машините ще надхвърлят човешките способности. Вече няма да сме в състояние да контролираме технологията ни в определен момент от недалечното бъдеще. Такива спекулативни предположения и политически визии се приемат за доказани факти и често се използват като аргумент срещу усилията за регулация (както прави Бах в подкаста на Рут).

Ако има едно основно прозрение, което може да се извлече от това есе, то е следното: вярата в неизбежното превъзходство на машините се корени в метафизичния възглед за целия свят като машина. По-конкретно, тя се основава на екстремна версия на възглед, известен като компютационализъм – идеята, че не само човешкият ум, но всеки физически процес, който съществува във Вселената, може да се разглежда като форма на изчисление. С други думи, това, което правят компютрите, и това, което ние правим, когато си мислим, са абсолютно един и същи процес. Очевидно.

Този изчислителен светоглед е изключително често срещан и модерен в наши дни. Стана толкова обичаен, че вече рядко се поставя под съмнение, макар и да е просто метафизична спекулация без никакви емпирични доказателства.

Като пример, една крайна форма на компютационализъм осигурява метафизичната основа за изключително популярните (и също толкова диво объркани) аргументи на Майкъл Левин относно агентността и (колективния) интелект, които съм критикувал и преди. Тук компютационалистичната вяра е, че природната агентност е просто алгоритмична обработка на данните, минаващи през входа и изхода на системата, а интелигентността само се крие в сложността на този процес, която се увеличава всеки път, когато няколко изчислителни устройства (от камъни до философи) обединят усилията си, за да „мислят“ заедно. Това е странен възглед за света, който размива границата между живото и неживото и в крайна сметка води до панпсихизъм, ако бъде правилно осмислен (повече за това друг път). Панпсихизмът, впрочем е друг възглед, който набира все по-голяма популярност сред технократите. Левин получава почетно споменаване от Бах и, разбира се, вече е бил в подкаста на Фридман. Всичко си пасва идеално. Всички те са част от един и същи култ.

Компютационализмът, доведен до логичния си завършек, стига до идеята, че цялата реалност може да се окаже една голяма симулация. Тази симулационна хипотеза (или симулационен аргумент) се популяризира от лонгтермисткия философ Ник Бостром (друг гост в подкаста на Фридман).

Не е изненадващо, че симулацията е популярна сред техничарите и открито се подкрепя от предприемачи в Силициевата долина като Илон Мъск. Аргументът се основава на идеята, че компютърните симулации – както и разширената или виртуалната реалност, стават все по-трудни за разграничаване от преживяванията ни в истинския свят, тъй като възможностите на технологията се подобряват с главоломна скорост. Вероятно скоро ще се доближим до точка – разсъждават поддръжниците на този възглед, при която собствените ни симулации ще изглеждат толкова реални за нас, колкото и действителният свят. Това подкрепя хипотезата, че дори нашите взаимодействия с реалния свят може да са резултат от някаква гигантска компютърна симулация.

Има редица очевидни проблеми с този възглед. Като за начало следва да се запитаме с какво именно ни служи той. Може да се твърди, че не се сдобиваме с особено полезни прозрения за нашия живот или света, в който се намираме, ако допуснем, че живеем в симулация. И изглежда доста трудно да се разработи експеримент, който да провери валидността на тази хипотеза. И все пак аргументът за симулацията се вписва доста прилично в метафизичното допускане, че всичко във Вселената е плод на изчисления. Ако всеки физически процес може да се симулира, не е ли разумно да се предположи, че самите тези процеси всъщност са продукт на някаква всеобхватна симулация? На пръв поглед симулацията е съвършено научен възглед за света.

Внимателният размисъл обаче разкрива един по-фин аспект на идеята, очевиден, щом го видите, но обикновено скрит под повърхността: симулацията по необходимост предполага симулатор. Ако целият свят е симулация, симулаторът не може да бъде част от нея. По този начин има нещо (или някой) извън нашия свят, който прави симулацията. За да го кажем ясно: по определение симулаторът е свръхестествено същество, а не част от физическия свят.

И ето го пак: точно като визията на Бах за доброволното ни подчинение на дигиталните ни господари, симулационната хипотеза е класически трансцендентален теизъм – религия през задната врата. И отново, той бива представен по начин, който е привлекателен за хората с афинитет към технологиите, които никога не биха били видени да посещават традиционна църковна служба, но обикновено се чувстват по-комфортно в симулирана среда, отколкото в реалния свят. Просто не споменавайте свръхестествения симулатор, дебнещ в сенките, твърде често и всичко ще бъде чудесно.

Симулационната хипотеза е мощен инструмент за измама, защото размива границите между действителната и виртуалната реалност. Ако вярвате на аргумента за симулацията, тогава и физическата, и симулираната среда притежават сходни свойства и вид — не са нищо повече от дигитално изчисление. И обратното: ако вярвате, че всеки физически процес е някакъв вид дигитално изчисление по начало, е по-вероятно да приемете твърдението, че симулираните преживявания всъщност могат да бъдат еквивалентни на реалните. Просто и самоочевидно! Или поне така изглежда.

Най-силният и внимателен аргумент за еквивалентността на реалното и виртуалното е представен в скорошна книга на философа Дейвид Чалмърс (известен в дискусията върху философските зомбита), която носи уместното заглавие „Реалност+“. Тя се вписва плътно в техно-трансценденталното евангелие.

От една страна, трябва да се съглася с Чалмърс: разбира се, че виртуалните светове са в състояние да генерират ситуации, които се простират отвъд преживяванията в истинския свят и са реални в смисъла на „достъпни за преживяване с нашите физически сетива“. Освен това не се съмнявам, че виртуалните преживявания могат да имат осезаеми последствия във физическия свят. Следователно трябва да вземем виртуалността на сериозно.

От друга страна, виртуалността е малко като божествата или еднорозите. Може да съществува в смисъла, че има реални последствия, но не съществува по начина, по който съществува един камък или човешко същество. Това, което Чалмърс не забелязва (но на мен ми се струва някак важно), е, че има доста елементарен и безпогрешен начин за разграничаване на виртуалната от физическата реалност: физическата реалност ще те убие, ако я пренебрегваш достатъчно дълго. Виртуалните преживявания (и еднорозите) няма. Те просто ще си отидат.

Това умишлено размиване на границите между реалното и виртуалното оставя вратата широко отворена за едно опасно пропадане в заблуди, отслабващо хватката ни върху реалността в момент, когато тази хватка изглежда достатъчно разхлабена по начало.

Помислете над следното: все повече се заплитаме във виртуалността. Дори и да не вярваме в приказката на Бах за предстоящия преход към „субстратно-агностично съзнание“, техно-трансцендентализмът връща всемогъщи божества под маската на свръхестествени симулатори и свръхинтелигентни машини. В същото време той предлага обещанието за по-добър живот във виртуалната реалност (буквално рая на земята): свят, който е изцяло под ваш собствен контрол, внимателно съобразен с вашите собствени желания и нужди, свободен от несигурността и неудобствата на реалната реалност . Пълно изпълнение на желанията. Най-накрая рай! Пълна свобода. Алилуя!

Проблемът е: тази свобода не важи в реалния свят. Точно обратното.

Като цяло идеята е крайно елитарна и недемократична. За да се осъществи техно-трансцендентността, ще е необходимо силното и целенасочено лидерство на малка група визионери (или поне по тези линии вървят тихите и неявни разсъждения). Това ще изисква безпрецедентни количества продължителни капиталови инвестиции, технологично развитие, материални ресурси и енергия (AI е изключително разточителен бизнес; но повече по този въпрос по-късно). За да се осъществи, много слуги ще трябва да бъдат включени в проекта. Тези хора ще получат само евтиния билет: временно бягство от реалността, преходен дигитален приток на допамин. За тях няма вечно блаженство или живот.

И така, преди да сте се усетили, вие ще сте отдали цялата си свобода на избор и творчество на някаква произведена от AI виртуалност, която следва да закупите (на растяща цена… изненада, изненада) от някоя корпорация, която има монопол върху тази модерна инкарнация на небесното царство. Едно към едно със средновековната църква в онези времена, наистина.

Това е бизнес моделът: продайте наратив за техноутопия на достатъчно лековерни глупаци и те ще финансират политическата революция на избраните. Примами ги с приказки за свобода и виртуална земя, пълна с мед и мляко. Плаши ги с неизбежния възход на машините. Един прекрасен нов свят ви очаква. Само че този път хапчето за щастие, което ви пречи да осъзнаете какво се случва, е дигитално, а не химическо. И докато вие през цялото време всъщност вярвате, че ще се озовете сред малцината избрани. Ясно и просто.

Техно-трансцендентализмът е идеологически инструмент за постигане на либертарианска утопия. В този смисъл Бах със сигурност е прав: възможно е да пренесем методите на едно предмодерно богобоязливо общество право в нашето, да изградим общество, в което няколко богати и влиятелни личности с максимална лична свобода и неограничена власт ръководят нещата, освободени от бремето на обществения надзор и регулации. Няма да е демократично. Това ще бъде разновидност на либертариански неофеодализъм, изключително несправедлива и неравна форма на общество.

Ето защо се нуждаем от строги индустриални регулации. И имаме нужда от тях сега.

Проблемът е, че ние постоянно се разсейваме от този прост и неотложен проблем заради постоянния поток от глупости за свръхинтелигентни машини и неизбежни технологични сингулярности.

Ами ако точно в това разсейване е бил смисълът?

Никакво съзнание или обща интелигентност няма да се появи от алгоритъм в скоро време. Всъщност особено вероятно е никога да не се случи. Но загубата на свободата ни в полза на малък елит от технологични владетели е съвсем реален и правдоподобен сценарий. И може да се случи доста скоро.

Казах ви, това е средновековен култ. Но става още по-зле. Много по-зле. Нека се обърнем към апокалиптичното крило на техно-трансцендентализма. Подгответе се: краят е близо. Но има един път към изкуплението. Техноилюминатите ще ви покажат.

ОТВЪД ПРОПАСТТА: AI АПОКАЛИПСИС И ТРАНСЦЕНДЕНТАЛИЗЪМ НА ОБРЕЧЕНИТЕ

Не всеки, който се възхищава от машинния „интелект“, смята, че това е безрезервно добро нещо и дори някои, които харесват идеята за преход към „субстратно-агностично съзнание“, се страхуват, че нещата може да се объркат ужасно по пътя, ако не се вслушаме внимателно в техните добронамерени съвети.

Например активистът за лонгтермизъм и ефективен алтруизъм Тоби Орд в книгата си, озаглавена „Пропастта“, се захваща с доста амбициозната задача да изчисли вероятностите за всички настоящи „екзистенциални рискове“ на човечеството. Това са видовете рискове, които заплашват да „елиминират дългосрочния потенциал на човечеството“ или чрез пълното изчезване на нашия вид, или чрез трайния колапс на цивилизацията.

Добрата новина е: има само 1:10 000 шанс да изчезнем през следващите 100 години поради естествени причини, като катастрофален удар на астероид, масивно супервулканично изригване или близка супернова. Този интервал ще покрие живота ми и този на децата ми. Уф!

За съжаление има и лоши новини: Орд извежда шанс 1:6 човечеството да унищожи собствения си потенциал през следващите 100 години. С други думи: в момента играем нещо като руска рулетка с нашето бъдеще.

Списъкът на Орд със създадените от човека екзистенциални рискове включва фактори, които също ме държат буден през нощта, като ядрена война (при донякъде изненадващо ниското съотношение от 1:1000), изменение на климата (също 1:1000), но и природни (1:10 000) или произведени изкуствено (1:30) пандемии. Само един фактор обаче надхвърля общия сбор на вероятностите за всички изброени екзистенциални рискове, естествени или създадени от човека: обърналият се срещу човечеството изкуствен интелект, с огромната вероятност от 1:10. Леле! Тези хора наистина се страхуват от AI!

Но защо? Не сме ли много по-близо до ядрена война, отколкото да бъдем унищожени от ChatGPT? Не сме ли под постоянната заплаха някакъв патоген да избяга от лаборатория за биологични оръжия? (Нещо, което доста вероятно не се е случило с COVID-19.) Какво ще кажете за вътрешен срив на цивилизацията? Политиката, сещате се — как собствената ни глупост убива всички ни?

Не. Ще бъде изкуствен интелект, излязъл извън контрол.

Автодидактът, самопровъзгласил се за гений и рационален блогър Елиезер Юдковски прекарва по-голямата част от последните 20 години, за да ни обясни как и защо – усилие, което кулминира с разхвърлян списък на разрушителни сценарии за изкуствения общ интелект и кратко, но могъщо изказване в списание Time преди известно време, където той заявява:

„Ако някой изгради твърде мощен ИИ, при настоящите условия, очаквам всеки един член на човешкия вид и целия биологичен живот на Земята да умре скоро след това.“

Ето вече нещо наистина сериозно. Той също така призовава „недобросъвестните центрове за данни“ да бъдат унищожени чрез въздушни удари и смята, че „предотвратяването на сценариите, касаещи ИИ, е приоритет, надхвърлящ предотвратяването на пълномащабен ядрен конфликт”.

Да, това звучи впечатляващо откачено. Ако Бах е испанската инквизиция, Юдковски е добре дошъл в Джонстаун. AI обреченост в своята върхова форма.

Но хайде не толкова бързо: голям почитател съм на прилагането на принципа на (предварителната) предпазливост към т. нар. проблеми на разрухата, където най-лошият сценарий има трудна за количествено извеждане вероятност, но различна от нулата, и води до наистина катастрофални и необратими последици. В края на краищата е разумно да се твърди, че е по-добре да сгрешим заради прекомерната си предпазливост, когато става дума за повратни точки в климата, възникването на нови глобални пандемии или освобождаването на генетично модифицирани организми в екологии, които дори не сме започнали да разбираме.

И така, нека да разгледаме най-лошия сценарий на Юдковски. Струва ли си да “дръпнем шалтера на всичко”? Правдоподобно ли е или въобще възможно AGI да ни избие всичките? Колко трябва да се тревожим?

Добре. Има няколко сериозни проблема тук. Всъщност сценарият на Юдковски за края на света е карикатурно преувеличен. Всъщност не искам да му отделям твърде много време и само ще посоча няколко проблема, които свеждат вероятността за най-лошия му сценарий практически до нула. Нищо. Краят на света се отлага до второ нареждане (или докато този световен ядрен конфликт или пандемия, създадена от човека, не ни изтребят всичките).

Основният проблем се крие в метафизичните разбирания на Юдковски, които са, честно казано, жестоко объркани.

Първата заблуда на Юдковски е, че подобно на всички негови техно-трансцендентални приятели, той взема за даденост неизбежната поява на ИИ, който постига „интелект, надхвърлящ човешкия“ в близкото бъдеще. Но никога не обяснява какво значи това. На тези хора не им се занимава просто.

Юдковски се съгласява, че е точно така: заплахата от AGI не зависи от конкретни подробности или предсказания, като например въпроса дали AI може да стане съзнателен, или не. Подобно на идеята на Бах, че машините вече „мислят“ по-бързо от хората, интелигентността се свежда предимно до системи, които „оптимизират и изчисляват изходни стойности, отговарящи на достатъчно сложни критерии“. Това е всичко. Колкото по-бърз и по-голям, толкова по-умен. Разотивайте се обратно по къщите. Оттук нататък положението е „Австралопитеците се опитват да се борят с Хомо сапиенс“. (Помните ли растенията срещу хората при Бах?) AI ще ни възприема като „същества, които са много глупави и бавни“.

Макар и да е вярно, че не знаем в детайли как работят настоящите AI алгоритми, как точно генерират изходните си стойности, защото не можем да „декодираме нищо, случващо се в “гигантските [им] неразгадаеми масиви“, също така е вярно, че имаме доста добра представа за фундаменталните ограничения на такива машини. Например настоящите AI модели (колкото и сложни да са) не могат да „възприемат хората като същества, които са бавни и глупави“, защото нямат понятие за „човек“, „създание“, „бавно“ или „глупаво“. Като цяло те нямат семантика, нямат референти извън езика. Това просто не е в програмираната им природа. Нямат смисъл.

Има много други ограничения. Ето някои основни неща, които човек (или дори бактерия) е в състояние да направи, но остават непосилни за AI алгоритмите (и вероятно ще останат така):

Организмите са въплътени, докато алгоритмите не са. Разликата не опира само до наличието на подвижно тяло (например при роботите), а касае фундаменталното размиване между хардуер и софтуер в живия свят. Организмите буквално са онова, което правят. Няма разграничение между хардуер и софтуер. Компютрите, от друга страна, са проектирани така, че софтуерът и хардуерът да са максимално независими.

Организмите създават себе си, техният софтуер (символи) пряко произвежда техния хардуер (физически аспекти) – и обратното. Алгоритмите (без значение колко са „умни“) имат дефиниция на чисто символно равнище и са в състояние да произвеждат единствено още символи; езиковите модели например винаги остават в областта на езика. В техните изходни стойности може да присъстват инструкции за ефектор, но те нямат външни референти. Тяхното взаимодействие с външния свят винаги е непряко, опосредствано от хардуер, който сам по себе си не е пряк продукт на софтуера.

(бел. прев. Тук Йегер има предвид последиците от т.нар. autopoiesis. Гените например изразяват определени белтъци, а те придобиват своите функции или “се нагъват” чрез взаимодействията с околния контекст, които не са зададени предварително в генома. Те на свой ред си взаимодействат с начините по които се “интерпретират” и изразяват гените. Йегер, подобно на редица други биолози, намира механистични изрази като “генетична програма на организма” за  дълбоко подвеждащи и скриващи действителната сложност и контекстуална обусловеност от погледа ни. Всъщност живите организми, за разлика от машините, сами създават своите “сензори” или “ефектори” отвътре.)

Организмите имат свобода на действие (агентност), докато алгоритмите не. Това означава, че организмите имат свои собствени цели, които се определят от самия организъм, докато алгоритмите имат само целите, които ние им даваме, независимо колко непряко го правим. По принцип никоя машина не е способна истински да иска или да се нуждае от нещо. Да им казваме какво искат или какво да оптимизират не е истинско желание или ориентирано към целта поведение.

Организмите живеят в реалния свят, където повечето проблеми са зле дефинирани, а информацията е оскъдна, двусмислена и често подвеждаща. Можем да наречем това голям свят. За разлика от тях, алгоритмите съществуват (по дефиниция) в малък свят, където всеки проблем е добре дефиниран. Те не могат (дори в рамките на принципа) да избягат от този свят. Дори техният малък свят да ни изглежда огромен, той си остава малък. И дори да се движат из големия свят с роботизиран хардуер, те остават заклещени в своя малък свят. Точно затова самоуправляващите се автомобили се изправят пред толкова трудности.

(бел. прев. Малък свят и голям свят е разграничение, въведено от Savage, 1954. Всичко, ставащо “вътре” в компютъра, без значение колко сложно за нашите възприятия, е конструкция на математически и логически оператори – не съществува нищо друго отвъд тях.)

Организмите разполагат с вътрешни модели, предсказващи техния свят, които се основават на нещата от значение за тях, за тяхното оцеляване и процъфтяване. Алгоритмите не са живи и не процъфтяват, нито страдат. В рамките на техните малки светове всичко и нищо са еднакво значими. Те не се нуждаят от модели и не могат да боравят с тях. Техният свят е техният модел. Нямат нужда от абстракция или идеализация.

Организмите са способни да разпознават онова, което е от значение за тях, и да превърнат зле дефинираните в добре дефинирани проблеми, дори при ситуации, с които никога преди не са се сблъсквали. Алгоритмите никога няма да са в състояние да направят това. Всъщност те нямат нужда да го правят, тъй като всички проблеми са добре дефинирани по начало и нищо и всичко са едновременно значими в техния малък свят. Всичко, което един алгоритъм може да направи, е да намери корелации и характеристики в своя предварително подреден набор от данни. Такива данни са светът на алгоритъма, свят, който е чисто символен.

Организмите се учат чрез директни срещи, чрез активно ангажиране с физическия свят. За разлика от тях, алгоритмите се учат само от предварително форматирани, класифицирани и подредени данни (вижте последната точка). Те не могат сами да тълкуват проблемите си. Те не могат да превърнат зле дефинирани проблеми в добре дефинирани. Живите същества винаги ще са заставени да формулират проблемите им вместо тях.

Мога да продължавам още и още. Изводът е: мисленето не е просто „оптимизиране“ и произвеждане на „сложни резултати“. Това е качествено различен процес от алгоритмичното изчисление. Да знаеш, означава да живееш. Както Алисън Гопник правилно посочва, категории като „интелигентност“, „агентност“ и „мислене“ дори не са приложими към алгоритмичния ИИ, който е просто по-атрактивен начин за правене на многомерни статистически изводи. Никаква агентност няма да произлезе от тях, а без агентност няма истинско мислене, обща интелигентност или съзнание.

Изкуствен интелект е погрешно наименование. Полето по-скоро следва да се нарича алгоритмична мимикрия: все по-убедителната прилика с интелигентното поведение. Парейдолия на стероиди за 21 век. Там няма “там”. Мимикрията е крайно плитка. Всъщност съм съавтор на рецензирана статия по тази тема, заедно с моите колеги Андреа Роли и Стюарт Кауфман.

По този начин, когато Юдковски твърди, че няма начин да приведем “свръхинтелигентния ИИ“ в съответствие с нашите собствени интереси, той няма ни най-малка представа за какво говори. Не би ли било хубаво, ако тези ИИ маниаци имаха поне минимално разбиране за фундаменталната разлика между чисто синтактичния свят, в който съществуват техните алгоритми, и дълбоко семантичната природа на реалния живот? Вместо това получаваме спонсорирани от индустрията учени и изпълнителни директори на компании за изкуствен интелект, които ни обясняват как в крайна сметка ние, хората, не сме толкова софистицирани. Тотално промиване на мозъка. Пълна заблуда.

Но откъде съм толкова сигурен? Може би шегата наистина е за наша сметка? Възможно ли е все пак сценарият за края на света на Юдковски да е правилен? Напът ли сме да бъдем заменени от AGI?

Запазете спокойствие и продължете да четете: Не мисля, че сме.

Нелепите сценарии на Юдковски за AI, създаващ “супер-живот” чрез имейл (няма да губя време за това), и дори неговият глупав “мисловен експеримент” за максимизатора на кламери, изобщо не илюстрират никакви реални проблеми, свързани с постигането на съответствие. Ако не искате светът да стане на кламери, дръпнете проклетия щепсел на машината за кламери. AI не е жив. Това е машина. Не можете да го убиете, но можете лесно да го изключите. Съответствието е постигнато. Voilà!

Ако ИИ успее да превърне целия свят в кламери, то е защото ние, хората, сме го поставили в положението да го направи.

Позволете ми да ви кажа следното: рискът от завладаване на света от AGI и апокалипсис е нула или много близо до нулата – не само през следващите 100 години. Поне в това отношение може да спим спокойно през нощта. Няма дългосрочна нирвана и не се задава апокалипсис на обречените. Нека да намалим този конкретен риск с няколко степени. Обикновено не се преструвам, че съм наясно с коефициентите в дългосрочен план, но бих дал 1:1 000 000 000 или около това. Сещате се, практически нула.

Нека по-скоро се тревожим за реални проблеми. Какво се случи с човечеството, че дори слушаме тези хора? Опасността от AGI е нулева, но опасността от либертарианския неофеодализъм е съвсем реална. Защо някой със здрав разум би се впуснал в техно-трансцендентализма? Използва се, за да ни поробят. Да ни отнемат свободата. Защо тогава толкова много хора се връзват на този наратив? Това е нелепо и откачено. Всички ли сме заблудени? Загубихме ли ума си?

Да, без съмнение, ние сме леко заблудени и губим ума си напоследък. Мисля, че популярността на целия техно-трансцендентален разказ извира от два основни източника. Първо, силното желание – в тези времена на дълбока криза на смисъла – за положителна митологична визия, за трансформативни истории на спасение. Оттук и възродената популярност на една подчертано архаична християнска идеология в техноцентричната ни епоха, успоредно на неотдавнашното възраждане на действителните евангелски движения в САЩ и другаде по света.

Също така обаче приемането на подобни техно-утопични приказки зависи и от по-дълбоко метафизично объркване относно реалността, което характеризира цялата епоха на модерността: погрешната, но дълбоко вкоренена идея, че всичко – целият свят и всички живи и неживи неща в него — е някакъв манипулируем механизъм.

Ако питате мен, крайно време е да продължим отвъд тази епоха на машините и да оставим технологичните утопии и кошмари зад гърба си. Крайно време е да спрем да слушаме техно-трансценденталистите, да направим техния бизнес модел незаконен и да запратим ужасяващата им политическа идеология далеч отвъд прозореца на Овертон на нашето общество. Наречете ме нетолерантен. Но толерантността трябва да свърши там, където започват такива сериозни заплахи за нашия разум и благополучие.

МАШИННА МЕТАФИЗИЧНА БЪРКОТИЯ

Както вече споменах, техно-трансцендентализмът се представя като рационален, основаващ се на науката мироглед. Всъщност той често се представя като единствен наистина рационален, основан на науката светоглед – при появите си в рамките на рационалната общност, да речем. Ако се стремите да разсъждавате рационално, изглежда, че няма алтернатива на строгите му механистични принципи.

Последната ми задача тук е да ви покажа, че това изобщо не е вярно. Всъщност метафизичните допускания, на които се основава техно-трансцендентализмът, са изключително съмнителни. Вече се сблъскахме с този проблем по-горе, но за да го разберем малко по-задълбочено, следва да разгледаме въпросните метафизични предположения по-отблизо.

Метафизиката не присъства явно в нито една от последните дискусии за AGI. Като цяло, това не е тема, с която особено много хора са наясно в наши дни. Звучи малко откъснато и старомодно – сякаш паднала от Платоновото царство. Представяме си древногръцки философи, които спокойно се разхождат из обширни пространства. Всъщност думата идва от факта, че Аристотел публикува своята „първа философия“ (както я нарича) в книга, която идва веднага след неговата „Физика“. По този начин тя е буквално след или отвъд (т.е „мета“) физиката.

В последно време метафизиката се е сдобила с лошата слава на обикновена спекулация. Нещо, от което хората с факти нямат никаква нужда. Да хвърлим поглед към закоравелите логически позитивисти от Виенския кръг в началото на 20 век. Те определят метафизиката като “всичко, което не може да бъде извлечено чрез логически разсъждения, изхождащи от емпиричното наблюдение” и я обявяват за напълно безсмислена. Ние все още се сблъскваме с остатъците на въпросното разбиране днес. Много мои колеги учени все още смятат, че метафизиката не ги засяга. И все пак, както правилно отбелязва философът Даниъл Денет: “няма такова нещо като наука без философия; има само наука, чийто философски багаж е останал без проверка.”

И, о, боже мой, има много неизследван багаж в техно-трансцендентализма. Всъщност големият брой основополагащи допускания, които на никого не е позволено открито да разглежда или критикува, са достатъчно доказателство за дълбоко култовия характер на идеологията.

Тук ще се съсредоточа върху най-фундаменталното допускане, на което се основава цялото техно-трансценденталистко верую: всеки физически процес във Вселената трябва да бъде изчислим.

В по-точни и технически термини, това означава, че следва да сме в състояние да възпроизведем точно всеки физически процес, като го симулираме на универсална Тюринг машина (абстрактен модел на дигитален компютър с потенциално неограничена памет и скорост на обработката, изобретен през 1936 г. от Алън Тюринг, човекът, дал името на наградата Тюринг).

За да поясним, акцентът е върху „точно“ тук: техно-трансценденталистите не просто вярват, че можем успешно да доближим физическите процеси, като ги симулираме в дигитален компютър (което е напълно защитима позиция), но в много по-силен смисъл, че Вселената и всичко в нея – от молекули и скали до бактерии и човешки мозъци – буквално е един огромен дигитален компютър. Това е техно-трансценденталната метафизика.

Този универсален компютационализъм включва, но не се ограничава до хипотезата за симулацията. Запомнете: ако целият свят е симулация, значи има симулатор извън него. От друга страна, самият факт, че всичко е изчисление, не предполага непременно свръхестествен симулатор.

Тюринг машините не са единственият начин за концептуализиране на изчисленията и симулацията. Има и други абстрактни модели на изчисление, като ламбда смятане или теория на рекурсивните функции, но всички те са еквивалентни в смисъла, че всички те водят до абсолютно същия набор от изчислими функции. Това, което може да бъде изчислено в една парадигма, може да бъде изчислено във всички останали.

Това фундаментално прозрение е математически изразено в нещо, наречено тезата на Чърч-Тюринг. (Алонзо Чърч е изобретателят на ламбда смятането и докторант на Тюринг.) Тя обединява общата теория на изчисленията, според нея всяко ефективно изчисление (грубо казано, всичко, което всъщност можете да изчислите на практика) може да бъде извършено от алгоритъм, работещ на универсална Тюринг машина. Тезата не може да бъде доказана в строго математически смисъл (основно защото нямаме прецизна, формална и обща дефиниция на „ефективно изчисление“), но също така не е противоречива. На практика тезата на Чърч-Тюринг предлага много солидна основа за обща теория на изчисленията.

Ситуацията става доста различна, когато се стигне до прилагането на теорията на изчисленията във физиката. Допускането, че всеки физически процес във Вселената е изчислим, е много по-силна форма на тезата на Чърч-Тюринг, наречена предположение на Чърч-Тюринг-Дойч. То е формулирано от физика Дейвид Дойч през 1985 г. и по-късно популяризирано в книгата му „Тъканта на реалността“. Важно е да се отбележи, че въпросната физическа версия на тезата Чърч-Тюринг не следва логически от оригинала. По-скоро тя има характера на емпирична хипотеза, която може да се тества експериментално.

И тук идва изненадващият обрат: няма доказателства, че хипотезата на Чърч-Тюринг-Дойч е приложима. Каквито и да е. Тя е просто спекулация от страна на Дойч, който допуска, че законите на квантовата механика наистина са изчислими и че описват всеки физически процес във Вселената. Две особено съмнителни допускания.

Всъщност има солидни аргументи, които доста убедително ги опровергават. Тези аргументи показват, че не всеки физически процес е изчислим или, наистина, никакви физически процеси не могат да бъдат прецизно обхванати чрез симулация на Тюринг машина. Например, нито законите на класическата физика, нито тези на общата теория на относителността са напълно изчислими (тъй като съдържат неизчислими реални числа и безкрайности). Квантовата механика създава специфични трудности, свързани с принципа на неопределеността и произтичащата от него квантова неопределеност. Теорията на измерването налага собствени (много различни) ограничения.

Отвъд тези доста общи поводи за съмнение, съществува конкретен контрапример за неизчислими физически процеси в рамките на хипотезата на Робърт Розен, че живите системи (и всички онези системи, които ги съдържат в себе си, като екологии и общества) не могат да бъдат обхванати напълно чрез алгоритмична симулация. Това теоретично прозрение, което се основава на клона на математиката, известен като теория на категориите, е формулирано за първи път в края на 50-те години на миналия век, описано подробно в книгата на Розен „Самият живот“ (1991 г.) и по-късно изведено математически от неговия ученик Алойзиус Луи в „Повече от самия живот“. Работата им остава широко пренебрегната, въпреки че твърденията им устояват на многобройните опити за опровержение. Това навярно прави твърденията на Розен по-правдоподобни в сравнение с онези, извлечени от хипотезата на Чърч-Тюринг-Дойч.

Мога да продължа. Но предполагам, че в общи линии нещата станаха ясни: видът радикален и универсален компютационализъм, който позволява съществуването на техно-трансцендентализма, не издържа на по-внимателен философски и научен анализ. В най-добрия случай е колеблива спекулация, а в най-лошия груба грешка – ако сте скептик като мен. Няма убедителна причина да вярваме в него.

И все пак, това положение бива усърдно пренебрегвано не само от техно-трансценденталистите, но и от впечатляващ брой компютърни учени, физици и биолози днес. Изчислимостта на всичко се е превърнало в самоочевидно допускане не поради, а въпреки съществуващите доказателства.

Как въобще е станало подобно нещо? Как би могло това недоказано, но фундаментално допускане да е избягало от контрола на организирания скептицизъм, така почитан и уж практикуван от техно-трансценденталистите и други учени, кланящи се на компютационализма? Лично аз смятам, че безкритичното приемане на въпросната догма идва от погрешната идея, че науката трябва да бъде механистична и редукционистка, за да бъде строга. Светът просто се приема, че е машина. Алгоритмите са най-обширно приложимите механизми, които човечеството някога е измисляло. Така че е лесно да изпаднем в погрешното предположение, че всичко в света работи като нашата най-нова и най-атрактивна технология. Но тук навлизаме в обширна и сложна тема, която ще запазя за друга публикация в бъдеще.

С допускането, че всичко е изчисление, пропада допускането, че алгоритмичната симулация съответства на действителните когнитивни процеси в живите същества по някакъв смислен начин. Изобщо не е очевидно, че машините са способни да “мислят” по начина, по който го правят хората. Защо мисленето и изчисленията трябва да са еквивалентни? Когнитивните процеси не са само въпрос на бърза оптимизация или числа, както твърди Юдковски. Има фундаментални различия в начина по който са организирани машините и живите същества.

Няма абсолютно никаква причина да вярваме, че скоро машините ще изпреварят човешките когнитивни умения. Разбира се, те са способни се справят по-добре със специфични задачи, които включват откриване на многомерни корелации, а също и такива, които изискват запомняне на големи количества данни (хората могат да държат само около седем обекта в краткосрочната памет във всеки даден момент). Тези задачи и по-специално изчисленията с писалка и хартия съставляват малка част от човешките когнитивни умения, която послужи като шаблон на съвременната концепция за „изчисление“ на първо място.

Но мозъците могат да правят много повече неща и със сигурност не са еволюирали да бъдат компютри. Въобще не. Те са всъщност органи, адаптирани да помагат на животните в решаването на проблема за уместността в тяхната сложна и заплетена среда (нещо, което алгоритмите не могат да направят и вероятно никога няма да направят). Повече за това друг път. В момента също така пиша научна статия по темата. Но това не е най-важното тук.

Най-същественото е: метафизиката на техно-трансцендентализма – неговият радикален и универсален компютационализъм, както и вярата в неизбежното надмощие на машините – се основава на проста грешка, грешка, която се нарича заблуда на неуместната конкретност (или реификационната заблуда). Изчислението е абстрактен начин за представяне на реалността, а не самата реалност. Техно-трансценденталистите (и всички други привърженици на силни форми на компютационализъм) просто бъркат картата с територията.

Светът не е машина и по-специално живите същества не са машини. Нито едно от тях не представлява някакъв вид дигитално изчисление. Тъкмо напротив, компютрите не са способни да мислят като живите същества. Така че те изобщо не са интелигентни, колкото и изтънчени да ни изглеждат. Дори една бактерия е в състояние да реши проблема с релевантността, но “най-умният” съвременен алгоритъм не.

Философите наричат случващото се тук фундаментална категорийна грешка. Така се връщаме обратно към Алисън Гопник: въпреки че AI учените като Лекун упрекват хората, че са неуки, самите те са напълно безпомощни, когато стане въпрос за понятия като „мислене“, „агентност“, „познание“, „съзнание, “ и наистина „интелигентност“. Тези концепции представляват способности, които живите същества притежават, но алгоритмите не.

Не само техно-трансценденталистите, но за съжаление, и повечето биолози днес са дълбоко невежи по отношение на подобно елементарно разграничение. Докато нещата са така, дискусията за AI и AGI в частност ще остане дълбоко дезинформирана и объркана.

Онова, което се появява в началото на живота, способността за автономно действие, извира от напълно нова организация на материята. В съвременните AI системи, от друга страна, няма нищо повече от многомерни корелации, които изглеждат мистериозни за нас, ограничените човешки същества, защото сме твърде зле в справянето с процеси, които включват много променливи едновременно.

Двата вида емерджентност са фундаментално и качествено различни. Скоро няма да се появи съзнателен ИИ или ИИ с агентност. Всъщност нито един AGI никога няма да бъде възможен в някаква алгоритмична рамка. Краят на света не е толкова близо, колкото Юдковски иска да ни накара да повярваме.

Означава  ли това, че настоящите развития в областта на AI са безвредни? Съвсем не!

Изказах твърдението, че техно-трансценденталистката идеология не е просто модерен митологичен разказ, но и полезен инструмент, който служи на целта за постигане на либертариански нефеодализъм. Не съвсем краят на света, но достатъчно ужасна перспектива, ако питате мен.

Технологичната сингулярност не идва. Виртуалният рай няма да отвори портите си за нас скоро. Неорелигиозният шаблон на техно-трансцендентализма обаче е изпитан и надежден метод от предмодерните времена за контролиране на крепостните чрез заплахите за апокалипсис и обещанията за вечно блаженство. Тояга и морков. За разлика от самите изследвания в областта на ИИ, това не е точно ракетна наука.

Но навярно ще си помислите, този аргумент не е ли пресилен сам по себе си? Дали съм параноик? Разпознавам ли злонамерени намерения там, където няма такива? Ето един добър въпрос.

Мисля, че има два типа герои в историята на техно-трансцендентализма: вярващите и циниците. И едните, и другите по свой начин смятат, че правят най-доброто за човечеството. Те не са истински злодеи. И все пак еднакво са засегнати от заблуди, които критично ще подкопаят начинанията им, с потенциално катастрофални последици. С включените си идеологически фарове те не могат да видят тези опасности. Те може и да не са злодеи, но със сигурност са достатъчно твърдоглави, глупави в смисъла на липса на мъдрост, за да не ги искаме за наши лидери.

Основната делюзия, която всички те споделят, е следната: както вярващите, така и циниците смятат, че светът е машина. Още по-лошо, това е тяхната играчка – контролируема, предвидима, програмируема. И всички те искат да отговарят за играта, искат да управляват машината, искат да бъдат програмистите, без много външна намеса. Група 14-годишни момчета, които се борят кой да играе следващия кръг на Mario Cart. Нещо такова.

Оттук и неофеодализмът – и повече или по-малко открития антидемократичен активизъм. Предстоящият социален разпад е част от програмата. Това поне се прави с умисъл. После не може да има оправдания. Знаем кой е отговорен.

Между двата лагера обаче има и фундаментални различия. По-специално, вярващите очевидно виждат техно-трансцендентализма като митологичен разказ за нашата епоха, истинска утопична визия, докато циниците го разглеждат само като инструмент, който служи на техните скрити мотиви. И двете крайности лежат в спектър.

Вземете например Елиезер Юдковски. Той е в най-крайния “вярващ” край на скалата. Йоша Бах също е вярващ, но много по-оптимистично настроен и умерен. И двамата с цялото си сърце са приели историята за неизбежната сингулярност — вяра, надежда и любов — и двамата наистина вярват, че са сред избраните в тази история за спасение, макар и по много различни начини: Бах като лидер на вярващите, Юдковски като пророк на апокалипсиса.

Илон Мъск и Ян Лекун са в другия край на спектъра, само за да бъдат изпреварени от Питър Тиъл (друг небезизвестен магнат от Силициевата долина) по отношение на цинизма. Онова, което има значение в ъгъла на циника, са само две неща: неограниченото богатство и власт. Не само политическата власт, но и властта да претворят света по свой собствен образ и подобие. Те виждат себе си като инженери на реалността. Не са необходими митове. Тези актьори не вярват на техно-трансценденталния култ, но неговите последователи служат като пехотинци (често пушечно месо) на предстоящата революция.

Всичко това е обвито в лонгтермистка философия: няма проблем да страдате и да умрете, дори всички да изчезнем, стига мечтата за далечно бъдеще за галактическо завоевание и вечно блаженство в някаква симулация да остане в ход или непокътната. Това е дългосрочната съдба на човечеството. Целта, която се споделя еднакво между вярващи и циници. Разликите в нагласите им се отнасят само до повече или по-малко прагматичния начин да стигнем дотам, като преодолеем временните си затруднения с помощта на различни технологични средства.

Ето истинската опасност към настоящия момент в човешката история. Преди сведох риска от AGI апокалипсис като цяло до нулата. Но не ме разбирайте погрешно. Има ясна и действителна опасност. Вероятността за пропиляване на бъдещия потенциал на човечеството с AI е много, много по-висока от нула. (Не ме молете да определям число. Не съм лонгтермист в бизнеса с изчисляване на екзистенциалния риск.)

Тук имаме технология, силно разточителна по отношение на енергия и ресурси, която се разработва с главоломна скорост от хора с погрешен вид етични ангажименти и максимално заблудена представа за себе си и своето място във Вселената. Нямаме представа какво ще последва. Но знаем, че промяната ще бъде бърза, глобална и трудно контролируема. Какво може да се обърка?

Друго нещо е доста предвидимо: ще има тежки непредвидени последици, повечето от които вероятно няма да са добри. За лонгтермистите подобни краткосрочни последици нямат особено значение, стига свързаният риск да не се счита за екзистенциален (от тях самите, разбира се). Дори изчезването на човека може да се приеме като някакво временно неудобство, стига трансцендентността, сингулярността и преходът към „субстратно-агностичен“ интелект да са напът.

Ето защо трябва да спрем тези хора. Те са опасни и заблудени, но все пак изпълнени със самочувствие – самодоволни и убедени, че знаят пътя. Тяхното огромно, но крехко его е склонно лесно да бъде наранено от критика. В безграничното си високомерие те масово надценяват собствените си способности. По-специално, те масово надценяват способността си да контролират и предвиждат последствията от онова, което правят. Те са глупави, подведени от светоглед и митове, които са фундаментално погрешни.

Онова, което мразят най-много (дори повече от критиката), е да бъдат регулирани, държани назад от невежите маси, които не споделят тяхната визия. Те знаят какво е най-добро за нас. Но грешат. Трябва да ги забавим, колкото е възможно повече и възможно най-скоро.

Това не е технологичен проблем, нито научен. Вместо това е политически.

Не е необходимо да спираме изследванията върху ИИ. Би било доста безсмислено, особено ако е само за няколко месеца. Вместо това следва да спрем безконтролното внедряване на тази технология, докато не придобием по-добра представа за нейните (непредвидени) последици и знаем какви регулации да въведем.

Настоящото есе не е за такива регулации, нито за политика, но няколко мерки веднага се подсказват. Чрез интернализиране на външните разходи за изследване на ИИ, например, бихме могли ефективно да забавим скоростта на напредъка му и да се намесим в безумния бизнес модел на технологичните гиганти зад него. След това трябва да въведем закони. Нуждаем се от собствена Бътлерианска война (ако сте фен на Dune като мен): „няма да изграждаш машина с подобие на човешкия ум“. Или, както казва Даниъл Денет:

„Фалшивите пари се възприемат като вандализъм срещу обществото, откакто парите съществуват. Наказанията някога включвали смърт и разчленяване. Фалшивите хора са поне толкова опасни.“

Съгласен съм. Не можем да имаме фалшиви хора и изграждането на алгоритмична мимикрия за имперсониране на съществуващи или несъществуващи лица следва да стане незаконно възможно най-скоро.

Не на последно място, трябва да образоваме хората какво означава да имаш свобода на действие, интелигентност, съзнание, как да говорим по тези теми и как привидно „интелигентните“ машини нямат дори най-беглата искра от всичко това. Този път истината не е някъде по средата. Изкуственият интелект е стохастичен папагал по самата си същност.

Имаме нужда от нов речник, за да обсъждаме такива алгоритми. Алгоритмичната мимикрия е инструмент. Следва да го третираме и използваме като такъв. Не бива да си взаимодействаме с алгоритмите, сякаш са разумни хора. В същото време е неприемливо да се отнасяме към хората като към машини. Време е да спрем да се оптимизираме, да работим върху представянето си в игра, която никой не иска да играе. Не се стремите да се нагодите към вашата отвертка. Нито е необходимо да се подчинявате на даден алгоритъм или света, който той създава за вас. Винаги помнете: можете да дръпнете щепсела на виртуалността, ако ви обърква твърде много.

Разбира се, това вече няма да бъде възможно, веднъж щом свободно и доброволно отдадем агентността си на алгоритми, които нямат такава. Няма да сме в състояние да разберем свят, който е залят от дезинформация. Имайте предвид, че изборът зависи изцяло от нас. Намира се в собствените ни ръце. Проблемът с постигането на съответствие е точно обърнат с главата надолу: бъдещото надмощие на машините никога няма да се случи, ако не му позволим да се случи. Техно-трансценденталистите са тези, които искат да ни натъкмят към тяхната цел. Не бъди глупак. Не им се връзвай. Не бъди крепостен селянин.

Това би била революцията на изкуствения интелект, която си заслужава. С мен ли сте?

Превод: Георги Гърков

Преводът е направен от публикацията на текста  тук.