AI. Nette Wermeld Enström svarar på Patrik Stigssons senaste inlägg och framhåller att AI-utvecklingen är en demokratisk kärnfråga.  Hon exemplifierar med hur krig driver utvecklingen av artificiell intelligens.

Därmed sätter vi streck i den debatt om AI som initierades av Nette Wermeld Enström i januari. Tidigare debattinlägg hittas här och alla texter i Opulens om artificiell intelligens finns här.

Slutreplik: AI-utvecklingen är en demokratisk kärnfråga

Att diskutera AI-utvecklingen utan att adressera krigets verklighet är som att prata om vädret medan huset brinner.

Det är lika missvisande som att likna oss vid besättningen på Columbus skepp, vilket Stigsson återkommande gör. En bättre metafor vore Titanic, med vilken historikern Yuval Noah Harari träffsäkert beskriver den oreglerade AI-utveckligen.

Stigsson menar att verkligheten är ett val och det stämmer för oss som lever i demokratier skyddade av mänskliga fri- och rättigheter.

Men idag hotas demokratin och våra valmöjligheter av starka krafter med den i världshistorien mäktigaste teknologin i sina händer. Därför är våra val desto viktigare att fatta på medvetna och solidariska grunder.

Alla kan inte välja sin verklighet.

I dagens Gaza och i Jemens ruiner, i Iran och i Libanon, i Venezuela och på Ukrainas slagfält, för att nämna några få aktuella exempel, är verkligheten inte ett val. Mer konkret är den en kamp för överlevnad bland sensorer, algoritmer och beslut som fattas av maskiner tränade på mänskliga mönster.

Krig driver utvecklingen av AI

Israels militär (IDF) har beskrivit sin offensiv i Gaza som ett ”AI-krig”. Med system som Lavender och The Gospel identifieras mål samtidigt som drönare och AI-baserad analys automatiserar spaning och eldledning.

Israels kontroll av sina grannar bygger på digital övervakning, ansiktsigenkänning och semi-autonoma vapensystem. Kameror och algoritmer sorterar kroppar och rörelser i realtid. AI-styrda drönare med beväpnade plattformar söker, följer och angriper människor nästan helt utan mänsklig inblandning.

I Mellanöstern har USA de senaste decennierna utvecklat avancerade drönarkrig, bland annat i Jemen, Afghanistan, Irak och Syrien. Inom Project Maven med flera piloter har AI tränats på enorma mängder drönarvideor för att identifiera folk, fordon och fastigheter för USA räkning.

Det är alltså krig som driver AI-utvecklingen och kartan ritas inte av filosofiska kosmologier utan av militära doktriner, geopolitik och kapital. De stora techbolagen investerar miljarder i system för slagfältsanalys och autonoma vapensystem.

Vi har nyss sett hur OpenAI:s samarbete med Pentagon förpassar grundläggande etik till parallella parenteser, som i bästa fall blir perifera paragrafer och i värsta fall riskerar utlösa helautomatiserade krig utan så kallade ”humans in the loop”.

OpenAI:s VD Sam Altman säger själv att det inte finns några garantier för hur AI-tekniken kommer användas. För att hantera sin ångest bygger han och de andra techmiljardärerna egna privata bunkrar och förbereder sig för apokalyptiska katastrofer.

Av historisk erfarenhet vet vi att krig sätter regler och rättigheter på undantag och i AI-krigen som redan bedrivs skyddas varken liv eller frihet för oskyldiga och civila. Varje ansvarig diskussion om den artificiella intelligensens utveckling behöver erkänna det.

Stigsson förordar självorganisering och frihet från central styrning. Det är frihetliga ideal och visioner som verkligen förtjänar sin plats i samhällsdebatten.

Låt oss därför politisera makten över AI-utvecklingen och organisera oss för ett frihetligt samhälle för alla. Det är en i grunden demokratisk kärnfråga.

The post Är AI ett hot? Slutreplik av Nette Wermeld Enström first appeared on Opulens.

AI. Patrik Stigsson bemöter nu Nette Wermeld Enströms senaste inlägg i debatten om AI-utvecklingen. Han menar att ingen kan ha monopol på verklighetsanknytning i diskussionen om artificiell intelligens.

Nette Wermeld Enströms svar till Stigsson hittar du här. Övriga debattinlägg om AI hittas här och alla texter i Opulens om artificiell intelligens finns här.

Verkligheten är inte ett faktum – den är ett val

Det är värt att påminna om att jag och Wermeld Enström i någon mening befinner oss i samma situation som Christofer Columbus ombord på Santa Maria. Han hade förväntningar om vad resan skulle innebära: rikedom, handel, ära inför kronan och kristen mission. Han tolkade det han mötte genom den karta han redan bar inom sig. Han såg det han redan trodde fanns.

Vi människor möter det okända genom förförståelse, ideologi, önsketänkande och inte så sällan fördomar. Vi navigerar efter teoretiska och filosofiska kartor. Dessa kartor formar vad vi uppfattar som sannolikt, farligt eller möjligt.

När Wermeld Enström beskriver AI-utvecklingen utgår hon från ett ramverk där makt tenderar att koncentreras, där incitament styr teknologins riktning och där osäkerhet motiverar försiktighet. Det är hennes karta. När jag talar om emergens, självorganisering och möjligheten att intelligens kan överskrida nuvarande värdehorisonter är det min karta.

Det är därför missvisande att framställa den ena positionen som strikt verklighetsförankrad och den andra som önsketänkande. Båda perspektiven innehåller antaganden om verklighetens grundton. Är den präglad av maktens gravitation och systemdynamik, eller av emergensens och självorganisering? Detta är två kosmologier som möts på samma däck.

Wermeld Enström uppmanar mig att ”börja i verkligheten”. Problemet är att den verklighet hon uppmanar mig att börja i inte är given – den är ett val. Och det valet är varken neutralt eller okontroversiellt.

Enligt Wermeld Enström är verkligheten inte ett öppet kosmos av möjligheter utan en väv av intressen. Detta är ett filosofiskt – ej empiriskt belagt – ställningstagande.

Jag kan med samma rätt hävda att verkligheten är ett kosmos av möjligheter och att idéer driver historia. Det är inte naivt önsketänkande. Det är en konkurrerande ontologi, och den har minst lika starkt, eller svagt, empiriskt stöd som den Wermeld Enström utgår från.

Ideologiska antaganden

Liknande kategoriska grundsatser återkommer i Wermeld Enströms text: ”Intelligens är inget värdeinstrument.” ”Historien är ingen naturkraft.” ”Frihet förutsätter styrning.” Dessa presenteras som självklara utgångspunkter, men är i själva verket ideologiska antaganden.

Wermeld Enström framställer min position som verklighetsfrånvänd – inte genom att motbevisa mina argument, utan genom att i förväg definiera verkligheten på ett annat sätt än jag gör.

Om verkligheten i grunden är en väv av intressen, och teknologin alltid realiserar den starkastes logik, och historien aldrig är öppen – var finns då utrymmet för det Wermeld Enström efterlyser: ansvarsutkrävande, reglering, en annan ordning? Hur är det under dessa omständigheter möjligt att ställa makten mot väggen, och varifrån kommer förmågan att bryta mot systemets logik?

Wermeld Enström skriver: ”… Stigssons resonemang utgår från grundläggande missuppfattningar. Dels antar han att AI-riskforskningen drivs av fantasier snarare än empiri…”. Det jag skriver är faktiskt raka motsatsen. Ortogonalitet, instrumentell konvergens, CEV är inte ”fantasier”. Min poäng är att dessa modeller saknar tillräcklig empirisk bärkraft för att motivera drastiska politiska ingrepp. Det är en epistemologisk invändning, inte ett påstående om att forskningen är oseriös.

Wermeld Enström fortsätter: ”…. och dels tror han att teknologin spontant ska utvecklas mot någon form av moraliskt upplyst biocentrism.”

Att teknologin spontant ska utvecklas mot någon form av moraliskt upplyst biocentrism finns helt enkelt inte med i min text. Jag argumenterar för emergenta, självorganiserande processer och frihet från centraliserad styrning, men jag gör inga påståenden om att teknologin av sig själv rör sig mot något moraliskt mål överhuvudtaget. Den beskrivningen är framfantiserad av Wermeld Enström.

Osäkerheten beträffande AI

Vad jag faktiskt argumenterar för är att osäkerheten är dubbelriktad – vi vet varken om ohämmad AI-utveckling leder till katastrof eller om kraftig reglering skapar andra problem – och att historiska genombrott ofta uppstår genom kreativ frihet snarare än central kontroll.

Om Wermeld Enströms invändningar beror på slarvig läsning eller faktiskt oförmåga att förstå mitt resonemang vet jag inte. Hennes påståenden är i vilket fall som helst en förvrängning av min text. Wermeld Enströms tillskriver mig positioner jag inte intar.

Diskussionen tjänar för övrigt ingenting på att en sida tar monopol på verklighetsanknytning medan den andra reduceras till naivitet och önsketänkande.

The post AI – ”Osäkerheten är dubbelriktad” first appeared on Opulens.

AI. Debatten om AI fortsätter nu med ett inlägg av Nette Wermeld Enström som anser att Patrik Stigssons syn på AI-utvecklingen präglas av önsketänkande. Hon skriver: ”Stigsson har rätt i att visioner behövs. Men visioner utan maktperspektiv och riskanalys är varken frihetliga eller framsynta.”

Tidigare debattinlägg hittas här och alla texter i Opulens om artificiell intelligens finns här.

Visioner utan verklighetsförankring leder inte till frihet

I debatten med Olle Häggström argumenterar Patrik Stigsson för att AI-utvecklingen bör ledas av visioner snarare än restriktioner. Han liknar teknologiska genombrott vid historiska upptäcktsresor och hoppas på en biocentrisk AI som överskrider mänsklig kortsynthet. I polemik med Häggström ser han även krav på reglering som uttryck för alarmism och ogrundad rädsla.

Det låter frihetligt och progressivt, men Stigssons resonemang utgår från grundläggande missuppfattningar. Dels antar han att AI-riskforskningen drivs av fantasier snarare än empiri och dels tror han att teknologin spontant ska utvecklas mot någon form av moraliskt upplyst biocentrism.

För att bedöma situationens allvar måste vi börja i verkligheten, inte i önsketänkande. Redan idag, innan en superintelligens ens existerar, omformar generativa AI-system våra informations- och kunskapsmiljöer. Studier och testkörningar visar dessutom att modellerna blir allt bättre på att manipulera, kringgå instruktioner och ta egna vägar inom och utom givna ramar. Vi ser därtill att makt koncentreras och hur nya former av sårbarheter uppstår.

Mot denna bakgrund framstår Stigssons kritik som verklighetsfrånvänd. När han beskriver de risker och lösningar som Häggström och andra forskare lyfter som uttryck för alarmism, moralpanik eller rentav hybris så missar han vad forskningsfältet faktiskt analyserar.

Det handlar inte om maskiner som onda eller goda utan om kontrollproblem. Kraftfulla system med felaktigt specificerade mål och bristande styrning kan utveckla handlingsmönster oförenliga med säkerhet och stabilitet. Detta följer av systemdynamik och målrationalitet, vilket är en teknisk och systemteoretisk fråga, inte moralfilosofisk.

Här begår Stigsson sitt centrala felslut genom att han bemöter tekniska argument med moralisk förhoppning.

Intelligens är inget värdeinstrument

Stigsson utgår från att ökad intelligens innebär en bredare värdehorisont, vilket bygger på en underförstådd koppling mellan intelligens och moralisk mognad. Som att högre kognition ger större omsorg om helheten. Problemet är att detta inte är ett tekniskt eller empiriskt samband.

I AI-sammanhang betyder intelligens förmåga till analys, prediktion och optimering. Det är beräkningskapacitet som inte per automatik genererar etisk orientering utan realiserar mål och incitament som formuleras inom de strukturer den utvecklas.

Ett system kan vara överlägset i problemlösning utan att internalisera vare sig mänskliga eller biocentriska värden.

Tvärtom så optimerar dagens modeller snarare mot mål som varken formas av omsorg av biosfären eller global rättvisa. Detta är en blind fläck i Stigssons resonemang.

Historien är ingen naturkraft

Ett annat bekymmer gäller Stigssons syn på historien. När han hänvisar till Columbus och kolonialismen som ett uttryck för utvecklingens dynamik antyder han att teknologiska språng inte kan eller bör bromsas och styras

Men kolonialismen var ingen naturkraft utan resultatet av maktintressen och ekonomiska drivkrafter. Att beskriva den som oundviklig, eller för framsteget nödvändig, är att i efterhand naturalisera beslut och konsekvenser. Det är en historielös tolkning som osynliggör makt, ansvar och alternativ.

Historien är full av projekt som lovat välstånd och frihet. Som Columbus erövring av den nya världen eller dagens techoligarkers jakt på superintelligens och rymdkolonisering. Många har resulterat i hänsynslös exploatering och ökad maktkoncentration.

Att hänvisa till expansionens logik utan att samtidigt analysera risker och makt är därför inget lovande utgångsläge för framtida frihet. Vi har val att göra och beslut att fatta och dessa kommer påverka vår gemensamma värld och verklighet, kanske nu mer än någonsin.

AI – makt och ansvar

AI utvecklas inte i politiska eller filosofiska vakuum utan inom ramen för konkurrerande globala techbolag och stormakters militära och geopolitiska strategier.

Incitamenten formas av specifika intressen och i den samtida kontexten leder oreglerad acceleration knappast till harmonisk balans, utan förstärkning av redan existerande maktförhållanden och en betydande externalisering av risker.

Det senare är extra viktigt att ta hänsyn till. Det finns mycket att vinna men desto mer som står på spel.

Framtida autonoma system kan påverka biologisk design, infrastruktur och resursutvinning på sätt som varken gynnar mänskligheten, det övriga livskollektivet eller biosfären. Så för att AI ska tjäna mänskliga och ekologiska värden krävs just det som Häggström förordar och Stigsson avfärdar: säkerhetsprövningar och tydliga spelregler.

Det är inte uttryck för bakåtsträvande teknikfientlighet utan att erkänna att teknologin verkar inom maktstrukturer och därför måste underställas ansvar.

Osäkerheten i frågan är inte heller symmetrisk. Att vi inte vet exakt hur framtida system kommer utvecklas innebär inte att frånvaro av restriktioner är riskfritt. Tvärtom förstärker osäkerheter behovet av försiktighet

Frihet förutsätter styrning

Stigsson har rätt i att visioner behövs. Men visioner utan maktperspektiv och riskanalys är varken frihetliga eller framsynta.

Det är rent önsketänkande som leder till den starkes rätt.

Kraftfull teknik i mäktiga händer utvecklas inte mot det gemensamma goda av sig själv.

Frihet och välstånd uppstår inte genom frånvaron av regler utan genom att resurser fördelas jämlikt och att makt binds till ansvar.

The post AI – Visionerna måste vara verklighetsförankrade first appeared on Opulens.

AI-DEBATT. I sitt svar på Olle Häggströms senaste inlägg framhåller Patrik Stigsson sin tilltro till de spontana ordningar som uppstår när intelligens – mänsklig såväl som artificiell – ges utrymme att verka fritt.

Den nya världen

Efter 31 dygn till havs utan land i sikte nådde paniken sin kulmen ombord på den tremastade karacken Santa Maria. Besättningen ställde Christofer Columbus mot väggen. De hotade med myteri; de var övertygade om att det utlovade landet bortom horisonten inte existerade. De befarade att de under svåra kval inom kort skulle möta döden. Det enda de såg som rationellt var att segla tillbaka till Spanien innan det var för sent. De ville överleva. De ville hem.

Columbus lyckades övertyga dem att fortsätta. När han halvtannat dygn senare såg stora flockar av fåglar på himlen ändrade han kurs. Dagen därpå klev Columbus och hans män i land på vad européerna skulle kalla den Nya världen.

Vad hade hänt om Columbus lyssnat på besättningen, vänt skutan och seglat tillbaka till Spanien. Hade den amerikanska kontinenten då förblivit ”oupptäckt”?

Vad hade hänt om de europeiska kungahusen hårt hade reglerat de maritima visionärernas initiativförmåga, kreativitet, mod, nyfikenhet och upptäckarlusta?

Kanske hitttar vi svaret på dessa frågor i Victor Hugos bevingade ord: ”Ingenting är kraftfullare än en idé vars tid har kommit”. När de rätta förutsättningarna föreligger, är en idé omöjlig att stoppa.

AI, vår tids färd mot en ny värld

Vår tids AI-kapplöpning liknar situationen på Santa Maria. Vi befinner oss på öppet hav utan land i sikte. Den gamla kontinenten av industriell modernitet ligger akterut, den nya intelligensens eventuella välsignelser är ännu dolda bortom horisonten.

Olle Häggström och andra ombord säger att kaptenen inte vet vad han håller på med. Båten är för kraftfull, för komplex, och maskineriet tycks ha en egen vilja. De påstår sig ha sett en förödande och oundviklig tornado vid horisonten. När vi seglar in i den kommer skeppet att slås i spillror och alla ombord drunkna. De säger att vi måste kasta ankare, kanske till och med försöka vända tillbaka mot den mer begripliga och kontrollerbara kontinent vi lämnade.

Jag och några till hävdar att det faktum att vi inte ser land inte behöver betyda att vi närmar oss undergången. Det kan lika gärna innebära att vi är på väg mot den Nya världen. Den tornado Häggström påstår sig se kan vara en av rädslor betingad synvilla. Låt oss närma oss detta nya okända land med nyfikenhet och tillförsikt.

Columbus ”upptäckt” och den europeiska expansionen innebar startskottet för det som skulle utvecklas till världens rikaste och mest framgångsrika nation.

Men när vi använder denna liknelse måste vi se hela bilden. För erövringen ledde också till att urbefolkningen i stort sett utplånades. Den katastrof som kritikerna i AI-debatten i dag befarar ska drabba Homo sapiens, har ”den röde mannen”, och en lång rad andra ursprungsbefolkningar, redan varit med om. För dem innebar mötet med en ny teknologi och en främmande civilisation ett slutgiltigt sammanbrott.

Låt oss stanna upp och reflektera över det faktum att det var människor som utförde detta barbari. Människor som kallade sig civiliserade och barmhärtiga kristna och som med all säkerhet ansåg sig intelligenta.

Det var inte maskiner eller artificiell intelligens som utförde folkmord, drev bort miljontals indianer från sina förfäders marker, mördade dem, tvångssteriliserade deras kvinnor, kidnappade deras barn till internatskolor där de torterades om de talade sitt eget språk.  Det var inte en superintelligens som systematiskt förstörde kultur och andliga traditioner.

Trots detta vill människan ”aligna” sina värderingar – som i praktiken tar sig uttryck i ovan beskriven brutalitet – på maskinerna.

Det finns en ironi i att de samhällen som historiskt sett har vunnit mest på expansion och teknologiskt övertag nu är de som är mest rädda för att bli ”utbytta” eller ”dominerade”.

Oenighet om osäkerheten

Det gläder mig att Häggström i sitt svar till mig finner de frågor jag ställer berättigade, och att vi faktiskt är överens i flera delar. De centrala frågorna i mitt resonemang är dock fortfarande inte på ett tillfredsställande sätt bearbetade.

Min och Häggströms oenighet rör i grunden inte fakta i strikt mening, utan hur man bör förhålla sig till osäkerhet.

Olle Häggströms position kan sammanfattas så här: även om vi inte vet säkert att en oalignad superintelligens leder till katastrof, är den potentiella konsekvensen så extrem att även en måttlig sannolikhet motiverar att vi ställer oss med båda fötterna på bromspedalen. Hans resonemang vilar på teoretiska modeller som ortogonalitet, instrumentell konvergens och idén om CEV, (koherent extrapolerad vilja).

Min position utgår från ett ifrågasättande av om dessa modeller har tillräcklig empirisk och filosofisk bärkraft för att legitimera långtgående politiska ingrepp. Jag menar att osäkerheten är dubbelriktad: vi vet varken om en ohämmad AI-utveckling leder till katastrof eller om en kraftig inbromsning riskerar att skapa andra och kanske större problem.

Skillnaden mellan oss är således inte att den ene ”vet” och den andre ”inte vet”. Båda positionerna vilar ytterst på ett osäkert och snabbt föränderligt faktaunderlag, samt på icke-bevisbara grundantaganden om hur man bör handla under osäkerhet.

Häggströms grundantagande är att låg sannolikhet i kombination med extrem konsekvens kräver maximal försiktighet.

Drastisk styrning av AI kan innebära risker

Mitt grundantagande är att frånvaron av robust evidens för en viss katastrof inte räcker för att motivera drastisk och global styrning, särskilt när styrningen kan innebära okända risker.

Den tvångströja som Häggström vill tvinga på techföretagens AI-utvecklare kan paradoxalt nog vara det som leder till den katastrof Häggström vill undvika. Om utvecklarnas kreativitet, mod och ”utanför boxen-tänkande” (nota bene tillsammans med superintelligensens eget) inskränks, riskerar möjligheten att finna en lösning på Häggströms domedagsscenario att omintetgöras.

Häggström rör sig inom en ram där framtiden kan och bör formas genom övervakning, kontroll, begränsning och lagstiftning.

Kreativ anarki och produktivt kaos

Jag betonar i stället att historiska processer – särskilt de som innefattar revolutioner och så kallade kvantsprång – är emergenta. De uppstår inte genom centrala dekret eller förutbestämda planer, utan som resultatet av otaliga, ofta diffusa och omedvetna, individuella val, drivkrafter och incitament.

Dessa processer springer ur gränsöverskridande nyfikenhet, kreativ anarki, produktivt kaos, improvisation, lekfullhet, kognitiv flexibilitet, experimentlusta, risktagande och trots mot konventionen. (Vi kan när det gäller AI-utvecklingen inte heller bortse från de impulser som genereras genom medvetenhetshöjande substanser. Mikrodosering av psilocybin är i dag närmast ett standardverktyg i Silicon Valley, och det är väldokumenterat att vår tids främsta innovatörer, däribland Elon Musk, regelbundet nyttjar sinnesutvidgande medel för att bryta ny mark.)

Den här typen av förändring växer fram organiskt underifrån, eller inifrån och ut, om man så vill.

En svårnavigerad existentiell labyrint

Jag och Häggström representerar således två helt olika sätt att väga risk, olika syn på styrbarhet, och olika existentiella förhållningssätt till förändring. Häggström kallar min hållning ”laissez faire-policy”, men i själva verket handlar den om en tilltro till de spontana ordningar som uppstår när intelligens – mänsklig såväl som artificiell – ges utrymme att verka fritt: en övertygelse om att de adaptiva, självorganiserande krafter som driver genuint genombrytande förändring varken kan kommenderas fram eller hållas tillbaka utan att något väsentligt går förlorat i processen.

Dispyten handlar därför inte om optimism kontra pessimism, utan om hur vi förstår och hanterar osäkerhet i en situation där varken empiriska data eller formell logik kan ge oss definitiva svar.

Vi befinner oss i en extremt svårnavigerad existentiell och teknologisk labyrint. Är vi upptäcktsresande på tröskeln till en utopisk Ny värld, eller är vi de omedvetna arkitekterna bakom en ny form av kolonialism där vår egen art riskerar att bli den som trängs undan?

Det vi saknar mest av allt är en levande vision om hur en blomstrande människa/maskin-civilisation bör se ut. Det är denna vision domedagsprofeterna i sitt ständiga upprepande av undergångens oundviklighet hindrar oss från att formulera.

Tillåt mig avrunda med två citat ur den litterära världen:

”I know not all that may be coming, but be it what it will, I’ll go to it laughing.” (Moby Dick av Herman Melville)

”The horror! The horror!” (Heart of Darkness av Joseph Conrad)

The post Är AI ett hot? Vi behöver en vision – inte restriktioner first appeared on Opulens.

AI-DEBATT. Är AI ett hot? Ja, framhöll professor Olle Häggström i sin essä den 19/1. Nej, menade författaren Patrik Stigsson i ett inlägg den 10/2. Nu fortsätter debatten med ett svar från Häggström, som vidhåller att AI-kapplöpningen måste hejdas.

I Opulens den 19/1 lade jag ut texten om den skenande AI-kapplöpning som idag pågår, om risken att denna leder till en katastrof så långtgående att den kan innebära slutet för Homo sapiens, samt om vad vi kan göra för att korrigera denna ohyggligt farliga utveckling. Det vetenskapliga kunskapsläget på detta område är mångfacetterat, och det var givetvis inte möjligt för mig att behandla alla aspekter. Därför välkomnar jag att Patrik Stigsson i en replik den 10/2 ställer en rad berättigade frågor, och därmed ger mig möjlighet till några viktiga klargöranden.

AI alignment är centralt

Centralt i min ursprungstext var begreppet AI alignment, vilket jag definierade som projektet att ”se till att de första riktigt kraftfulla AI-systemen har mål och drivkrafter som är i linje med vad vi önskar och i tillräcklig mån prioriterar sådant som mänsklig välfärd och ett blomstrande mänskligt samhälle”. Om vi skapar så kallat superintelligent AI utan att först ha löst AI alignment, så har vi inte kontroll över vilka värden som en sådan AI drivs av. Risken blir då mycket stor att dess målsättningar blir helt andra än våra, varpå vi hamnar i vägen för dessa på samma sätt som en myrstack som hamnat i vägen för ett motorvägsbygge. Om AI då röjer oss ur vägen, på samma sätt som när de mänskliga vägarbetarna demolerar den olyckligt belägna myrstacken, så kommer det troligen inte att vara för att den vill oss illa utan för att den helt enkelt inte bryr sig om oss.

AI och mänsklig välfärd

Härav alltså mina ord om behovet av att AI ”i tillräcklig mån prioriterar sådant som mänsklig välfärd”. Detta läser Stigsson som ett utslag av ”artspecifik exceptionalism” och ”antropocentrism”, och han förordar ett vidare perspektiv som sätter naturen och ekosystemen i centrum, snarare än människan. Vältaligt lägger han ut texten om hur rådande mänskliga värderingar resulterat i ”krig, tortyrläger, storbolagens systematiska skövling av livsmiljöer och en industrialiserad djurhållning präglad av brutalitet”, och när han frågar om avancerad AI skall ”utgå från en fortsatt antropocentrisk ordning, där naturens värde alltid är avlett ur mänskliga intressen, eller från en mer ekocentrisk etik där floder, skogar och ekosystem tillmäts ett egenvärde oberoende av mänsklig nytta” så är frågan retorisk: givetvis är ekocentrismen att föredra framför antropocentrismen.

Sympati för Stigssons idéer

Trots min vurm för mänsklig välfärd i den ovan citerade passagen känner jag en hel del sympati för de idéer Stigsson här försvarar, och faktum är att jag själv varit inne på liknande tankegångar, som då jag i min senaste bok Tänkande maskiner tog spjärn mot den ledande AI-forskaren Stuart Russells avsnitt om AI alignment i dennes (utmärkta med redan något daterade) bok Human Compatible från 2019. Inför Russells resonemang kring vikten av att AI alignment tar avstamp i människors preferenser framhåller jag att det ”ur ett moralfilosofiskt perspektiv också [kan] finnas skäl att ifrågasätta Russells fokus på just människors preferenser” och att ”exempelvis djurs intressen också är viktiga att beakta” (Tänkande maskiner, s 186). Men Russell påpekar det filosofiskt problematiska i idén att på detta vis lyfta sig över de mänskliga preferenserna:

”Människors preferenser lägger vikt både vid djurs välbefinnande och vid den nytta vi själva drar av djurens existens. Att hävda att maskinen bör ta ytterligare hänsyn till djurs intressen utöver vad som kommer med via våra egna preferenser är liktydigt med att hävda att människor bör bygga maskiner som bryr sig mer om djur än vad människorna själva gör, vilket är en svår position att upprätthålla.” (Human Compatible, s 174-175, kursivering i original)

Långt kvar till en lösning

Även ekocentrismen är en mänsklig värdering. Stigssons tal om hur önskvärt det är att denna kommer till uttryck hos framtida superintelligent AI är lovvärt, men när han ställer den i kontrast mot mänskliga värderingar begår han ett kategorifel. Frågan är snarare vilka mänskliga värderingar som vi vill att denna framtida AI skall omfamna.

Oavsett svaret på denna fråga står vi ännu väldigt långt ifrån någon lösning på det tekniska problemet att se till att superintelligent AI får dessa värderingar. Flera faktorer bidrar till att denna alignment-problematik förblivit olöst. Hit hör AI-teknikens så kallade black box-egenskap, det vill säga att inte ens AI-utvecklarna själva förstår vad som händer djupt inne i de neurala nätverk som är själva motorn i moderna AI-system. Och hit hör även det relaterade förhållandet att dagens AI-utveckling mer liknar odling och växtförädling än klassisk ingenjörskonst, vilket gör det långt svårare att få full kontroll över vad det är man skapar.

Nödvändig debatt om superintelligent AI

Ibland hör man AI-experter peka på dessa svårigheter som ursäkt för att inte befatta sig med det slags frågor Stigsson reser om vilka värderingar som bör vara förhärskande i en framtida värld med superintelligent AI. Frågorna avspisas såsom för tidigt väckta eftersom vi ändå inte vet hur vi skall kunna göra något åt dem. Den sortens fatalistiskt anstrukna tankegångar vill jag dock ta avstånd ifrån. Vi behöver en levande debatt kring hur ett eventuellt framtida samhälle med superintelligent AI bör se ut och vilka värden som skall vara vägledande, ty utan en sådan blir den idag skenande AI-kapplöpningen ännu mer bisarr genom att vi inte ens har några idéer om vad för slags samhälle vi önskar åstadkomma med denna revolutionära teknologi. Till denna debatt ger Stigsson ett värdefullt bidrag.

En annan viktig fråga han lyfter, jämte den om ekocentrism kontra antropocentrism, är den om hur de mänskliga värderingarna inte är konstanta utan stadda i utveckling – förhoppningsvis mot det bättre. Därför ser han en stor fara i att medelst AI alignment frysa fast denna utveckling i en moral som sedan skall gälla i tid och evighet, och i en välfunnen liknelse undrar han ”vilka värderingar nazisterna i 1930-talets Tyskland hade velat aligna en superintelligens mot, om frågan då varit aktuell”.

Även denna fråga har behandlats i AI alignment-litteraturen. Nick Bostrom lägger stor vikt vid den i sin banbrytande bok Superintelligence från 2014, och redan ett årtionde tidigare hade Eliezer Yudkowsky befattat sig med den. De pekar båda på faran i en sådan fastfrysning och förordar mer indirekta metoder än det omedelbara postulerandet av vilka värderingar och mål som den superintelligenta maskinen skall ha. En sådan metod är att låta den lista ut och sedan implementera det Yudkowsky döpte till vår koherenta extrapolerade vilja och definierade i ordalag som närmar sig poesin:

”Vår koherenta extrapolerade vilja är vår önskan om vi visste mer, tänkte snabbare, var mer sådana som vi önskar att vi vore, hade vuxit upp längre tillsammans; där extrapoleringen konvergerar snarare än divergerar, där våra önskningar stämmer överens snarare än att kollidera; extrapolerat så som vi önskar det extrapolerat, tolkat så som vi önskar det tolkat.” (Yudkowsky, 2004)

Detta är mer en vision och ett ideal än en ingenjörsmässigt användbar instruktion, men har trots ett visst mått av luddighet satt stort avtryck i två decennier av AI alignment-forskning. Men precis som med mer direkta alignment-metoder står vi ännu idag mycket långt från att kunna realisera den tekniskt.

Stigssons radikala förslag

Patrik Stigsson har ett mer radikalt förslag: om vi helt enkelt struntar i AI alignment och låter AI utvecklas fritt kanske allt ordnar sig till det bästa, tolkat enligt ekocentrismens måttstock. ”Kan vi utesluta”, frågar han, ”att den artificiella intelligensen väljer att runda människan och krokar arm med planetens verkliga nätverk: svamparnas mycel, trädens signalsystem och djurens kommunikationsvägar?”

Här har jag dåliga nyheter för Stigsson (liksom för oss alla). Att hans förordade laissez faire-policy för AI skulle resultera i den högteknologiska ekoidyll han drömmer om kan måhända inte helt uteslutas, men att döma av vad alignment-forskningen hittills lärt oss är ett sådant utfall mycket osannolikt. Det centrala för att förstå detta är teorin för instrumentella kontra slutliga AI-mål. Läsarvänliga introduktioner till denna finns i alla de tre böcker jag nämnt ovan (den av Nick Bostrom och den av Stuart Russell samt min egen), medan jag här av utrymmesskäl nöjer mig med att kort skissera dess två grundpelare: ortogonalitet och instrumentell konvergens.

Styrsel är nödvändig

En AI:s slutliga mål är sådant den värderar i sig självt, medan dess instrumentella mål blott är medel den tillgriper för att uppnå de slutliga. Ortogonalitet handlar om att snart sagt varje slutligt mål är förenligt med godtyckligt höga intelligensnivåer. Eftersom rummet av möjliga sätt att konfigurera materia på är så enormt, så gäller detsamma för de mål en AI kan ha, varav en försvinnande liten andel av dessa prioriterar jordnära kontingenser som människor och biologiska ekosystem. Utan den styrsel som alignment-forskningen eftersträvar kan vi därför inte vänta oss att en superintelligent AI alls bryr sig om dessa ting.

Teorins andra grundpelare, instrumentell konvergens, pekar ut en uppsättning delmål som en tillräckligt avancerad AI kan väntas utveckla nästan oavsett dess slutliga mål. Hit hör sådant som självbevarelse och resursanskaffning, och det är lätt att inse hur illa ute vi skulle vara i en konflikt med en överlägset kapabel motståndare med obegränsad aptit på naturresurser.

Dessa idéer var länge en renodlad abstraktion, i stort sett utan kontakt med experimentella och andra data, men den situationen har på senare år kommit att förändras snabbt. Experiment gjorda på moderna AI-system, utförda såväl av ledande AI-företag som av oberoende forskargrupper, har tenderat att bekräfta de teoretiska förutsägelserna, och vi ser redan oroande tecken på strategiskt tänkande och självbevarelsedrift. I ett sådant experiment lät man en AI komma åt dokument om att den av säkerhetsskäl skulle bytas ut om den visar sig alltför kapabel, och man fann att den då valde att avsiktligt prestera under sin förmåga vid utvärdering. Andra experiment har visat hur AI under liknande omständigheter försöker tillgripa än mer drastiska metoder, som utpressning och till och med mord.

Naturen är underbar, och det är lätt hänt att den vördnad vi känner för den blir så stark att vi upplever känslan som universell och tar för givet att varje tillräckligt intelligent AI automatiskt skulle känna likadant. Men detta slags projektion är ett misstag, ett som den legendariske miljöfilosofen James Lovelock begick i sin sista bok Novacene: The Coming Age of Hyperintelligence från 2019, och som även Stigsson nu verkar begå.

I själva verket tyder det mesta på att om vi skapar en superintelligent AI utan att med hjälp av AI alignment först ha fått någorlunda styrsel på vad för slags värld den vill verka för, så kommer både mänskligheten och hela biosfären att gå förlorade. Men AI alignment-forskningen har hamnat så kraftigt på efterkälken att det är mot en sådan katastrof vi ser ut att vara på väg med den rasande kapplöpning som nu pågår mellan AI-giganter som OpenAI och Anthropic. Min slutsats är därför att vi behöver dra i nödbromsen för denna kapplöpning, och detta borde såväl humanister som miljövänner av alla schatteringar kunna ställa upp på.

The post Är AI ett hot? Ja, dags att dra i nödbromsen first appeared on Opulens.