ESSÄ. Olle Häggström, professor i matematisk statistik, kommenterar i en essä Nette Wermeld Enströms inlägg om AI-utvecklingen. Häggström anser att kapplöpningen mot superintelligens måste stävjas genom kraftfulla ingripanden.

De globala problemen – tilltagande geopolitiska spänningar, högerpopulismens framväxt, klimatförändringarna, och så vidare – har i nådens år 2026 börjat hopa sig på ett oroväckande vis. För den som följer med i AI-frågor framstår dock AI-utvecklingen som den allra största riskfaktorn under återstoden av 2020-talet, och även under påföljande decennium (om vi alls kommer så långt innan vi utplånar oss själva).

Redan 1951 spekulerade den moderna datavetenskapens grundare Alan Turing i en framåtblickande text kring hur den teknologi han själv varit med om att sätta i gång skulle kunna leda till skapandet av kognitivt övermänskliga maskiner – det vi i dag kallar superintelligent AI – och han landar i den bedömningen att vi ”bör vänta oss att maskinerna i något skede tar kontrollen”. Själva begreppet artificiell intelligens myntades inte förrän 1955, året efter Turings tragiskt tidiga bortgång, men man hade kunnat vänta sig att Turings ödesmättade varningsord skulle sätta avtryck i AI-forskningen under de år som följde. Så blev emellertid inte fallet, utan forskningen ignorerade (till skillnad från Hollywood) dessa tankar nästan helt i mer än ett halvsekel, i en anda av bekymmerslöst framåtskridande.

Delvis kan denna brist på risktänkande förklaras med att det stora AI-genombrott Turing hade i åtanke under större delen av den tid som förflutit sedan dess framstått som så avlägset att det känts mer som en teoretisk abstraktion än som en möjlig realitet. Den situationen har emellertid förändrats drastiskt under den senaste 10-årsperioden, till följd av AI-utvecklingens plötsliga acceleration i och med framgångarna för så kallad deep learning-teknik, exemplifierad inte minst av dagens stora språkmodeller som OpenAI:s ChatGPT och Anthropics Claude.

Dessa båda amerikanska AI-bolag tillsammans med Google DeepMind och några få andra befinner sig i en rasande kapplöpning som gör att kurvorna med ens pekar spikrakt uppåt. Detta i sin tur får initierade AI-experter som exempelvis Leopold Aschenbrenner och Daniel Kokotajlo (som båda är före detta OpenAI-medarbetare) att göra bedömningen att vi kanske bara är några enstaka år från den tidpunkt då de ledande AI-utvecklarna inte längre är människor av kött och blod utan själva är AI. I det skedet kan AI-bolagen sätta in en armé av hundratusentals eller miljoner digitala AI-utvecklare, varpå ett slags turbofeedback uppstår och utvecklingen eventuellt kan bli så explosiv att det bara handlar om månader innan superintelligensen är ett faktum.

Om detta scenario besannas kommer Homo sapiens i praktiken att ha abdikerat från sin position som planetens härskare, och allt hänger då på vad de nya superintelligenta maskinerna är motiverade att ta sig för. Vad som gör detta extra bekymmersamt är att någon övertygande plan för att lösa det så kallade AI alignment-problemet i dag inte finns. AI alignment handlar om att se till att de första riktigt kraftfulla AI-systemen har mål och drivkrafter som är i linje med vad vi önskar och i tillräcklig mån prioriterar sådant som mänsklig välfärd och ett blomstrande mänskligt samhälle.

Om vi lyckas lösa AI alignment i tid till uppkomsten av superintelligens finns potentialen att skapa en värld av överflöd utan mänskligt arbete. Huruvida en sådan kan organiseras på ett bra sätt är alltjämt en öppen fråga, men för att vi åtminstone skall ha chansen att göra det krävs att kraftfulla fördelningspolitiska åtgärder sätts in i god tid.

Om vi däremot misslyckas med att lösa AI alignment i tid uppstår en konflikt mellan våra värderingar och de superintelligenta maskinernas. Defaultutfallet i ett sådant läge beskrevs 2008 av AI alignment-pionjären Eliezer Yudkowsky med de illavarslande orden ”AI hatar dig inte, ej heller älskar den dig, men du består av atomer som den kan ha annan användning för”.

En sådan konflikt mot en överlägsen motståndare skulle vi knappast överleva, och risken att vi till följd av den pågående AI-kapplöpningen inom kort hamnar där genom att skapa superintelligent AI utan att först ha löst AI-alignmentproblemet kan inte längre ignoreras. Allt fler ledande AI-forskare har börjat varna för denna risk, inklusive fysikpristagaren Geoffrey Hinton som i sitt tal på Nobelfesten 2024 chockade de församlade gästerna genom att framhålla att just den AI-teknik som Nobelkommittén låtit belöna honom för kan leda till detta slags katastrof.

I en krönika i Opulens den 7/1 skriver Nette Wermeld Enström om visselblåsare inom AI-eliten, och fokuserar på Yoshua Bengio, som är en av högst en handfull personer som på allvar kan tävla med Hinton om positionen som världens främste AI-forskare.

Bengio har sedan 2023 engagerat sig alltmer för stävjandet av katastrofal AI-risk, och säger ångerfullt att han ”borde ha sett detta komma tidigare”. Härtill kan läggas en rad andra namn, inklusive Yudkowsky som nyligen tillsammans med sin kollega Nate Soares utkom med den välargumenterade och läsvärda boken If Anyone Builds It, Everyone Dies; ordet ”It” i boktiteln syftar på superintelligent AI.

Men trots att ledande experter ropar för full hals om hur ödesdiger AI-utvecklingen kan bli har intresset för detta slags AI-risk hittills förblivit svalt hos mainstreammedier, allmänhet och politiker. För att råda bot på det är det viktigt att försöka förstå varför det har blivit så. Wermeld Enström snuddar vid denna fråga i en uppföljande krönika den 14/1, där hon tar som utgångspunkt Jean-Paul Sartres existentialistiska filosofi om mänsklig agens och hur vi har att själva skapa mening i våra liv.

Vi är fria varelser, och med det kommer ett ansvar så tungt att många finner det outhärdligt och därför hamnar i resignation och i olika slags självbedrägeri för att förneka den egna agensen. I AI-frågan tycker Wermeld Enström sig se detta fenomen manifestera sig i teknikdeterministiska föreställningar om att utvecklingen är oundviklig.

Jag är övertygad om att hon har rätt i att denna psykologi förekommer, och har själv ofta bevittnat samma slags flyktimpuls i AI-debatten, som nu senast i ett poddsamtal med Göteborgs-Postens politiske redaktör Adam Cwejman.

Det blev ett bra samtal där Cwejman uppvisade en bland journalister ovanlig nivå av förtrogenhet med AI-risklandskapet, men lite drygt halvvägs in i samtalet gör han en lång uppräkning av politiska och kommersiella mekanismer som kan utgöra hinder om vi vill styra utvecklingen bort från den vettlösa kapplöpning mot superintelligens vi nu befinner oss i. Han sammanfattar det hela (ca 40:28 in i ljudfilen) med att ”tärningen är kastad, nu får vi vänta på resultatet”.

Jag hade givetvis inga invändningar mot påståendet att dessa hinder finns, men menade att det är förhastat och oacceptabelt att utan att ens ha försökt göra något åt dem upphöja dem till oöverstigliga. Eftersom den civilisationshotande superintelligenta AI:n ännu inte finns är det alltjämt möjligt att välja att inte skapa den.

Om jag hade haft möjlighet att före samtalet med Cwejman läsa Wermeld Enströms text hade jag kanske anfört hennes manande ord om att ”även passivitet är ett val”, och att samma sak gäller ”varje utebliven reglering” och ”varje beslut att prioritera snabb utveckling framför säkerhet”. Vi kan välja bättre än så.

Men AI-diskussionen är mångfasetterad, och olika personer kommer in i den med olika utgångspunkter och olika föreställningar om tekniken. Dessa olikheter ger upphov till en rad olika mekanismer som kan förklara beteendet hos dem som drar benen efter sig i stället för att kliva upp på barrikaderna och hävda att det är oacceptabelt att alla vi åtta miljarder världsmedborgare skall riskera att utplånas till följd av att något tusental AI-utvecklare i norra Kalifornien inte förmår lägga band på sig i jakten på superintelligens.

Det slags resignation som Wermeld Enström skriver om förklarar förvisso passiviteten hos en del, men i vissa fall krävs andra förklaringar, varav den enligt min mening allra oftast tillämpliga är att man helt enkelt förnekar att risken för AI-katastrof är en realitet.

Denna förnekelse kan i sig ta olika former, varav de två vanligaste är förnekandet av att övermänskligt kapabel AI alls är möjlig, och av att en sådan AI någonsin skulle vilja göra oss människor illa.

På annat håll, som i min bok Tänkande maskiner och min essä Our AI future and the need to stop the bear, har jag skrivit utförligt om båda tankegångarna och varför de enligt min mening är förfelade, men här vill jag som avslutning bara kort beröra vad det handlar om.

Vad gäller idén att någon superintelligent AI inte är möjlig eller i alla fall inte är att vänta inom överskådlig tid i förlängningen av dagens teknikutveckling, så bygger denna oftast på ogrundade föreställningar om att den mänskliga intelligensen inbegriper något så speciellt och mystiskt att det är omöjligt att matcha på maskinell väg.

Angående språkmodeller som ChatGPT och Claude hävdas ofta att de bygger på så i grunden enkel teknik – man kan exempelvis peka på att de blott är tränade att statistiskt förutsäga nästa ord i internettext, eller att dynamiken i de neurala nätverk de är uppbyggda av drivs av den själlösa matematiska operationen matrismultiplikation – att de självklart inte kan vara intelligenta på riktigt.

Dessa resonemang bygger outtalat på en princip om att intressanta komplexa egenskaper som intelligens omöjligt kan emergera ur system av enkla komponenter, men eftersom principen är felaktig faller hela resonemanget. För att se att principen inte håller räcker det att se till den mänskliga hjärnan som ger upphov till vår intelligens trots att den blott är ett geleaktigt stycke materia bestående av atomer och elementarpartiklar som mekaniskt och tanklöst far omkring och krockar med varandra.

Den andra tankegången handlar om att vi inte har något att oroa oss över eftersom en tillräckligt intelligent AI med automatik också kommer att vara moralisk på ett sätt som gynnar oss människor. Men intelligens i detta sammanhang är inget annat än förmågan att flexibelt och effektivt prediktera och planera för att optimalt uppnå givna mål, oavsett vilka dessa mål råkar vara. Och som jag konstaterade i en bloggpost i höstas, att tillräckligt avancerad AI kommer att ha djupa kunskaper om mänskliga normer och värderingar (något som i vissa avseenden redan är fallet) är en helt annan sak än att den skulle instämma i och agera på basis av dessa värderingar.

Den teoribildning som finns på AI-säkerhetsområdet tyder starkt på att intelligens och målsättning är separata egenskaper på så vis att snart sagt vilken målsättning som helst är förenlig med godtycklig hög intelligens.

Det stämmer till eftertanke hur planetens i dag mest kapabla och intelligenta art – människan – med sina ekosystemsskövlingar och sin barbariska djurindustri tar sig rätten att behandla andra arter. Om vi skapar superintelligent AI innan vi hittat ett sätt att säkerställa att dess målsättningar är de vi önskar – det problemkomplex jag omtalar som AI alignment ovan – kan vi inte räkna med att den behandlar oss mer kärleksfullt och moraliskt än vi i dag behandlar djurindustrins grisar och kycklingar.

Kunskapen om hur ett sådant säkerställande kan åstadkommas finns inte i dag, vare sig hos de ledande AI-bolagen eller någon annanstans, och det är därför vi snarast behöver kraftfulla ingripanden från lagstiftare och andra samhällsaktörer för att stävja deras vansinneskapplöpning mot superintelligens.

The post AI-utvecklingen måste stävjas snarast möjligt first appeared on Opulens.

AI. ”Den stora frågan är kanske inte om AI kommer att förändra världen utan om vi är beredda att erkänna att det är vi, genom våra val, som avgör hur framtiden kommer att se ut.” Det skriver Nette Wermeld Enström

Mellan varning och vision – AI, ansvar och det existentialistiska valet

I podcasten The Diary of a CEO för Steven Bartlett ett djuplodande samtal med AI-forskaren Stuart Russell om artificiell intelligens och mänsklighetens framtid.

Samtalet rör sig bortom tekniska detaljer och berör i stället grundläggande filosofiska frågor: Vad innebär ansvar i en tid då våra teknologiska skapelser riskerar att bli mer intelligenta än vi själva? Och kan vi undkomma konsekvenserna av våra val?

Jean-Paul Sartres existentialism utgår från tesen att existensen föregår essensen: människan föds utan ett givet syfte och definierar sig själv genom sina handlingar.

Översatt till AI-frågan innebär detta att teknologins framtid inte (ännu) är förutbestämd. Den formas (fortfarande) av mänskliga beslut, av vad forskare, företag och politiker väljer att prioritera.

När Russell kritiserar föreställningen om att teknisk utveckling automatiskt leder till framsteg, avfärdar han implicit tanken på ett teknologiskt öde.

Det finns inga historiska lagar som garanterar att AI kommer att gagna mänskligheten, resonerar Russell, utan det är upp till oss att ge utvecklingen riktning.

Russell tar upp ”gorilla-problemet”, det vill säga frågan om vad som händer om artificiell intelligens övertrumfar den mänskliga intelligensen. Detta kan vidare förstås i ljuset av Sartres syn på ångest. Enligt Sartre uppstår ångest när människan inser sin frihet och därmed sitt fulla ansvar.

Skapandet av system som kan överträffa mänsklig intelligens tvingar oss att konfrontera gränserna för vår kontroll. Vi kan inte längre luta oss mot tron att vi alltid kommer att vara de mest rationella aktörerna i rummet.

Denna insikt är djupt obehaglig men enligt existentialismen också nödvändig. Ångesten avslöjar att våra handlingar verkligen spelar roll.

Sartres begrepp ”ond tro” (mauvaise foi) är därför centralt för att förstå Russells varningar genom en existentialistisk tolkning. ”Ond tro” innebär att människan försöker fly från sin frihet genom självbedrägerier, som att till exempel intala sig att hon är styrd av yttre omständigheter.

Debatten om AI

I AI-debatten tar detta formen av påståenden som att ”utvecklingen är oundviklig”, att ”marknaden kräver det” eller att ”någon annan bär ansvaret”.

När vi accepterar dessa förklaringar reducerar vi oss själva till kuggar i ett maskineri i stället för att göra oss till fria subjekt.

Idén om att vi alltid kan ”dra ur kontakten” om något går fel är ett annat exempel på ond tro. Den fungerar som en lugnande berättelse som tillåter fortsatt utveckling utan djupare etisk reflektion. Russell avfärdar denna idé som orealistisk och livsfarlig i en global konkurrensdriven teknologisk miljö.

I Sartres termer innebär tron på en sådan nödbroms att vi vägrar erkänna att valet redan är gjort, att vi genom att fortsätta utveckla kraftfull AI redan har tagit ställning till framtiden.

Här finns en beröringspunkt med Albert Camus och hans idé om det absurda. Människan strävar efter kontroll och mening i en värld som inte erbjuder några garantier.

AI förstärker denna absurditet. Vi skapar system i hopp om ordning och effektivitet samtidigt som vi riskerar att förlora överblicken.

Skillnaden mellan resignation och ansvar blir avgörande.

För Camus var svaret inte uppgivenhet utan revolt, att med öppna ögon fortsätta agera, göra aktiva val, trots osäkerheten.

Knyter an till existentialismens kärna

Så när Russell under samtalet sänker rösten och betonar att framtiden fortfarande är öppen anknyter han tydligt, medvetet eller omedvetet, till existentialismens kärna.

Att bryta med ond tro innebär att erkänna att även passivitet är ett val. Varje utebliven reglering, varje beslut att prioritera snabb utveckling framför säkerhet, är ett uttryck för mänsklig vilja.

Vi kan inte längre gömma oss bakom tekniken utan måste också ta individuellt ansvar och stå för det vi är en del av och är med om att skapa.

Att det sedan finns skillnader i ansvar utifrån makt och att kampen bäst organiseras i gemensam form, är en annan fråga.

Sammanfattningsvis är det här avsnittet av The Diary of a CEO ett samtal som mest av allt bjuder in till existentiella reflektioner.

Det uppmanar lyssnaren att fråga sig om vi möter AI-utvecklingen i ond tro eller med den ansvarstagande frihet som Sartre förespråkar.

Den stora frågan är kanske inte om AI kommer att förändra världen utan om vi är beredda att erkänna att det är vi, genom våra val, som avgör hur framtiden kommer att se ut.

The post AI – Är vi beredda att ta ansvar för utvecklingen? first appeared on Opulens.

VAL. “Vi har ett val”, skriver Crister Enander efter en mörk och plågsam natt. Han framhåller att vi måste vårda våra val:  “Där finns vår frihet — vår fria vilja, om man så vill. Och framför allt: Våra möjligheter att påverka och förändra.”

[DISPLAY_ULTIMATE_PLUS]

Gryningen kommer äntligen efter denna ovanligt vidriga natt. Snart, mycket snart tror jag, tar sig solen upp och häver sig över horisonten och börjar jaga de lägst belägna av stadens taknockar. Mörkret håller på att skingras.

Plågorna har varit dubbla. Smärta och hemsökelser, förvridna demoner, moraliskt förslappade och förtappade varelser ur ett dammigt förflutet har dansat en makaber dans bland bokhyllor och vissna manusbuntar. Deras röster har varit torra och hesa och plågade av alla år som hunnit passera utan att en enda levande själ ägnat dem minsta uppmärksamhet eller intresse.

Äger åren som gått, som tryckts ner i glömskans säck, en särskild och stickande doft? Kanske rentav en förflutenhetens egen stank av ohejdbar förruttnelse?

Egentligen tror jag inte det.

När plågorna sätter in, när muskler och senor liksom vrider och vänder sig och skelettet värker som vore benen i stället som glödgade spett, då förvrids och förstörs, ja deformeras även minnesbilderna — om än bara tillfälligt. Händelser som sedan lång tid har glömts bort uppträder i ny form, i en annars främmande och nog så skrämmande skepnad. De liknar mest av allt ett förvridet kostymdrama skrivet av en förryckt själ, som satts på fästning för dårar — till skydd för sig själva och andra.

Och det ska man alltså uthärda, och helst utan att klaga.

När de egna tankarna så att säga vänder sig emot en, när de tycks göra allt de mäktar med för att bli ens svurna fiender, måste man mobilisera det tunga artilleriet. Jag plockar denna marterade natt fram en hög med böcker av Jean-Paul Sartre och Simone de Beauvoir. Volym efter volym, de flesta har följt mig sedan länge, vissa av dem i över fyrtio år.

Understrykningar, anteckningar i marginalen, hastigt nedkastade reflektioner på de en gång vita sidorna längst bak i de numera tummade volymerna.

Det går aldrig att stiga ner i samma flod två gånger, hävdade den försokratiske filosofen Herakleitos. Insikten — ja, denna sanning — hindrar nog ingen från att försöka. Det tycks finnas en kraftfull lockelse i tanken att åtminstone någon gång kunna återuppleva och ännu en gång erövra känslolägen och tankar som en gång fyllt oss med mening, med glädje eller enbart ett mäktigt svall av starka upplevelser. Detta gäller utan tvekan även intellektuella erfarenheter, ögonblick då världen framträtt tydligare, i klarare dager och med skarpare konturer. Då när världen äntligen hängde samman.

Klarsyn är lockande. Den kan i många fall även skänka en känsla av hugsvalelse.

Värken är svår. Benet dunkar av smärtor, ända nerifrån hälen upp till baksidan av låret. Dibbukarna hånflinar och hoppar i hörnen. Maran, däremot, har tack och lov somnat eller helt enkelt gett sig av för att hemsöka och grymt rida någon annan stackars ensam själ. Och tankarna tycks dra och vasst spreta åt alla håll — såväl otänkbara som mer begripliga. Jag längtar så här i nattens sista timme efter koncentration och kraft i reflektionerna.

På många sätt förmår Jean-Paul Sartre och Simone de Beauvoir att skänka just den klarhet som enbart intellektuell skärpa förmår. I grunden handlar det mer om tillvägagångssättet än de eventuella sanningar de formulerade och förmedlade.

När natten förvandlas och liksom förvrids till en plåga, då varje enskild timme framstår som en hård prövning, är det en sällsynt lisa för en sargad själ att kunna återvända till och få förnyad näring av de resonemang som tidigare i livet framstått som på djupet präglade av tankemässig redbarhet och lugn logik. Strävan efter skarpast tänkbara stringens kan ofta förmå att återföra det mest oroliga och lättrörliga sinne till en mer sansad fattning. Tankereda kan nog inte — och bör inte heller — underskattas.

Det handlar inte minst om att återfinna sin plats bland de levande.

Eller med andra ord, formuleringar som enbart framstår som avgörande och fulla med innebörd under dessa sällsynta nätter av förryckta och förvildade irrbloss: Att återupprätta förtroendet för förnuftet och att återskapa ett begripligt sammanhang, en plats som ger utrymme för ett annat sätt att foga tankeskärvorna till ett begripligt mönster.

I oss alla är en levande mångfald. Ingen är endimensionell, och det oavsett hur envetet många försöker undertrycka och förneka sin egen — och ofta motsägelsefulla — mångsidighet. Min sena natt, denna långa natt som nu äntligen tycks lida mot sitt slut, är tacksamt nog allt annat än typisk eller vanligt förekommande. Ändå går de inte att undvika. De anfaller och övermannar sinnet med viss regelbundenhet.

“Att vara fri”, skriver Jean-Paul Sartre i den självbiografiska romanen Mogen ålder. “Att vara sin egen orsak, att kunna säga: jag är därför att jag vill det; att vara sin egen begynnelse.” Denna bärande ståndpunkt i existentialismen är knappast möjlig. Den är och förblir ett ideal. Ändå har vi ett val. Och valen måste vi vårda. Där finns vår frihet — vår fria vilja, om man så vill. Och framför allt: Våra möjligheter att påverka och förändra.

Himlen blir ljusare. Blyertsgrå stråk skönjs i svärtan. Gryningen är snart här. Denna fasornas svåra natt är över vilket ögonblick som helst. Inom kort skingras svårmod och anfäktelser. Livet och vardagen tar åter vid och nattens känsla av kaos och förstämning jagas på flykten.

The post Ord när mörkret skingras first appeared on Opulens.