AI. Nyligen varnade David Rönnegård här i Opulens för farorna med den skenande utvecklingen av AI. Nu skriver Olle Häggström, professor i matematisk statistik, om en klyfta bland AI-utvecklingens kritiker. Men betonar vikten av att hejda utvecklingen.
Tidigare debattinlägg om AI hittas här och alla texter i Opulens om artificiell intelligens finns här.
Möjligheter och risker med AI
AI-debatten angår oss alla, men kan lätt framstå som snårig och svåröverblickbar, faktiskt inte bara för den oinvigde utan även för oss som står mitt i den och deltar aktivt. En frestande förenkling kan vara att dela upp debattörerna i å ena sidan de som ser positivt på AI:s samhällskonsekvenser och vill påskynda utvecklingen, och å andra sidan de kritiker som mer ser till teknikens risker och önskar att vi går försiktigare fram.
Flera faktorer komplicerar dock denna bild. Mest uppenbart är det faktum att de flesta debattörer ser både möjligheter och risker med AI-utvecklingen, och därför inte entydigt förordar vare sig att vi trycker gasen i botten eller att vi ställer oss på bromspedalen, utan snarare betonar vikten av att styra rätt för att vi ska kunna dra maximal nytta av tekniken samtidigt som vi undviker dess avigsidor.
En klyfta bland AI-utvecklingens kritiker
Något mindre uppenbar, och därför mer förrädisk, är en oftast outtalad meningsmotsättning bland oss som främst lyfter AI-teknikens risker – jag räknar mig själv till den kategorin fastän jag givetvis också ser stora möjligheter för tekniken att, rätt använd och med rätt regleringar på samhällsnivå, bli till stor nytta såväl för enskilda användare som för samhället i stort. Klyftan handlar om huruvida man primärt ser AI-tekniken som riskabel för att AI är ointelligent, eller för att den är på väg att bli alltför intelligent. Så djup är ofta denna klyfta att det känns berättigat att tala om två läger.
I det första av dessa läger betonas sådant som hur AI-systemen uppvisar bias när de sätts att bedöma människor (det kan till exempel handla om vem som ska beviljas banklån eller vem som ska kallas till anställningsintervju), hur de hallucinerar eller hur de är på väg att utarma mänskligt språk. Ofta talas förklenande om stora språkmodeller som ChatGPT och Claude, med termer som ”stokastiska papegojor” eller ”glorifierad autocomplete”. Att AI-tekniken är stadd i hastig utveckling, och att framtida AI därför kan väntas bli mer kompetent än den nuvarande, tas sällan i beaktande av dessa debattörer.
I det andra lägret – som jag själv torde kunna räknas till – tar man de AI-utvecklingskurvor som de senaste åren börjat peka allt brantare uppåt på desto större allvar.
Vikten av att hantera de problem som det första lägret betonar förnekas inte, fastän en del av dem eventuellt kan ses som övergående i takt med att AI-systemen blir bättre, exempelvis på att undvika hallucinationer.
Samtidigt ser man i det andra lägret nya problem torna upp sig vid horisonten, såsom arbetsmarknadskonsekvenserna av hur AI:s förmågor kan väntas överträffa människans på allt fler områden. I förlängningen uppstår frågan om vad som händer då AI blir så kapabel att den kan utmana mänskligheten om världsherravälde, och om vad som krävs för att vi som art ens ska kunna överleva en sådan scenförändring.
Frågor av det slaget går tillbaka åtminstone till pionjärer som Alan Turing och Norbert Wiener kring mitten av 1900-talet, men kom sedan att under lång tid att ignoreras. Till stor del var detta en följd av en rädsla bland AI-forskare att ta ut framtida tekniska framsteg i förskott, men också av att scenarier där AI matchar eller överträffar mänsklig allmänintelligens framstod som tillhörande en mycket avlägsen framtid.
När farorna med AI avfärdas som spekulationer
I det jag här kallar det första lägret ignoreras frågorna fortfarande, trots att situationen i dag är en helt annan, av skäl jag strax ska återkomma till. Om sådana scenarier ens kommer upp till diskussion brukar dessa i det första lägret avfärdas som ”spekulationer” eller ”science fiction”. Att på detta svepande vis döma ut spekulationer vittnar om bristande insikt i att allt tal om framtiden med nödvändighet inbegriper ett mått av spekulation. Angående science fiction vill jag citera ur ett email jag nyligen skrev till en datalogiprofessor som hade kritiserat mig för att ägna mig åt sådant:
”Ditt intryck att mina resonemang verkar vara ’inspirerade av science fiction’ är i hög grad en följd av att det akademiska datalogiämnet genom årtiondena varit så mycket ovilligare än Hollywood att ta sig an den viktiga uppgiften att resonera kring vartåt AI-utvecklingen kan tänkas vara på väg […]. Att lasta mig för detta beklagliga missförhållande är dock helt missriktat, då det ju i själva verket är ditt och dina datalogikollegors fel att det blivit på detta vis.”
Hårda ord, förvisso, men jag står för dem.
Farorna med turbofeedback
En inflytelserik del av den diskurs som trots allt funnits om huruvida AI kan nå superintelligensnivåer, i betydelsen att de vida överträffar människan i alla relevanta kognitiva förmågor, är idén om så kallad rekursiv självförbättring. Den kan spåras tillbaka till matematiker som I J Good och Ray Solomonoff på 60- respektive 80-talet, och går ut på att den dag AI-utvecklingen inte längre primärt drivs av mänskliga AI-utvecklare av kött och blod, utan av AI självt, så uppstår ett slags turbofeedback som kan accelerera utvecklingen, eventuellt så kraftigt att det motiverar ord som singularitet och intelligensexplosion. Senare har forskare som Daniel Eth och Tom Davidson förfinat de matematiska modellerna och förankrat dem i empiriska data.
På väg mot en brytpunkt för AI
Vad allt fler insiders och oberoende experter i och kring Silicon Valley nu ser, är att vi med stormsteg verkar vara på väg mot den brytpunkt då turboeffekten kommer i gång på allvar. Ett av tecknen i den riktningen är att AI blivit så bra på programmering och mjukvaruutveckling att en betydande andel av kodningen vid ledande AI-företag som Anthropic och OpenAI nu görs av AI. Nyligen, den 5 juni, kom en rapport från Anthropic rubricerad When AI builds itself, som mer i detalj redovisar denna utveckling. Rapportförfattarna bedömer att brytpunkten kan komma inom några enstaka år, och betonar det riskabla i att sätta i gång en sådan AI-självförbättringsspiral i en värld som är så oförberedd på det som vår. De diskuterar också det önskvärda i att etablera strukturer som möjliggör att koordinera en inbromsning av utvecklingen. Bara tre dagar senare, den 8 juni, kom ett uttalande i samma anda från OpenAI.
Vad däremot varken Anthropic eller OpenAI säger i sina kungörelser är att vi snarast möjligt bör pausa utvecklingen mot superintelligent AI – tvärtemot vad nyhetsrubriker världen över (inklusive i Sverige) hävdat.
Om vi koncentrerar oss på Anthropic-rapporten så stannar den vid att ”det vore bra för världen att ha möjligheten att bromsa eller temporärt pausa utvecklingen av frontlinje-AI för att låta samhällsstrukturer och alignmentforskning hålla jämna steg med teknikens framsteg”.
Tanken att de själva skulle ta initiativet att unilateralt pausa avfärdar de explicit, och pekar på att det bara skulle göra världen ännu farligare genom att det skulle låta mindre säkerhetsmedvetna konkurrenter komma ifatt. De avser därför tills vidare trycka gasen i botten, och detsamma gäller OpenAI.
Nyhetsmediernas rapportering fallerar
Vad gäller nyhetsmedias rapportering om Anthropics rapport har den fallerat i fler avseenden än bara de sensationalistiska rubrikerna.
Som ett typexempel kan vi betrakta Svenska Dagbladets techreporter Björn Jeffrey som utnämner rapporten till ”Dagens ropa varg” med hänvisning till att Anthropic ”gjort liknande varningar vid flera andra tillfällen de senaste tre åren” – som om tre år vore en orimlig grad av framförhållning i varnandet för den brytpunkt som kan bli den mest avgörande någonsin i den mänskliga civilisationens historia.
Jeffrey menar naturligtvis att det bara handlar om ett billigt marknadsföringsknep från Anthropics sida, och om denna ståndpunkt är han långt ifrån ensam. Att Anthropic kan ha affärsmässiga eller andra strategiska motiv för hur de kommunicerar sina riskbedömningar går inte att utesluta. Men för att bedöma om varningarna bör tas på allvar behöver vi inte ens ta ställning till den frågan, eftersom kunskapen om vartåt AI-utvecklingen pekar är så utbredd i det kaliforniska AI-ekosystemet och annorstädes, och omfattas av en mängd oberoende bedömare och en och annan Nobelpristagare.
Vi är på intet vis beroende av just Anthropics ord för att dra slutsatsen att AI-utvecklingen inom några få år kan försätta oss i ett extremt farligt läge vad gäller mänsklighetens fortsatta välgång och överlevnad.
För att säkerställa att vi överlever äventyret med allt potentare AI ser jag det som nödvändigt att få stopp på den pågående vansinneskapplöpningen mot superintelligens mellan Anthropic, OpenAI och deras konkurrenter. Eftersom de inte verkar villiga att själva ta detta steg krävs ingripanden från lagstiftare och i förlängningen internationella överenskommelser. För att få det till stånd krävs i sin tur ett politiskt tryck och en mobilisering av den latenta AI-kritiska opinion som finns. Det är bland annat därför jag skriver texter som denna.
Men för att det ska lyckas behöver folk förstå vidden av hur illa det kan gå med AI. Ett hinder på vägen dit är den systematiska underskattning av AI:s förmågor som de jag ovan kallar det första lägret ägnar sig åt. Så hårt sitter de ofta fast i sitt tänkesätt att inte ens när en AI-modell offentliggörs vars farlighet så uppenbart ligger i dess höga kompetens och inte i någon inkompetens lyckas de avhålla sig från bagatellisering. Jag syftar här på Anthropics modell Claude Mythos Preview, som de vid lanseringen i april i år inte vågade släppa till allmänheten utan endast till ett litet antal betrodda cybersäkerhetsföretag, eftersom modellen var så övermänskligt skicklig på cyberhacking att den annars hade riskerat skapa kaos.
En kursändring krävs
Med sin förklenande retorik kring vad AI förmår i dag och vad den kan komma att utvecklas till försvårar det första lägret den folkupplysning och opinionsbildning som jag ser som avgörande för att få till en kursändring bort från den vansinnesfärd som nu pågår mot vad som mycket väl kan bli en fullskalig AI-apokalyps. På så vis spelar det första lägret de cyniska techmiljardärerna rakt i händerna, och för detta bär de ett tungt ansvar.
Situationen är extra olycklig med tanke på att de båda läger jag beskrivit trots allt har en hel del gemensamt. Företrädare på båda sidor är ofta starkt kritiska mot de ledande AI-bolagens agerande och förespråkar långtgående reglering. Jag har tidigare argumenterat för att de därför borde kunna bilda gemensam front mot den skrupelfria Silicon Valley-eliten och de bekymmersfria AI-accelerationisterna. Men ju mer jag reflekterat över frågan, desto mer har jag kommit att tvivla på hur realistisk en sådan allians är.
Skillnaderna i synen på AI:s natur och framtid är djupgående, och det kan vara svårt att samarbeta när man i grunden är oense om huruvida AI:s största problem är att den är för dum eller att den håller på att bli för smart.
Läget hade varit annorlunda om det första lägret haft övertygande argument för sin syn på AI:s begränsningar nu och i framtiden, men så är dessvärre inte fallet. Det allra vanligaste är att de inte presenterar några argument alls, men när de väl gör det handlar det som regel om att AI i grund och botten är uppbyggd av enkla och själlösa matematiska operationer. Idén att ett system av enkla komponenter inte kan uppvisa intelligens eller andra intressanta emergenta egenskaper är dock ett felslut, och det enklaste sättet att inse det är att betrakta exemplet med den mänskliga hjärnan, vilken ju blott består av atomer och elementarpartiklar som mekaniskt far omkring och krockar med varandra.
Hellre hejda AI för tidigt än för sent
Den mänskliga hjärnan utgör alltså ett existensbevis för att intelligens kan uppstå ur en sammansättning av enkla och var för sig helt själlösa komponenter. Med den som inspirationskälla är vi i rasande fart på väg att bygga en ny typ av intelligenta entiteter. Till slut kan dessa bli oss så överlägsna att vi förlorar kontrollen, så det gäller att vi hejdar oss innan vi når den punkt då ingen återvändo längre finns. Men när? Optimalt, skulle teknikoptimisten kanske hävda, vore att göra det just före punkten då utvecklingen inte längre går att stoppa.
De stora osäkerheterna när vi rör oss i den nya teknikens okända farvatten gör emellertid att vi inte kan identifiera denna punkt, så realistiskt sett kommer vi därför att hejda oss för tidigt eller för sent. Hellre för tidigt än för sent, vill jag mena, och med tanke på hur långt in på den farliga vägen vi redan kommit föreslår jag att vi gör det snarast möjligt.
info@opulens.se
