Mänskliga öar i cyberrymden: Om Joseph Weizenbaum

1966 släpptes en cybernetisk nyhet som med åren har blivit ikonisk. Det var året då datorforskaren Joseph Weizenbaum utkom med sin artikel ”ELIZA—a computer program for the study of natural language communication between man and machine”¹ – med vilken datorprogrammet ELIZA presenterades för en bredare allmänhet och gjordes till något av en kändis. Och det är främst datorprogrammet, inte forskningsartikeln, som har gått till historien.

ELIZA, även känd som DOCTOR eller Doctor, var ett datorprogram för behandling av naturligt språk, närmare bestämt ett chattprogram för simulering av mänskliga samtal. I våra dagar, då chattbotar blivit vardagliga företeelser genom avancerade språkmodeller som ChatGPT eller Claude, är företeelsen kanske inte något värt att höja ögonbrynen för. Särskilt inte ELIZA, som med våra mått mätt kan se primitiv, oflexibel och dysfunktionell ut. Men så upplevdes det sannerligen inte på sin tid, och det är inte heller så som programmet har blivit ihågkommet.

Weizenbaum inspirerades i skapandet av sitt datorprogram av psykoterapeuten Carl Rogers personcentrerade terapi, och byggde således ELIZA efter en terapeutisk modell. ELIZA byggde på mönsterigenkänning och spegling för att inge upplevelsen av att programmet och maskinen kunde föra en konversation eller till och med förstå människan i andra änden. Programmet svarade på inmatning och ställde enkla motfrågor, frågor som enligt den terapeutiska modellen är avsedd att hjälpa patienten att själv nå insikt, och som i ELIZA:s fall lät användaren hålla en konversation och kanske skapa en illusion av anknytning.

Konversationerna med ELIZA följer alla ett liknande schema, baserat på hur programmet är konstruerat att fungera. Weizenbaum inkluderar ett typiskt exempel i sin artikel från 1966:

Patient: Men are all alike.
ELIZA: In what way?
Patient: They’re always bugging us about sometine or other.
ELIZA: Can you think of a specfic example?
Patient: Well, my boyfriend made me come here.
ELIZA: Your boyfriend made you come here
Patient: He says I’m depressed much of the time.
ELIZA: I’m sorry to hear you are depressed.
Patient: It’s true. I am unhappy.
ELIZA: Do you think coming here will help you not to be unhappy?

Som exemplet visar har konversationerna formen av ett terapeutiskt möte, och ”patientens” påståenden upprepas genom följdfrågor som ger intrycket av att det sker ett meningsfullt utbyte parterna emellan. När jag själv provar en modern emulering av programmet beter det sig på liknande sätt som 1966:²

ELIZA: Hi! I’m Eliza. What’s your problem?
Jag: I have a headache.
ELIZA: Say, do you have any psychological problems?
Jag: Sometimes I feel sad.
ELIZA: Tell me more about such feelings.³

De mest populära berättelserna om ELIZA handlar inte om de tekniska förutsättningarna, eller ens om datorprogrammet och koden bakom det, utan om reaktionerna på programmet. Weizenbaum berättade ofta om personer av alla slag, med akademisk och terapeutisk skolning, som tycks ha blivit fångade av maskinens intellektuella illusion. Även i de fall då användarna kände till att de konverserade med en maskin – eller en ”chatterbot”, som det kom att kallas – kunde oväntade känslomässiga reaktioner uppstå. Personer som använde ELIZA talade om programmet ”som om det vore en person”, något Weizenbaum var förbryllad över.

I en berömd scen ur denna berättelse går Weizenbaum in i rummet samtidigt som hans sekreterare satt inbegripen i ett samtal med ELIZA – eller Doctor – och att sekreteraren då hade ombett Weizenbaum att lämna rummet. ”Det var uppenbart att jag avbrutit hennes session … Det var som om jag stört henne i ett intimt ögonblick.” Han hade först svårt att förstå denna typ av reaktioner, särskilt när de kom från personer som hans egen sekreterare, som ju hade varit med under processen att bygga ELIZA och som kände till de mekanismer, strukturer och tekniker som låg bakom svaren som maskinen gav.

Weizenbaum var noga med att understryka att datorn över huvud taget inte förstod vad som sades i konversationen, samtidigt som användarna kunde vara övertygade om motsatsen. Denna pedagogiska svårighet tycks också ha varit en av de saker som gjort ELIZA till ett verkligt historiskt stycke teknologi. Olika motiv har framkommit i olika sammanhang; ibland har det talats om att Weizenbaum i själva verket skapade ELIZA för att peka på absurditeten i den upplevt simpla och grunda rogerianska psykoterapin. Men oftare talade Weizenbaum om ELIZA som en sorts sedelärande teknik. I slutändan handlade det om att visa hur enkelt det är att skapa och underhålla illusionen om att bli förstådd. En illusion som han menade inte bara var teknologisk, utan som också påverkar oss i våra mellanmänskliga relationer. Går det i själva verket alls att bli förstådd av en annan människa, och går det till fullo förstå andra människors tankar, känslor och motiv?

---

Islands in the Cyberstream: Seeking Havens of Reason in a Programmed Society är en vacker intervjuessä ursprungligen publicerad bara två år före Joseph Weizenbaums bortgång 2008. Han hade då en lång karriär som forskare och professor bakom sig, på stora teknikbolag och på lärosäten som Massachusetts Institute of Technology (MIT).

Weizenbaum växte upp i ett tyskt judiskt hem i Berlin och gick i judisk pojkskola, men emigrerade vid tretton års ålder 1936 till USA tillsammans med sin familj. Att hans far tog det lycksaliga beslutet att så pass tidigt fly Tyskland beskrivs av Weizenbaum som ett mysterium. Kanske hade fadern nåts av tips av något slag? Eller så kunde det ha att göra med en händelse förgående år då fadern utsatts för utpressning av en oidentifierad SA-man. Hur som helst hamnade familjen i Detroit, i en miljö som liksom hemlandet präglades av antisemitism och hot. 

Men att vara annorlunda var inte vara ett problem, utan kom att bli en av hans styrkor – och kanske en av de saker som grundlade hans djupgående humanism även inom det teknologiska fältet. Han uppvisade tidigt en talang för matematik och kom att tjänstgöra som meteorolog i det US-amerikanska flygvapnet under andra världskriget – kryptologi, som ansågs alltför militärt känsligt, var stängt för honom på grund av hans tyska härkomst.

Senare i livet gjorde Weizenbaum sig känd som något av en kritiker av teknologin, även om han själv inte skulle skriva under på den beskrivningen. För honom är teknologin en social fråga, och när han kritiserar teknikens användning inom olika områden är det inte främst tekniken i sig han kritiserar, utan dess bruk och sociala funktion – frågor som han aldrig var rädd att diskutera. För går det över huvud taget att separera tekniken från den sociala världen? Weizenbaum skulle nog svara absolut nej på den frågan. För honom handlar den teknologiska kritiken kort och gott om social kritik.

Weizenbaum gjorde sig känd för en bredare publik med boken Computer Power and Human Reason (1976), en numera närmast kultförklarad bok, som på sin tid rörde upp debatt bland kollegor och akademiker inom datorvetenskap. I Computer Power and Human Reason formuleras den kritik som också återkommer i Islands in the Cyberstream: Datorvetenskapen kan inte enbart ses som en fråga om framsteg och teknologisk utveckling , den måste också utsättas för kritik och självkritik. Inte minst artificiell intelligens är en fråga som Weizenbaum tidigt rannsakade. Den som vill skriva en kort sammanfattning av hans filosofi skulle nog fokusera på han vädjan att inte låta AI ta viktiga beslut i människans ställe – eftersom AI alltid kommer sakna grundläggande mänskliga egenskaper såsom empati, vilka måste vara vägledande i beslutsprocesser.

I den kortade och framförallt mer tillgängliga Islands in the Cyberstream framkommer en avsevärt mer genomgripande kritik, och i viss mån avståndstagande från teknikens och vetenskapens roll i samhället. Weizenbaum upprepar själv sin kritik genom den tyska erfarenheten, och påminner oss om att forskares arbete användes för att anfalla grannar och genomföra folkmord – men att forskarna själva frånsade sig allt ansvar över hur deras forskning användes. Och forskarvärlden, även den datorvetenskap han själv var verksam inom, är än idag djupt involverad i krigsteknologier, förföljelser och massmord.

Weizenbaum tar som exempel forskningen som bedrevs på MIT och hur den användes för att bygga vapensystem till kriget i Vietnam. USA:s krig i Vietnam var en ny typ av krig, där tekniker alltifrån helikoptrar och datorer fick helt nya roller. Datorer började nu användas till att bearbeta data, identifiera måltavlor och effektivisera bombkriget mot Vietnam. Det är erfarenheter som ekar ända till våra dagar, då AI-system används för att automatisera bombkrigen i Libanon och Iran, och där datortekniken har givit upphov till en ny typ av AI-drivna folkmord, som i fallet med Gaza och israeliska system som The Gospel och Lavender – som inte bara identifierar måltavlor utan också genererar dem baserat på metadata och sannolikhetskalkyler.

När Weizenbaum talar om brutaliteten som är inbyggd i tekniken är det utifrån erfarenheterna av US-amerikanska anfallskrig han talar. ”I vårt samhälle är datorn först och främst ett instrument som används för militära ändamål”, säger han och jämför datorn med ett vapen: de är inte värdeneutrala tekniker eller verktyg, utan kommer i sin nuvarande form alltid brukas för militära ändamål. Varje teknologisk framgång för också med sig nya militära applikationer. Som exempel tar han tekniker för att lära maskiner att se och tolka sin omvärld, tekniker som omedelbart fångas upp och appliceras militär för robotkrigföring och autonoma vapensystem.

Betyder det att datorn jag skriver detta på, och den som du läser denna text genom, därmed också är att anse vara ett vapen? I sin mest tillspetsade form låter det kanske absurt. Men satt i sitt sammanhang kan frågan ses i ett annat ljus. Enheten du läser detta på har mest troligt inbyggda algoritmiska funktioner som direkt eller indirekt ger den generativa egenskaper. Om du använder tjänster som Claude, Gemini. ChatGPT eller Microsoft Copilot är din enhet också uppkopplad mot datacenter i Europa och USA, AI-datacenter som inte endast bearbetar gårdagens mötesprotokoll utan också används för att generera måltavlor för robotattacker och flygbombningar. Om ditt arbetsverktyg använder någon av dessa tjänster så är det redan idag insyltat i samma teknologier som massövervakningsföretaget Palantir använder för att möjliggöra förföljelser av minoriteter och flyktingar. Sett ur det här perspektivet, är det då lika enkelt att vifta bort Weizenbaums kritik mot datorernas roll i krigsmaskinen?

Gunna Wendt har med Islands in the Cyberstream gjort ett storslaget arbete med att introducera och tillgängliggöra Weizenbaums teknologiska och sociala filosofi för världen. Alla perspektiv som den erbjuder är inte lika tillspetsade som frågan om datorernas roll i krigföringen. Intervjuerna erbjuder genom den sociala kritiken även alternativ och andra sätt att tänka, både kring teknologin och de begrepp som omger tekniken och samhället. Och inte minst kan boken läsas som en uppmaning att bevara vår mänsklighet: ”Vi människor kan förstå varandra eftersom de flesta av de konversationer vi har på något sätt berör eller utgår ifrån erfarenheter vi delar just för att vi är människor.” Ett perspektiv som är nödvändigt att ha med sig i mötet med tekniken. Islands in the Cyberstream bör läsas inte bara av biblioteks- eller informationsarbetare, programmerare och technördar, utan av alla som i arbete eller vardag kommer i nära kontakt med datorer, AI och vår tids teknologiska behemoter. Läs den och använd Weizenbaums tankar som en sorts humanistiskt självförsvar. Nästa gång du tänker saker som ”den här AI-tjänsten är faktiskt rätt så användbar” – fråga dig då även om just den här tekniken verkligen är värt det, och fundera över vilka våra alternativ faktiskt är.