Ingen har nog de senaste åren kunnat undgå debatten kring AI, med nya populära fenomen som generativ AI och chattbotar.¹ Tekniken verkar magisk – du kan nu skriva in instruktioner i en chattruta och få avancerad respons inom några sekunder. Bakom dessa AI-tjänster finns ett stort, osynligt maskineri av datacenter, människor och tekniska processer.

Generativa AI-tjänster som ChatGPT och Claude kräver inte bara fysiska resurser utan också digitala sådana, i form av enorma mängder data. Stora samlingar med hemsidor, böcker, tidskrifter, konstverk och fotografier samlas in och matas in i maskinen för att skapa ett underlag till ”inlärning”, inlärning som ligger till grund för de svar vi får tillbaka när vi till exempel ställer en fråga till chattbotar.

Så kallade AI-botar ligger idag bakom en stor del av aktiviteten på internet, både på det internet som vi människor interagerar med via hemsidor och sociala medier, och på internets dolda baksidor. Så kallad dataskrapning har idag blivit ett allt större problem för webbsidor och administratörer. Dataskrapning kan ha flera syften och mål: att samla in data till företag som handlar med data och personuppgifter, att bygga upp databaser med information, och att skapa datasamlingar för att skapa AI-tjänster. Tendensen har accelererat på senare år då dataskrapning i allt större grad automatiserats och utförs av AI-botar.

AI-skrapning och minnesinstitutioner

Att automatiserad AI-skrapning kan medföra problem har många bibliotek, arkiv och museer redan erfarit. Storskalig och återkommande dataskrapning kan nämligen skapa problem för de hemsidor och tjänster som utsätts för den, eftersom fenomenet leder till mer aktivitet och mer omfattande trafik än vad tjänsterna ursprungligen varit utformade att hantera. Resultatet blir databaser, tjänster och hemsidor som fungerar dåligt, som ofta kraschar och som riskerar att nere.

I juni 2025 rapporterades det att 39 av 43 respondenter i en undersökning om dataskrapning bland minnesinstitutioner hade varit med om en ökning av trafik till deras tjänster. Många av dessa kände inte till ökningen av trafik förrän tjänsterna kraschade. Det rörde sig i den undersökningen om institutioner som har som syfte att tjäna allmänhet och forskning och nästan hälften av respondenterna uppgav att problemen misstänktes bero på ökad botaktivitet.

Liknande problem rapporterades i mars av användare av Bodleianska biblioteket vid Oxford, som vittnat om att samlingen för medeltida manuskript länge har legat nere eller varit svår att nå. Oxforduniversitetets Richard Ovenden kommenterar problemet på Bluesky:

– Det är en effekt av massiv bokaktivitet, med storskalig nerladdning som våra infrastrukturer har problem att möta. Vi har sett liknande saker över alla våra metadataresurser de senaste månaderna.

Vittnesmål om liknande problem har dykt upp även på andra lärosäten. Enligt en tidigare forskare på Cambridge fick lärosätet problem när man laddade upp 300 000 nya bilder av judiska manuskript, vilket omedelbart fick negativa effekter för det digitala bibliotekets hemsida då materialet dataskrapades av AI-botar.

1. ”-bot”, förkortning av ”robot”, betecknar automatiserade program såsom chattbotar och digitala assistenter. ↩︎