Att AI-botar skrapar webbinnehåll för att träna modeller och servera svar till sina användare har blivit vardag. Men vad får de betala till publicister och mediabolag? Hittills: ingenting.
Nu presenterar Cloudflare sin lösning på problemet, Pay Per Crawl. Det är en lösning som gör att innehållsskapare kan få betalt av AI crawlers och det visar hur teknik kan erbjuda snabbare lösningar än lagstiftning. Cloudflare öppnar upp för en ny modell, en dörr som varken står på vid gavel eller är låst – utan en som kräver betalt av AI crawlers. AI-boter har hittills skrapat webben gratis men ny teknik kan förändra internets ekonomi.
Kortfattad summering
- Cloudflare lanserar ”Pay Per Crawl” i privat beta
- AI-crawlers kan nu bemötas med betalvägg, inte bara block eller fri passage
- Publicister sätter själva pris per förfrågan
- Tekniken använder etablerade HTTP-standarder
- Öppnar för framtida agentbaserade intäktsmodeller
Pay Per Crawl är en efterlängtad lösning
För bloggare, nyhetssajter och alla med innehåll online har AI-boomen inneburit ett dilemma. Ska man välja att blockera AI helt, eller bjuda på allt? Ett mellanläget har saknats.
Det har dessutom varit snudd på omöjligt att få betalt av AI bolagen. De enda som har varit lyckligt lottade nog är mediabolag likt Financial Times, som har varit stora nog att ingå avtal direkt med AI bolagen.
Cloudflares ”Pay Per Crawl” kan faktiskt komma att ändra på det. Med hjälp av Cloudflares lösning kan mediabolag begära kompensation från AI-aktörer som vill ha tillgång till deras material. Cloudflares nya ”Pay Per Crawl”-tjänst är inte bara en betalvägg för AI-botar – det är första steget mot en helt ny internetekonomi där botar tvingas betala för sitt innehåll.
Och det kräver inte nya plugins eller API:er. Det bygger på webben själv.
Smart teknik i bakgrunden, enkelhet i praktiken
Cloudflare har dammat av den gammal statuskoden HTTP 402 som betyder ”Payment Required”. Den har funnits i decennier, men den praktiska användningen har varit minst sagt begränsad. Men det verkar som att det kommer att ändras framöver.
Tänk dig att en AI-crawler vill hämta innehåll från din webbsajt. Med ”Pay Per Crawl” kan servern svara: ”visst, men det kostar 0,02 dollar”.
Om boten godkänner priset skickas innehållet, annars nekas tillgång. Allt sker automatiskt, direkt via serverns svarskoder.
Du som publicist behöver inte ändra din sajt. Du ställer bara in vad som ska gälla för olika typer av AI-besökare via Cloudflares kontrollpanel:
- Vissa får komma in gratis (t.ex. partners)
- Vissa måste betala
- Andra blockeras helt
Så hur fungerar det rent administrativt? Jo, Cloudflare fungerar som mellanhand och hanterar fakturering, betalningar och rapportering.
Det gör det lätt för små aktörer att få betalt, utan att förhandla manuellt med AI-jättar såsom Perplexity. På många sätt påminner det om hur webbläsaren Brave är tänkt att fungera.
Där kan användare välja att donera mikrosummor till sajter de besöker via Brave Rewards. Skillnaden här är att det inte är en människa som donerar, utan en AI som betalar för att läsa ditt innehåll.
Små transaktioner, stor potential med Pay Per Crawl
Cloudflare beskriver sin nya tjänst som ett första steg mot ett system där AI inte bara läser innehåll, utan även fattar självständiga ekonomiska beslut. Tänk dig en AI-agent från Google AI Mode som letar efter relevanta källor för att svara på frågor eller träna en modell. Den kan ha en budget att röra sig med, och välja att betala för det bästa innehållet.
Mikrobetalningar blir då en motor för rättvis tillgång. Precis som Brave Rewards för läsvärt innehåll, kan AI-världen börja premiera kvalitetskällor.
Skillnaden? Den ”läsaren” är inte en människa, utan en intelligent agent.
Det här har potentialen att göra så att mediabolag och journalister kan fortsätta att producera högkvalitativt innehåll och få betalt för sitt arbete. Sidorna på en webbsajt har potential att skapa intäkter både från människor, men också från AI-bottarna och därigenom kan vi även i framtiden ha en innovativ webb.
Tre affärsmodeller som skapar nya möjligheter
1. Premium AI-innehåll
Webbsajter utvecklar specialiserat innehåll riktat mot AI-system. Strukturerad data, detaljerade analyser och unika insikter som är värda att betala för.
2. AI-tjänsteplattformar
Sajter som fungerar som marknadsplatser där AI-agenter kan köpa specifika tjänster – översättningar, analyser, sammanfattningar – automatiskt.
3. Hybridmodellen
Gratis för människor, betalt för AI. Läsare får tillgång som vanligt, medan maskiner betalar för samma innehåll.
Det här är inte ett bråsklipp mot AI – det är ett protokollförslag som skiftar balansen. Istället för att vänta på lagstiftning eller förhandlingskraft erbjuder Cloudflare ett tekniskt ramverk som ger publicister mer att säga till om. Detta paradigmskifte kommer snabbare än de flesta tror. Webbsajter som anpassar sig tidigt får en enorm konkurrensfördel. Frågan är inte längre om AI kommer börja betala för innehåll – utan när och hur mycket.
Det betyder inte att alla AI-bolag plötsligt kommer börja betala. Men det betyder att innehållsägare nu kan visa: ”Vi är inte emot att ni crawlar oss – men det har ett värde.”
Frågan du som har en hemsida måste ställa dig är – vilket värde ger den till mitt bolag? Ska jag tillåta fri skrapning av mitt innehåll för att maximera synligheten i AI-svar? Eller ska jag begära betalt? Börja fundera på din AI-strategi redan idag. Ska du maximera synligheten genom gratis tillgång, eller börja ta betalt för ditt värdefulla innehåll. ExpandTalk hjälper dig att utveckla en strategi för att behandla AI crawlers på ett sätt som maximera affärsnyttan. Kontakta oss idag för en konsultation.
Om författaren
Isak är en Digital growth strategist med en unik kombination av analytisk skärpa och inspirerande kreativitet. Med en kandidatexamen i statistik från Örebro universitet som grund, har han utvecklat en mångsidig karriär som spänner över content management, digital PR och affiliate marknadsföring.
Genom att kombinera sin kärlek för det skrivna ordet och sin förståelse för siffror har han skapat framgångsrika digitala PR-kampanjer som har resulterat i länkar från några av Sveriges och Norges högst ansedda medier. Kort sagt är han en skicklig strateg som kombinerar datadrivna insikter med kreativt tänkande för att driva tillväxt och synlighet.
