“We zijn er bijna in geslaagd om een écht duidelijk gebruiksvoorbeeld voor Bitcoin te vinden,” grapt een commentator terwijl hij wijst op een verse toepassing van Bitcoin’s proof of work (PoW). En nee, het gaat niet om je digitale goud stashen – dit keer draait het om iets praktisch: het afweren van agressieve bots die het internet platschrapen,
Een duur probleem
En het is geen klein probleem. Een FOSS-project meldde dat een crawler in mei 2024 maar liefst 73 TB aan gezipte HTML-bestanden binnenharkte – waarvan 10 TB in één dag. Rekening? Ruim $5.000 aan bandbreedtekosten. Vroeger had je één IP die 100 pagina’s afstruinde, nu zijn het 100 IP’s die één pagina pakken. Het goede nieuws? Die bots komen vaak van Big Tech-servers zoals Amazon of Google Cloud. Je zou ze kunnen blokkeren, maar die techreuzen hebben IP’s als zandkorrels. Anubis, met z’n open-source proof of work-aanpak, lijkt een slimmer antwoord. Het is snel, gratis en dwingt bots tot een resource-slag die ze liever vermijden. Het project legt het als volgt uit:
“Anubis maakt gebruik van een multi-threaded proof of work-controle om ervoor te zorgen dat de browsers van gebruikers up-to-date zijn en moderne standaarden ondersteunen.”
Klinkt fancy, maar een slimme coder kan het waarschijnlijk omzeilen. Toch is dat niet het punt – het gaat erom de resource-honger van die botmodellen in te dammen. Nadeel? Het blokkeert ook zoekmachine-crawlers, waardoor je site niet geïndexeerd wordt. Maar hé, wie vertrouwt er nog op Google Search? “Dat is alleen nog goed voor je boodschappenlijstje,” sneert iemand. De zoekgigant lijkt verdwaald in z’n eigen bureaucratie – met een BBP-formaat van een klein land is dat misschien niet zo gek.
Terug naar de jaren 90?
Half grappend opperde iemand een terugkeer naar de jaren 90: pagina’s vol blauwe links om het web te indexeren. Maar botmodellen lijken de moderne oplossing om info te organiseren. Ze lopen alleen achter op verse data en leunen op zoekmachines voor het actuele spul. Dat zet OpenAI en Anthropic tegenover Google in een strijd om de zoekkroon. Of misschien komt er een open-source uitdager? Stel: je dropt een nieuwe pagina. Wie vertel je het? Voor mensen is er Twitter, voor bots Google. Maar waarom altijd Google? “We zijn er zo mee opgegroeid dat we niet eens nadenken over alternatieven,” zegt een insider.
Wat als je een decentrale server hebt waar uitgevers hun nieuwe pagina’s naartoe pingen? Geen Google nodig, data open voor iedereen. Het richt zich op serverbeheerders, niet op consumenten, maar juist die beheerders zijn te lang vergeten. Je hebt geen datacenter van een miljard nodig om een script te draaien dat de nieuwste URL’s checkt. Uitgevers wíllen vaak dat je hun spul vindt – dat is het verschil met die ‘volg-de-link’-scrapers.
Een nieuwe deal met bots
Misschien moeten we minder verbieden en meer organiseren. Voor up-to-date info zijn slimme protocollen het antwoord, maar bij zware modelcrawlers draait het om eigendomsrechten. “Niemand zou zeuren als we iets terugkregen voor dat gecrawl,” klinkt het. Nu voelt het alsof ze je vervangen zonder zelfs een klik. Toch is dat kortzichtig: deze bots creëren geen nieuwe werelden, ze archiveren wat wij maken. En met open-source modellen zoals Llama of Deepseek op je laptop ligt de macht weer bij ons.
Voor de eindgebruiker zijn het info-organisatoren op steroïden – maar check altijd de bron, want ze kletsen soms uit hun nek. Ze vervangen ons niet, ze maken het efficiënter. Het is een netto winst, mits je meegaat in de shift. Mensen creëren, bots verzamelen. Alleen moeten die bots stoppen met terabytes aan fouten maken. Grote spelers moeten dat compenseren, maar de echte fix? Een collectieve heruitvinding van hoe pagina’s praten – een open-source publisher-serverprotocol. Tot die tijd? Laat ze maar zweten met proof of work. De cryptowereld wijst de weg!
