DuckDuckGo verwijdert piratensites en YouTube-DL uit de zoekresultaten
De privacy gerichte zoekmachine DuckDuckGo heeft de zoekresultaten voor veel populaire piratensites volledig verwijderd, waaronder The Pirate Bay, 1337x en Fmovies. Verschillende YouTube-ripservices zijn ook verdwenen en zelfs de startpagina van de open-source software youtube-mp3 is onvindbaar.
Gelanceerd in 2008, zoekmachine DuckDuckGo is een go-to service voor internetgebruikers die waarde hechten aan hun privacy.
In tegenstelling tot veel concurrenten houdt de site geen gegevens bij van de IP-adressen of andere gevoelige informatie van gebruikers.
In de afgelopen jaren viel de site ook op door schonere resultaten te retourneren dan concurrenten zoals Google, dat zijn algoritmen actief aanpast om piratensites te downranken. Op een gegeven moment wees Google gebruikers zelfs op DuckDuckGo toen ze zochten naar Pirate Bay-proxy's.
DuckduckGo vreest aansprakelijkheid
De op privacy gerichte zoekmachine is echter niet immuun voor mogelijke auteursrechtelijke problemen. Dit werd voor het eerst duidelijk toen het verschillende zoek snelkoppelingen naar 'piraten'-sites verwijderde. Deze "knallen", zoals ze worden genoemd, werden gezien als een potentiële aansprakelijkheid voor inbreuk op het auteursrecht.
"We zijn wereldwijd actief, net als bangs, en producten die actief de interactie met illegale inhoud vergemakkelijken, kunnen ervoor zorgen dat wij en onze werknemers een aanzienlijke wettelijke aansprakelijkheid krijgen en de hele service in gevaar brengen," legde Tagawa van DuckDuckBang uit.
DuckDuckGo verwijderde uiteindelijk ongeveer 2.000 knallen voor populaire sites zoals The Pirate Bay, 1337x en RARBG. De zoekmachine benadrukte destijds dat deze sites nog steeds in de zoekresultaten stonden. Daar lijkt nu echter verandering in te zijn gekomen.
Piratendomeinen zijn gedeïndexeerd
Toen we eerder vandaag wat onderzoek deden, merkten we dat verschillende populaire piratensites niet langer wereldwijd in de resultaten van DuckDuckGo verschenen. Aanvankelijk dachten we dat sommige populaire pagina's waren verwijderd na DMCA-verwijderingsmeldingen, maar er is duidelijk meer aan de hand dan dat.
Als u bijvoorbeeld zoekt naar "site:thepiratebay.org" moet dat alle resultaten opleveren die DuckDuckGo heeft geïndexeerd voor de hoofddomeinnaam van The Pirate Bay. In dit geval zijn er geen.
Het gebrek aan resultaten is niet gebonden aan een specifiek land en het handmatig rommelen met de regio-instellingen veranderde ook niets. Blijkbaar heeft DuckDuckgo gewoon alle thepiratebay.org URL's uit zijn index verwijderd.
Deze verwijdering van de hele site is ook niet beperkt tot The Pirate Bay. Wanneer we vergelijkbare zoekopdrachten uitvoeren naar 1337x.to, NYAA.se, Fmovies.to, Lookmovie.io en 123moviesfree.net, worden er geen resultaten weergegeven. Voor RarBG.to en Fitgirl-repacks krijgen we maar één resultaat, in plaats van de honderdduizenden die we op andere zoekmachines zien.
Het uitblijven van resultaten geldt niet alleen voor piratensites zelf. Zo zijn er geen resultaten voor de streamingportalen Flixtor en Primewire. Bovendien worden de bijbehorende statuspagina's, die alleen links naar de officiële domeinen bevatten, ook niet geïndexeerd.
Zelfs verschillende populaire stream-rippers zijn volledig uit de zoekresultaten gewist. Dat omvat 2conv.com, Flvto.bid en verschillende andere.
Youtube-dl Weg?
Verreweg de meest verrassende omissie is dat de officiële site voor de open-source software youtube-dl niet is geïndexeerd door DuckDuckGo. Deze site host of linkt zeker niet naar enig materiaal dat inbreuk maakt op het auteursrecht.
De youtube-dl code repository werd eerder verwijderd van GitHub, na een takedown notice verzonden door de RIAA. Na de zaak nader te hebben bekeken, herstelde Github het uiteindelijk.
We weten niet waarom de officiële youtube-dl.org website niet in de zoekresultaten van DuckDuckGo staat, maar de officiële GitHub-repository is in ieder geval nog steeds vindbaar.
Waarom?
TorrentFreak nam contact op met DuckDuckGo om te ontdekken waarom deze domeinnamen niet worden weergegeven in de zoekresultaten. Op het moment van publicatie hebben we nog niets gehoord. Het zou echter geen verrassing zijn als de verhuizing auteursrecht gerelateerd is.
Een paar maanden geleden begon Google ook met het verwijderen van piratensite domeinen uit zijn zoekresultaten. In het geval van Google zijn deze delistings echter regionaal en gekoppeld aan ISP-blokkeringsbevelen.
Het is de moeite waard om erop te wijzen dat veel piratensites nog steeds te vinden zijn in DuckDuckGo. De zoekmachine kan echter zeker enige transparantie bieden om te helpen ophelderen wat er precies gebeurt.
Rechthebbenden zullen blij zijn om te zien dat piratensites worden verwijderd van DuckDuckGo, maar het is niet zonder risico's voor gebruikers. Hoewel doorgewinterde piraten de sites in kwestie waarschijnlijk nog steeds kunnen vinden, zullen meer schaduwrijke knockoff-sites nu hoger in de zoekresultaten verschijnen.
Update 19 April 2022-DuckDuckGo 'herstelt' piratensites en wijst naar Bing als boosdoener
Vorige week merkten we dat verschillende spraakmakende "piraten" -sites onvindbaar waren in de zoekresultaten van DuckDuckGo. Het was niet duidelijk waarom deze domeinen waren 'verwijderd' maar na wat heen en weer geloop wordt Bing nu genoemd als boosdoener. DuckDuckGo werkt er hard aan om het probleem, dat wijdverspreider is dan we aanvankelijk meldden, te verminderen.
Het is geen geheim dat Google en Bing hun zoekresultaten aanpassen om auteursrechthebbenden tegemoet te komen.
Het was echter een verrassing om te zien dat piraten en aanverwante sites ook begonnen te verdwijnen van DuckDuckGo, zoals we vorige week meldden.
Uit een eerste beoordeling bleek dat de officiële domeinen voor sites zoals The Pirate Bay, Fmovies en YouTube-DL niet langer werden weergegeven. Dit bracht ons tot de conclusie dat ze om de een of andere reden waren verwijderd.
Niet verwijderd?
DuckDuckGo reageerde niet meteen op onze bevindingen, maar na twee dagen reageerde DuckDuckGo-oprichter en CEO Gabriel Weinberg op Twitter.
Volgens Weinberg heeft de zoekmachine nooit iets verwijderd. In plaats daarvan werden de problemen toegeschreven aan de zoekoperator "site:" die we als voorbeeld in ons artikel gebruikten. Blijkbaar is dat kapot.
"We 'zuiveren' YouTube-dl of The Pirate Bay niet en ze zijn allebei continu beschikbaar in onze resultaten als je ze op naam zoekt (wat de meeste mensen doen). Onze site: operator (die bijna niemand gebruikt) heeft problemen die we onderzoeken," schreef Weinberg.
Deze opmerkingen suggereren dat onze berichtgeving verkeerd was. Dat is echter niet het volledige plaatje, verre van dat.
Toen we ons artikel schreven, gebruikten we niet alleen de operator "site:". We hebben ook direct op trefwoorden gezocht, zonder dat de domeinnamen verschenen. Dit betekent dat de sites om een andere reden onvindbaar waren.
DuckDuckGo Restoral
Samenvallend met de tweets van de CEO van DuckDuckGo, begonnen verschillende van de domeinen die we in ons artikel vermeldden opnieuw in de zoekmachine te verschijnen. De Pirate Bay-startpagina verscheen opnieuw en hetzelfde geldt voor YouTube-DL en Fmovies, zelfs wanneer we de 'kapotte''site:'operator gebruiken.
Deze restorals ondersteunden de suggestie dat dit slechts een tijdelijk technisch probleem was. Het was echter niet moeilijk om andere voorbeelden te vinden van domeinen die nog steeds niet vindbaar waren.
Op zondag hebben we ons artikel bijgewerkt om eraan toe te voegen dat YTMP3.cc en Prostylex niet in de zoekresultaten werden weergegeven; een paar uur later doken ook deze weer op.
Terwijl we verbaasd waren over deze magische superkracht die ons in staat stelt om websites nieuw leven in te blazen door ze simpelweg te noemen, trok iemand anders aan de touwtjes. Achter de schermen werkte DuckDuckGo hard aan het herstellen van sites die in de media werden genoemd.
Het is Bing
Op dit punt werd duidelijk dat de zoekmachine helemaal niet blij was met wat er gebeurde. Ze hebben nooit actief een van deze sites verwijderd. In plaats daarvan 'verwijderde' een externe gegevensprovider de resultaten voor hen.
Net als veel andere kleinere zoekmachines gebruikt DuckDuckGo honderden gegevensbronnen, waaronder Bing. Na wat heen en weer gepraat liet de woordvoerder van DuckDuckGo ons weten dat de zoekmachine van Microsoft de boosdoener was.
"Ja, dit heeft te maken met het gebruik van gegevens van Bing," zei DuckDuckGo's Senior Communications Manager Allison Goodman.
Goodman vroeg ons ook om een lijst te delen met extra sites die getroffen waren, zodat ze deze konden bekijken. En inderdaad, een paar uur nadat we meer getroffen domeinen zoals 1fichier.com, 2embed.ru en torrentgalaxy.com hadden verzonden, werden deze ook hersteld.
Breder probleem
Het is begrijpelijk dat DuckDuckGo niet blij was met de berichtgeving. Het probleem was echter reëel. En omdat het afkomstig is van Bing, kunnen andere kleinere zoekmachines die op die gegevens vertrouwen ook worden beïnvloed.
"Omdat deze gebeurtenissen afkomstig zijn van Bing, werden ze doorgegeven aan onze resultaten, evenals andere Bing-syndicatiepartners," verduidelijkt Goodman.
Voor DuckDuckGo kan het lastig zijn om het probleem permanent op te lossen zolang het afhankelijk is van Bing. Afgezien van de mogelijke juridische implicaties van het actief herstellen van piratensites, zijn er tientallen, zo niet honderden andere domeinen die nog steeds onvindbaar zijn.
We zijn niet van plan om hierop te blijven hameren, maar op het moment van schrijven staat de immens populaire YouTube-ripper 320ytmp3.com niet in de zoekresultaten en het zelfde geldt voor de streamingdienst gimy.app.
Onnauwkeurige DMCA-verwijderingen?
Tijdens het onderzoeken van deze problemen, merkten we dat Bing DuckDuckGo ook op andere manieren beïnvloedt. Van wat we kunnen zien, lopen de DMCA-verwijderingen ook over, inclusief de onnauwkeurige.
Sommige nieuwsartikelen van TorrentFreak zijn bijvoorbeeld niet beschikbaar in Bing, vermoedelijk vanwege verwijderingsverzoeken. Dat geldt ook voor dit nieuwsbericht over een uitgelekte Game of Thrones-aflevering.
Een paar weken geleden vroeg Warner Bros. aan Google om dit artikel te verwijderen. Google weigerde dit te doen, maar het lijkt erop dat Bing hieraan heeft voldaan, omdat het artikel daar onvindbaar is. Wanneer we zoeken naar de titel of zelfs de URL, is deze er niet.
Hetzelfde geldt voor DuckDuckGo, waar het artikel niet wordt vermeld. In plaats daarvan is de tophit een kopie van onze berichtgeving. In de zoekresultaten van Google is ons nieuwsartikel het eerste resultaat, zoals verwacht.
Al met al willen we benadrukken dat deze problemen niet worden veroorzaakt door DuckDuckGo, dat hard heeft geprobeerd om het probleem te verminderen. De problemen zijn er echter wel en het is duidelijk meer dan een kapotte zoekfunctie.
Artikel vertaald met Microsoft Edge en gecorrigeerd
Door Gast
Aanbevolen reactie
Doe je mee?
Je kunt nu een bericht plaatsen en je later registeren. Als je al een account hebt, kun je je hier aanmelden.