Archivierung des Internets: Internet Archive ignoriert künftig robots.txt

Mit der Wayback Machine bietet das Internet Archive ein Archiv des Internets an. Das zeigt, wie Internetseiten früher aussahen. Immer öfter wird das aber durch Einträge in einer robotx.txt unterbunden. Deswegen steuert das Archiv nun gegen.

Quelle: Heise Tech News