c’t-Tipp der Woche: Crawler identifizieren, die robots.txt ignorieren

Mit einem kleinen PHP-Skript können Sie verfolgen, welche Crawler die Anweisungen auf Ihrer Webseite befolgen und welche nicht.

Quelle: Heise Tech News

Published by