Crawler: KI-Suchmaschine Perplexity soll Website-Sperren umgehen

Cloudflare wirft Perplexity vor, getarnte Crawler zu nutzen, um trotz expliziter robots.txt-Verbote an Inhalte zu gelangen. (KI, Chrome)
Quelle: Golem

Published by