Aktuelle .htaccess und robots.txt Blacklist für die eigene Internetseite

etu|hellfire

Enthusiast
Thread Starter
Mitglied seit
11.10.2006
Beiträge
975
Gibt es für die eigene Internetseite irgendwo eine aktuelle .htaccess und robots.txt Datei, die bereits zahlreiche unerwünschte Gäste (wie zum Beispiel WebsiteWiki) aussperrt, aber die am meisten genutzten Suchmaschinen (wie zum Beispiel Google) erlaubt?

Eine Blacklist, die am besten noch regelmäßig aktualisiert wird, um unerwünschten Bots, die die eigene Seite kopieren und irgendwo als Abbild wiedergeben oder nach E-Mail-Adressen scannen und dann Spam versenden, das Handwerk zu legen?

Konkret geht es mir um eine Liste mit auffälligen User-Agents, die ich schon präventiv aussperren kann. Eine Liste mit IP-Adressen ist dann noch weitaus länger und zum Beispiel hier zu bekommen.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh