PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : htaccess: Bots dauerhaft aussperren



berny
27.10.2010, 11:36
um in einer Htaccess Suchbots dauerhaft auszzusperren ist folgender Eintrag hilfreich:



#Liste der Bots definieren
SetEnvIfNoCase user-Agent “^ShopWiki” stopbot
SetEnvIfNoCase user-Agent “^Bot-Name” stopbot
#Liste der Bots ende


#Bots anhand der Liste aussperren
<Files *>
Order Allow,Deny
Allow from all
Deny from env=stopbot
</Files>
#Ende der Sperrfunktion


Somit werden Bots, die mit den in den obigen Zeilen gelisteten Zeichen beginnen, ausgesperrt.
Diese Liste kann man einfach erweitern:
Neue Zeile, dort genau nach dem oberen Muste einen neuen Botnamen einfügen, fertig.

Melendi
15.12.2014, 09:53
Danke für diese Anleitung!

Eine Frage hätte ich noch dazu - und zwar... wo bekomme ich denn eine Liste von Bots her, die ich aussperren sollte? Und warum genau sollte man die Bots aussperren? Unnötiger Traffic?

KlausK
16.12.2014, 00:53
Es gibt eine Menge Bots die nichts anderes machen wie z.B. deinen Content zu kopieren.
Deine eigenen selbst geschriebenen Texte findest du plötzlich auf fremden Seiten wieder.
Google straft dich dann vielleicht sogar ab.
Viele Bots erzeugen auch eine unerwünscht hohe Serverlast, weil die DB exessiv abgefragt wird.

Entsprechend Listen gibt es millionenfach im Internet.
Google mal "bad bot list" oder ähnliches.

Man sollte natürlich nicht einfach wahllos irgendwelche Listen zur Hand nehmen.
Du solltest schon genau wissen welchen Bot du aussperren möchtest.

Es gibt aber auch einige Projekte, die sich genau diesem Problem annehmen.
Schau dir hierzu mal bot-trap.de (http://www.bot-trap.de) an

Melendi
29.12.2014, 11:04
Danke für deine Antwort - das hilft mir auf jeden Fall weiter. Hätte nicht gedacht, dass es tatsächlich Leute gibt, die solche Listen zusammenstellen und veröffentlichen und das auch noch ehrenamtlich. Finde ich super!