Standard robot.txt für phpwcms?

[#Wumpscut#]

Hallo

ich habe meine seite auf grund von

http://www.seekport.de/seekbot/index.html

getestet alles im grünen bereich... jedoch hab ich gehört das meta tags eigentlich "veraltet & überflüssig sind"..

nun würde ich gerne eine robots.txt gestalten was weiterhin eigentlich nicht schwer ist jedoch würde ich gern wissen welche verzeichnisse ganz unbedacht "disallown" kann
bilder und text soll zu finden sein(mehr eigentlich nicht) jedoch will ich nich dass er mailadr. und config dateien durschüffelt..

gibt es eine art "gute standard phpwcms robot.txt"?

[marcus@localhorst]

der spider kann nur inhalte finden auf die auf der website verwiesen wird. er weiss garnicht, das du einen config ordner hast (z.B.), weil kein link darauf existiert.
im gegenteil, wenn du diesen ordner in der robots.txt ausschliesst, dann weiss ein neugieriger mensch (oder robots der robot.txt dateien auf ausgeschlossene ordner untersucht) das es einen ordner namens config gibt, in dem höchstwahrscheinlich interessante daten liegen.

meines erachtens reicht es eine normale robots.txt zu erstellen, ohne verzeichnisse auszuschliessen.
bitte berichtigt mich falls dies nicht stimmen sollte.

(es gab mal eine seite/bericht, da wurde anhand der robots.txt der regierungsseite von america dargestellt, wie sich "geheime" inhalte finden liessen)

grüße
marcus

ps: erstelle eine google sitemap, wenn du was für die suchmaschine tun willst
anhand der sitemap siehst du auch was gespidert wird.