robots.txt
Röviden: Mi az a robots.txt?
A robots.txt a weboldal gyökerében lévő szövegfájl, amely megmondja a keresőrobotoknak, mely részeket járhatják be, és melyeket nem.
Magyarázat
A fájl robotonként vagy általánosan ad meg engedélyező és tiltó szabályokat, és megadhatja az oldaltérkép címét is. A jóhiszemű robotok a bejárás előtt elolvassák és betartják.
Fontos tudni, hogy nem biztonsági eszköz: a tiltott címek ettől még nyilvánosan elérhetők, és a tiltás önmagában nem akadályozza meg, hogy egy cím a találatok közé kerüljön. Egy elírt szabály viszont az egész webhelyet láthatatlanná teheti a keresők számára.
Példa: a webáruház tiltja a kosár és a belső keresés oldalainak bejárását, a termék- és kategóriaoldalakat pedig szabadon hagyja.