Mam problem z szybkością działania sklepu i tak szperam co to może być,
Wczoraj znalazłem coś dziwnego.
Klikając w PA Klienci Online mam np 3788 wpisów. Z tego duża część to roboty MSN które sobie robią non stop porównania.
Pytanie jak to poprawnie w robots.txt zabezpieczyć.
Chyba że macie jakieś inne sposoby?
Poza porównywarką, coś jeszcze blokujecie robotom?