magentoforum.pl

Gary Illyes i Cherry Prommawin z Google opublikowali drugi odcinek serii „Non-Canonical Cabinet”, poświęcony temu, co plik robots.txt obsługuje, a czego nie. Zwracają też uwagę, że to, co działa w Google, nie musi działać w innych wyszukiwarkach i crawlerach AI. Najważniejsze wnioski są proste: robots.txt ma być nudny, poprawny i zgodny ze standardem.


Prosty plik, kilka poleceń

Robots.txt to zwykły plik tekstowy w katalogu głównym serwisu, który crawlery sprawdzają przed pobraniem jakiejkolwiek treści. Jego działanie opisuje standard RFC 9309, którego przestrzega Google. Parser czyta plik linia po linii i rozpoznaje tylko cztery dyrektywy: user-agent, allow, disallow i sitemap.

Każda linia, której parser nie rozumie, jest po cichu pomijana. Jeśli wpiszesz polecenie „własnymi słowami”, Google uzna je za nieprawidłowe, zignoruje i może zaindeksować stronę, którą chciałeś ukryć.

Komentarze i grafiki ASCII

Linie zaczynające się od znaku # są przez crawlery ignorowane, więc technicznie można w nich umieścić nawet rysunek ASCII. Google odradza jednak przesadę, bo rozbudowane komentarze niepotrzebnie zwiększają rozmiar pliku i zużywają transfer.

Emoji i polskie znaki

To ważny temat dla polskich stron, które mają w adresach litery z ogonkami.

*Nazwa crawlera w dyrektywie user-agent może zawierać tylko litery i myślniki. Emoji ani znaki spoza alfabetu angielskiego nie zadziałają w ogóle.

*W ścieżkach URL parser Google sam zakoduje znaki narodowe i emoji, ale inne lub starsze crawlery mogą sobie z nimi nie poradzić i zignorować całą regułę. Bezpieczniej jest więc wpisywać ścieżki w postaci zakodowanej procentowo, np. zamiast /kategoria/łódź użyć /kategoria/%C5%82%C3%B3d%C5%BA.

Robots.txt a sztuczna inteligencja

Robots.txt reguluje wyłącznie dostęp do stron. Nie decyduje o tym, co system zrobi z danymi, które już pobrał. Zablokowanie crawlera AI nie jest tym samym co zakaz trenowania modeli na treściach zebranych wcześniej. Żeby zablokować konkretnego bota AI, trzeba wskazać go jego oficjalną nazwą (tokenem user-agent). Wymyślone dyrektywy w rodzaju „nie trenuj na mojej treści” zostaną po prostu odrzucone.

Praktyczne wnioski dla SEO

*Nie zakładaj, że reguła działa, bo jest zrozumiała dla człowieka. Sprawdzaj składnię i testuj realne adresy URL.
*Ścieżki z polskimi znakami i emoji zapisuj w formie zakodowanej procentowo.
*Używaj wyłącznie czterech obsługiwanych dyrektyw i poprawnych nazw crawlerów.
*Traktuj kontrolę crawlowania i politykę wobec trenowania AI jako dwie osobne kwestie.
*Pamiętaj, że robots.txt nie jest zabezpieczeniem. To prośba skierowana do crawlerów, które przestrzegają zasad. Nie powstrzyma niepożądanych botów i nie gwarantuje, że wszystkie się do niej zastosują.

Więcej informacji: https://boostwave.pl/blog/