Czemu nie robicie tego po stronie przeglądarki?

**Bo CORS**. Twoja przeglądarka **nie ma prawa** pobrać `https://innastrona.com/robots.txt`, ponieważ `innastrona.com` nie wysyła nagłówka `Access-Control-Allow-Origin`. **Serwer-side** ten problem znika, bo CORS to mechanizm chroniący użytkownika w przeglądarce, **nie serwer-serwer**. Dlatego wszystkie poważne walidatory (Google Search Console, Bing Webmaster, Screaming Frog) działają z serwera. **Nasz nie jest wyjątkiem**. Bonus: serwer-side widzi też **realny status HTTP** (jeśli Twój `robots.txt` zwraca 500, walidator to powie). Przeglądarka by pokazała tylko „zablokowane przez CORS".

Co to znaczy „dopasowanie najdłuższego prefiksu" przy regułach robots?

**To algorytm**, którego używa **Googlebot** (i większość crawlerów). Jeśli w pliku masz: ``` User-agent: Googlebot Disallow: /admin Allow: /admin/public ``` I sprawdzasz ścieżkę `/admin/public/raport.pdf`, walidator (i Google) wybiera regułę **„najdłuższy prefiks pasuje wygrywa"**: - `Disallow: /admin` pasuje (długość 6 znaków) - `Allow: /admin/public` też pasuje (długość 13 znaków, **dłuższa**) **Wybiera `Allow`**, więc ścieżka jest **dozwolona**. Stary algorytm „first match wins" (jak w Bingu kiedyś) dałby inny wynik, ale **nowoczesne crawlery używają longest-match**. Walidator implementuje **dokładnie tę logikę**, dzięki czemu **„Dozwolone"** w testerze odpowiada temu, co naprawdę zobaczy Googlebot.

Czemu mam grupę `User-agent: *` i osobną `User-agent: Googlebot`? Która wygra?

**Wygra ta bardziej specyficzna**. Googlebot, jeśli widzi w pliku grupę z `User-agent: Googlebot`, **całkowicie ignoruje** grupę z `User-agent: *`. **To wszystko albo nic**, Googlebot nie miksuje reguł między grupami. Częsta pułapka: masz w `*` ważne `Disallow: /admin` i ważne `Sitemap: ...`, ale dla Googlebota dorzucasz osobną grupę z **jedną regułą** `Crawl-delay: 5`. **Googlebot zignoruje `Disallow: /admin`**, bo całe `*` jest dla niego niewidoczne. **Rozwiązanie**: jeśli chcesz dla Googlebota dodać tylko jedną regułę, **musisz powtórzyć wszystkie istotne** z grupy `*` (`Disallow: /admin`, sitemap też zwykle deklaruje się **poza** grupami, jest globalna). Walidator pokazuje **per-bot view**, dzięki czemu od razu widzisz, **co Googlebot naprawdę widzi**.

Sitemap.xml ma 50 001 URL-i, czemu walidator narzeka?

**Bo to przekracza limit z oficjalnej specyfikacji**. `sitemaps.org` mówi: jedna sitemap może zawierać **maksymalnie 50 000 URL-i** i ważyć **najwyżej 50 MB** (po dekompresji). Google nie przeczyta nadmiaru, **po prostu utnie**. **Rozwiązanie**: zrób **sitemap index** (` `), który linkuje do kilku zwykłych map (` `): ```xml https://example.com/sitemap-pages-1.xml https://example.com/sitemap-pages-2.xml https://example.com/sitemap-products.xml ``` Każda dziecięca sitemap może mieć **swoje 50 000**, więc realnie indeks pozwala Ci na **2,5 miliarda URL-i** (limit 50 000 indeksów × 50 000 URL-i każdy). Nasz walidator **automatycznie pobiera** do 50 zagnieżdżonych map i waliduje każdą osobno.

Co znaczy „URL trafia do Googla, ale nie jest indeksowany"?

**Sitemap to nie obowiązek indeksacji, tylko sugestia**. Google patrzy na ` ` w sitemapie, ale i tak **swój własny algorytm decyduje**, czy daną stronę zaindeksować. Możesz mieć URL w sitemapie **i wciąż go nie widzieć w wyszukiwarce**. Najczęstsze powody: - **Strona jest ` `** - sitemap mówi „crawluj", ale tag mówi „nie indeksuj", **tag wygrywa** - **Strona zwraca 404 albo 5xx** - Google szybko ją wyrzuci z indeksu - **Duplikat** - Google widzi, że treść jest **kopią** innej strony w Twojej domenie, indeksuje tylko jedną - **Słaba jakość** - Google ocenia, że strona to **thin content** (mało treści, automatycznie generowana), pomija - **Robots.txt blokuje** - walidator to wyłapie **Sitemap jest pomocna**, ale **nie magiczna**. To **mapa** dla Google, nie **wymóg indeksacji**. Walidator pomaga w tym, co konkretnie da się sprawdzić: czy plik jest poprawny, kompletny, wolny od duplikatów.

Czemu walidator pokazuje ostrzeżenie „brak wpisu Sitemap w robots.txt"?

**Bo to standardowa rekomendacja Google i Binga**. Crawlerzy szukają linku do mapy w trzech miejscach: 1) w `robots.txt` (`Sitemap: https://...`), 2) w **Google Search Console** (musisz dodać ręcznie), 3) próbują domyślnie `/sitemap.xml`. **Brak `Sitemap:` w `robots.txt`** = pozbywasz się **darmowego** mechanizmu zgłoszenia mapy. Każdy crawler na świecie pobiera `robots.txt` przy pierwszej wizycie, jeśli tam znajdzie `Sitemap: ...`, **od razu zaciągnie mapę**. Bez tego musi zgadnąć (próbuje `/sitemap.xml`, jeśli Twoja mapa jest pod inną ścieżką, np. `/sitemap_index.xml`, **może nie znaleźć**). **Łatwa poprawka**, dorzuć **jedną linijkę** na końcu pliku: ``` Sitemap: https://example.com/sitemap.xml ``` Może być **wiele** (`Sitemap: ...` powtórzone kilka razy, np. osobno dla EN i PL).

Co to są te „nieznane dyrektywy" w robots.txt?

**Każda dyrektywa**, której nie ma w **oficjalnym standardzie** (User-agent, Allow, Disallow, Crawl-delay, Sitemap, Host). Najczęstsze nieoficjalne: - **`Clean-param`**, Yandex-only, ignoruje parametry URL przy crawlu - **`Request-rate`**, stara wersja `Crawl-delay`, większość ignoruje - **`Visit-time`**, sugestia kiedy crawlować (np. `0500-0845`), ignorowane przez wszystkich poza Yandexem - **Komentarze bez `#`**, czasem ktoś pisze `# komentarz` zamiast `#komentarz`, część crawlerów to przepuści, część flaguje jako błąd Walidator pokazuje je **jako info (szare)**, nie błąd. **Bo nie psują indeksacji**, ale dobrze wiedzieć, że są tam. Jeśli widzisz w pliku coś egzotycznego, **prawdopodobnie odziedziczyłeś** to po starym SEO, możesz usunąć bez konsekwencji.

Czy mogę zablokować ChatGPT i Claude trening na mojej stronie?

**Tak, każdy bot ma swój User-agent**, możesz mu osobno zablokować dostęp. **Aktualne** (stan na 2026): ``` User-agent: GPTBot Disallow: / User-agent: ChatGPT-User Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Claude-Web Disallow: / User-agent: Google-Extended Disallow: / User-agent: PerplexityBot Disallow: / User-agent: CCBot Disallow: / ``` **Uwaga**: `Google-Extended` blokuje **tylko Bard/Gemini training**, **nie** blokuje normalnego Googlebota (czyli **nie wypada Ci z wyszukiwania**, tylko z treningu AI Google). `GPTBot` blokuje **tylko trening**, `ChatGPT-User` to bot odpytujący w czasie rzeczywistym (np. gdy użytkownik pyta ChatGPT o coś live). **Walidator pozwala** sprawdzić, czy Twój `Disallow: /` dla GPTBota **faktycznie działa**, klikasz w chip „GPTBot" w per-bot view, widzisz dokładnie te reguły.

Czemu warto mieć `lastmod` w każdym URL-u sitemapy?

**Bo Google używa go do priorytetyzacji recrawla**. Jeśli wysyłasz sitemapę z 10 000 URL-i, ale tylko 50 z nich zmieniło się od ostatniego crawla (świeży `lastmod`), Google **zaczyna od tych 50**. Bez `lastmod` musi **odpytać wszystkie**, żeby zobaczyć, co się zmieniło, **wolniej i marnuje budżet crawla**. **Walidator pokazuje pokrycie `lastmod`** jako procent: jeśli widzisz **30%**, oznacza to, że 70% URL-i nie ma daty, Google traktuje je jako „nie wiadomo kiedy zmieniono". **Cel: 100%** dla każdego URL-a w sitemapie. Format `lastmod` musi być **W3C/ISO-8601**: - `2026-05-11` (dzień) - `2026-05-11T14:30:00Z` (UTC) - `2026-05-11T14:30:00+02:00` (z timezoną) **Niepoprawne**: `11/05/2026`, `2026-5-11`, `May 11, 2026`. Walidator wykryje i wskaże linię.

Walidator robots.txt i sitemap.xml - darmowy

Czemu Twoja strona nie pojawia się w Google? Zacznij od robots.txt i sitemap.xml

Wpisujesz adres swojej strony, wybierasz tryb (sam robots.txt, sama sitemap.xml albo oba naraz) i klikasz Sprawdź. Nasz serwer pobiera publicznie dostępne pliki, parsuje je i pokazuje co dokładnie zobaczy Googlebot, gdy odwiedzi Twoją domenę.

Walidator robi trzy rzeczy, których nie zrobi za Ciebie przeglądarka:

Pokazuje plik robots.txt po stronie servera, nie cache, nie CDN, tylko to, co dostaje crawler;
Symuluje konkretne boty: Googlebot, Bingbot, GPTBot, ChatGPT-User, ClaudeBot. Wybierasz bota z chipów, widzisz dokładnie te reguły, które jego dotyczą (z dopasowaniem najdłuższego prefiksu, czyli tak jak naprawdę robi to Google);
Parsuje sitemap.xml (także sitemap index z zagnieżdżonymi mapami), sprawdza limity (50 000 URL-i, 50 MB), poprawność dat W3C/ISO-8601, wartości `changefreq`, `priority` i wynajduje duplikaty `<loc>`.

Wszystko wraca jako gotowe zestawienie z karami błędów (czerwone), ostrzeżeniami (żółte) i informacjami (szare). Plus tester ścieżki, wklej `/admin` albo `/private/raporty.pdf` i od razu zobacz „dozwolone" lub „zabronione" dla wybranego bota.

Po co Ci to? Najczęstszy powód, dla którego nowa strona nie jest indeksowana w Google, to literówka w robots.txt (`Disllow: /` zamiast `Disallow: /admin`) albo brak sitemap w `robots.txt`. Walidator znajdzie obie te rzeczy w 5 sekund.

Jak używać

Wybierz tryb w przełączniku na górze. Jeśli nie wiesz co wybrać, weź „Oba", pobierzemy najpierw `/robots.txt`, znajdziemy w nim link do mapy strony i ściągniemy też ją.
Wklej adres swojej domeny do pola URL. Może być sama domena (`example.com`), pełen adres (`https://example.com`) albo bezpośredni link do mapy (`https://example.com/sitemap.xml`).
Klik „Sprawdź" (albo Enter). Serwer pobierze pliki z 10-sekundowym timeoutem i limitem 50 MB, więc nawet ogromne mapy nie zablokują walidacji.
Sekcja robots.txt pokazuje: status HTTP, rozmiar, liczbę grup, liczbę reguł Allow/Disallow. Wykryte problemy są podzielone na 3 poziomy (błąd / ostrzeżenie / info), z numerem linii, gdzie problem występuje.
Widok dla konkretnego bota, klikasz w chipy z botami (Googlebot, Bingbot, GPTBot, ChatGPT-User itd.). System pokazuje dokładnie te reguły, które aplikują się do tego bota, plus podpowiada, który User-Agent w pliku został dopasowany.
Tester ścieżki, wpisz dowolną ścieżkę (np. `/admin` albo `/api/users`), zobaczysz „Dozwolone" lub „Zabronione" plus regułę, która zadecydowała. Idealne do sprawdzania, dlaczego dany URL nie pojawia się w Google.
Sekcja sitemap.xml pokazuje typ (urlset/sitemapindex), liczbę URL-i, pokrycie `lastmod` (%), najnowszą i najstarszą datę, próbkę pierwszych 100 URL-i w tabeli. Jeśli to sitemap index, automatycznie pobierzemy zagnieżdżone mapy (do 50 dla bezpieczeństwa).

Kiedy się przydaje

Pięć sytuacji, w których walidator oszczędza Ci weekend grzebania w Search Console:

Nowa strona nie indeksuje się w Google. Sprawdzasz `robots.txt`, walidator pokazuje `Disallow: /` w grupie `User-agent: *` (klasyczny relikt z fazy development). Poprawiasz na `Disallow: /admin` i indeksacja rusza w ciągu doby.
Migracja domeny lub redesign. Po przeniesieniu strony na nową platformę walidujesz starą i nową sitemap. Walidator pokazuje, że w nowej brakuje 1 200 URL-i (zapomniany prefiks językowy). Wracasz do CMS-a i naprawiasz zanim Google zauważy spadek.
Audyt SEO przed dużym launchem. Klient pyta „czemu sklep nie jest widoczny w wyszukiwaniu". Walidator wykrywa `User-agent: Googlebot` + `Disallow: /produkty`, ktoś (świadomie lub nie) zablokował cały katalog produktów. Bez walidatora znalazłbyś to po dniach.
GPTBot, ClaudeBot, Google-Extended. Chcesz zablokować AI-crawlerom trening na Twoim contencie. Walidator pokazuje per-bot view, czy Twój `Disallow: /` dla `GPTBot` faktycznie działa, czy jest przesłonięty przez grupę `*` z `Allow: /` poniżej.
CI/CD checki przed deployem. Pluginujesz walidator w pipeline (zwykły `curl` z JSON-em) i buildy nie przejdą, jeśli `robots.txt` ma `Disallow: /` w `User-agent: *`. Sprzedaż tego argumentu seniorowi DevOpsa kosztuje 10 minut, oszczędność, tysiące.

Same pliki wygenerujesz w generatorze robots.txt i generatorze sitemap.xml. Podgląd social tych samych URLi sprawdzisz w podglądzie OpenGraph.

Pytania i odpowiedzi

Tylko na nasz serwer, który łączy się z Twoją domeną, żeby pobrać publicznie dostępne pliki: `/robots.txt` i `/sitemap.xml`. Te same pliki każdy crawler na świecie może pobrać w 5 sekund (po to są publiczne). Nie zapisujemy Twojego URL-a, nie logujemy zawartości, nie wysyłamy do nikogo trzeciego. Walidacja jest stateless, po wyświetleniu wyniku zapominamy.

Czemu Twoja strona nie pojawia się w Google? Zacznij od robots.txt i sitemap.xml

Walidator robi trzy rzeczy, których nie zrobi za Ciebie przeglądarka:

Pokazuje plik robots.txt po stronie servera, nie cache, nie CDN, tylko to, co dostaje crawler;
Symuluje konkretne boty: Googlebot, Bingbot, GPTBot, ChatGPT-User, ClaudeBot. Wybierasz bota z chipów, widzisz dokładnie te reguły, które jego dotyczą (z dopasowaniem najdłuższego prefiksu, czyli tak jak naprawdę robi to Google);
Parsuje sitemap.xml (także sitemap index z zagnieżdżonymi mapami), sprawdza limity (50 000 URL-i, 50 MB), poprawność dat W3C/ISO-8601, wartości `changefreq`, `priority` i wynajduje duplikaty `<loc>`.

Jak używać

Wybierz tryb w przełączniku na górze. Jeśli nie wiesz co wybrać, weź „Oba", pobierzemy najpierw `/robots.txt`, znajdziemy w nim link do mapy strony i ściągniemy też ją.

Wklej adres swojej domeny do pola URL. Może być sama domena (`example.com`), pełen adres (`https://example.com`) albo bezpośredni link do mapy (`https://example.com/sitemap.xml`).

Klik „Sprawdź" (albo Enter). Serwer pobierze pliki z 10-sekundowym timeoutem i limitem 50 MB, więc nawet ogromne mapy nie zablokują walidacji.

Sekcja robots.txt pokazuje: status HTTP, rozmiar, liczbę grup, liczbę reguł Allow/Disallow. Wykryte problemy są podzielone na 3 poziomy (błąd / ostrzeżenie / info), z numerem linii, gdzie problem występuje.

Widok dla konkretnego bota, klikasz w chipy z botami (Googlebot, Bingbot, GPTBot, ChatGPT-User itd.). System pokazuje dokładnie te reguły, które aplikują się do tego bota, plus podpowiada, który User-Agent w pliku został dopasowany.

Tester ścieżki, wpisz dowolną ścieżkę (np. `/admin` albo `/api/users`), zobaczysz „Dozwolone" lub „Zabronione" plus regułę, która zadecydowała. Idealne do sprawdzania, dlaczego dany URL nie pojawia się w Google.

Sekcja sitemap.xml pokazuje typ (urlset/sitemapindex), liczbę URL-i, pokrycie `lastmod` (%), najnowszą i najstarszą datę, próbkę pierwszych 100 URL-i w tabeli. Jeśli to sitemap index, automatycznie pobierzemy zagnieżdżone mapy (do 50 dla bezpieczeństwa).

Kiedy się przydaje

Pięć sytuacji, w których walidator oszczędza Ci weekend grzebania w Search Console:

Nowa strona nie indeksuje się w Google. Sprawdzasz `robots.txt`, walidator pokazuje `Disallow: /` w grupie `User-agent: *` (klasyczny relikt z fazy development). Poprawiasz na `Disallow: /admin` i indeksacja rusza w ciągu doby.
Migracja domeny lub redesign. Po przeniesieniu strony na nową platformę walidujesz starą i nową sitemap. Walidator pokazuje, że w nowej brakuje 1 200 URL-i (zapomniany prefiks językowy). Wracasz do CMS-a i naprawiasz zanim Google zauważy spadek.
Audyt SEO przed dużym launchem. Klient pyta „czemu sklep nie jest widoczny w wyszukiwaniu". Walidator wykrywa `User-agent: Googlebot` + `Disallow: /produkty`, ktoś (świadomie lub nie) zablokował cały katalog produktów. Bez walidatora znalazłbyś to po dniach.
GPTBot, ClaudeBot, Google-Extended. Chcesz zablokować AI-crawlerom trening na Twoim contencie. Walidator pokazuje per-bot view, czy Twój `Disallow: /` dla `GPTBot` faktycznie działa, czy jest przesłonięty przez grupę `*` z `Allow: /` poniżej.
CI/CD checki przed deployem. Pluginujesz walidator w pipeline (zwykły `curl` z JSON-em) i buildy nie przejdą, jeśli `robots.txt` ma `Disallow: /` w `User-agent: *`. Sprzedaż tego argumentu seniorowi DevOpsa kosztuje 10 minut, oszczędność, tysiące.

Same pliki wygenerujesz w generatorze robots.txt i generatorze sitemap.xml. Podgląd social tych samych URLi sprawdzisz w podglądzie OpenGraph.

Pytania i odpowiedzi