W skrócie
- Firmy AI używają osobnych robotów do trenowania modeli i do wyszukiwania odpowiedzi na żywo.
- Blokada robotów wyszukiwania AI zmniejsza szansę, że firma pojawi się w odpowiedziach z linkiem.
- Dla większości firm usługowych najlepiej wpuścić roboty AI i blokować tylko zaplecze techniczne.
Dwa rodzaje robotów AI
Firmy rozwijające AI używają zwykle osobnych robotów do zbierania danych do trenowania modeli i do wyszukiwania informacji na żywo, gdy użytkownik zadaje pytanie. To ważne rozróżnienie: blokada robota trenującego nie musi wpływać na pojawianie się w odpowiedziach z linkami, a blokada robota wyszukiwania zwykle wpływa.
Najważniejsze roboty
| Firma | Trenowanie modeli | Wyszukiwanie i działania użytkownika |
|---|---|---|
| OpenAI (ChatGPT) | GPTBot | OAI-SearchBot, ChatGPT-User |
| Anthropic (Claude) | ClaudeBot | Claude-SearchBot, Claude-User |
| Perplexity | – | PerplexityBot, Perplexity-User |
| Google (Gemini) | Google-Extended (token kontroli, nie osobny robot) | Googlebot |
| Apple | Applebot-Extended (token kontroli) | Applebot |
| Microsoft (Copilot) | – | Bingbot |
Nazwy i zasady działania robotów zmieniają się, dlatego przed zmianami w robots.txt sprawdź aktualną dokumentację każdej firmy.
Wpuścić czy zablokować
Dla firm, które chcą zdobywać klientów, zwykle opłaca się wpuścić roboty wyszukiwania AI. Bez dostępu do strony narzędzie nie zacytuje jej w odpowiedzi ani nie poda linku. Decyzja o robotach trenujących to bardziej kwestia polityki firmy wobec wykorzystania treści. Dla firmy usługowej, której celem jest rozpoznawalność, blokada zwykle niewiele daje.
Wydawcy treści, dla których tekst jest produktem, mogą mieć inne priorytety i świadomie blokować roboty trenujące.
Przykład dla firmy usługowej
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xmlNasz plik robots.txt wpuszcza wszystkie główne roboty AI i blokuje tylko zaplecze techniczne. Możesz go podejrzeć pod adresem 83.com.pl/robots.txt.
Jak sprawdzić swoją stronę
Nasz darmowy audyt sprawdza, czy robots.txt nie blokuje najważniejszych robotów AI. Warto też upewnić się, że nie blokuje ich zapora sieciowa lub usługa CDN po stronie hostingu, bo wtedy robots.txt może wyglądać poprawnie, a roboty i tak nie mają dostępu. Pozostałe elementy gotowości na AI opisaliśmy w artykułach llms.txt i Schema.org oraz na stronie pozycjonowanie w AI.
Zobacz w praktyce
Przykłady stron, przy których stosujemy opisane zasady: strona dla kancelarii prawnej – KANM oraz strona dla gabinetu endodontycznego w Krakowie. Więcej projektów znajdziesz w realizacjach.
Pytania i odpowiedzi
Czy blokada GPTBot usunie moją firmę z ChatGPT?
Niekoniecznie. GPTBot służy do zbierania danych do trenowania, a wyszukiwanie w ChatGPT korzysta z innych robotów, takich jak OAI-SearchBot. Blokada robota wyszukiwania zwykle bardziej wpływa na obecność w odpowiedziach z linkami.
Czy robots.txt chroni treści przed AI?
Robots.txt to prośba, którą renomowane firmy respektują, ale nie zabezpieczenie techniczne. Treści, których nie chcesz udostępniać, powinny być chronione hasłem.
Czy Google-Extended blokuje stronę w wyszukiwarce Google?
Nie. Google-Extended dotyczy wykorzystania treści przez modele Gemini, a nie indeksowania przez Googlebot w wyszukiwarce.
