robots.txt is a plain text file placed at the root of your website that tells web crawlers which pages or sections they can or cannot crawl. It is part of the Robots Exclusion Protocol.

Does robots.txt stop all bots?

No. robots.txt is a voluntary standard — well-behaved bots like Googlebot follow it, but malicious scrapers may ignore it entirely. For sensitive content, use authentication instead.

How do I block AI crawlers?

Use the "Block AI bots" preset to add Disallow: / rules for GPTBot (OpenAI), ChatGPT-User, ClaudeBot, and CCBot, while keeping the site crawlable for SEO bots.

Where do I put robots.txt?

Place it at the root of your domain: https://example.com/robots.txt — it must be accessible from that exact URL for crawlers to find it.

Robots.txt Generator

Генеруйте robots.txt із власними правилами, пресетами та блокуванням AI-ботів.

Швидкі шаблони

Правила (1)

User-Agent

Дозволені шляхи

Заборонені шляхи

Поширені шляхи (клікніть, щоб додати до Disallow):

Затримка сканування (секунди, необов'язково)

URL сайтмапи (необов'язково)

robots.txt

User-agent: *

Підказки

• User-agent: * applies to all crawlers

• Disallow: / blocks the entire site

• Allow: / explicitly permits all paths

• Place this file at the root: example.com/robots.txt

Про інструмент Robots.txt Generator

Генеруйте валідний файл robots.txt з візуальним редактором правил. Налаштовуйте правила дозволу/заборони для кожного бота, затримки сканування, карти сайту та використовуйте пресети для дозволу всього, блокування всього або блокування AI-сканерів.

Як використовувати

1Оберіть пресет (Дозволити все, Блокувати все, Блокувати AI-боти) або почніть з «Власний».
2Додайте правила для конкретних ботів через вибір User-Agent або введіть власну назву.
3Додайте шляхи Allow та Disallow або натисніть поширені шляхи для швидкого додавання.
4За бажанням встановіть Crawl-delay та додайте URL вашої карти сайту.
5Скопіюйте або завантажте згенерований файл robots.txt.

Часті запитання

Що таке robots.txt?

robots.txt — це текстовий файл у кореневому каталозі сайту, що повідомляє веб-сканерам, які сторінки вони можуть або не можуть сканувати. Він є частиною протоколу виключення роботів.

Чи robots.txt зупиняє всіх ботів?

Ні. robots.txt — добровільний стандарт. Добросовісні боти як Googlebot його дотримуються, але шкідливі скрапери можуть його ігнорувати. Для захисту конфіденційного контенту використовуйте автентифікацію.

Як заблокувати AI-сканери?

Використовуйте пресет «Блокувати AI-боти», щоб додати правила Disallow: / для GPTBot (OpenAI), ChatGPT-User, ClaudeBot та CCBot, зберігаючи доступність сайту для SEO-ботів.

Де розмістити robots.txt?

Розмістіть у кореневому каталозі домену: https://example.com/robots.txt — він повинен бути доступний за цією точною адресою для сканерів.

Інформація

Категорія: seo
Використання: Необмежено

Схожі інструменти

Meta Tag Generator

Генеруйте HTML мета-теги для SEO, Open Graph та Twitter Cards.

Meta Tag Preview

Перегляньте свою сторінку у пошуковій видачі Google та попередньому перегляді соціальних мереж.

Keyword Density Checker

Аналізуйте частоту та щільність ключових слів у тексті або за URL.

Більше інструментів: seo