dabud.aiGEO-плейбук 2026Усі 16 дій →

ДІЯ 1 З 16

Як пустити AI-краулерів на сайт: robots.txt, CDN і перевірка за 15 хвилин

КОРОТКА ВІДПОВІДЬ

Дозвольте в robots.txt краулерів AI-пошуку: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Bingbot і Googlebot. Переконайтеся, що CDN чи фаєрвол не блокує їх окремо. Перевірте ключову сторінку запитом від імені бота: відповідь 200 означає, що AI її бачить.

  • Час: 15 хв
  • Хто: ви (перевірка) · розробник (CDN)
  • Ефект: ≈ +1–4% Coverage ¹

Кирило Полтавець, засновник Dabudai · LinkedIn
Опубліковано · Оновлено

Навіщо давати AI-ботам доступ до сайту?

ChatGPT, Perplexity і Claude шукають відповіді через власних краулерів. Якщо краулер заблоковано в robots.txt чи на рівні CDN, сторінку не процитують, хоч якою б якісною вона була. Найчастіше це стається випадково: правило захисту контенту від ботів блокує AI краулерів і не дає їм доступ до контенту - тому вони не бачать що цитувати.

Як відкрити сайт для AI-краулерів: покроково

  1. Відкрийте в браузері вашсайт.com/robots.txt.
  2. Знайдіть правила для краулерів AI-пошуку й асистентів: OAI-SearchBot і ChatGPT-User (ChatGPT), PerplexityBot і Perplexity-User (Perplexity), Claude-SearchBot і Claude-User (Claude), Bingbot (Copilot) і Googlebot (AI Overviews і AI Mode). [OpenAI] [Perplexity] [Anthropic]
  3. Переконайтеся, що жоден із них не стоїть під «Disallow: /», і що загальне правило «User-agent: *» не закриває папки з послугами, цінами чи блогом.
  4. Запитайте того, хто відповідає за CDN або фаєрвол (Cloudflare, Akamai тощо), чи ввімкнене блокування AI-ботів. Воно може відсікати краулерів, навіть якщо robots.txt їх дозволяє. [Cloudflare]
  5. Перевірте ключову сторінку від імені бота командою з шаблону нижче. 200: сторінка доступна; 403 або сторінка перевірки: щось блокує.

Шаблон: правила для robots.txt і перевірка

# Дозволяємо краулерів AI-пошуку та асистентів
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

# За бажанням: заборона лише на навчання моделей.
# На пошук ChatGPT це не впливає.
User-agent: GPTBot
Disallow: /

# Перевірка в терміналі (очікуємо HTTP 200):
curl -I -A "OAI-SearchBot" https://vashsait.com/tsiny

Як зрозуміти, що доступ для AI працює?

10 найважливіших сторінок відповідають 200 на перевірку від імені бота, robots.txt не блокує жодного краулера пошуку чи асистентів, а в CDN для вашого сайту немає блокування AI-ботів.

БЕЗКОШТОВНА АВТОМАТИЧНА ПЕРЕВІРКА

Не хочете перевіряти ботів вручну?

Вкажіть сайт: аудит перевірить доступ для всіх AI-ботів з цієї інструкції: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot, Bingbot і Googlebot. Заодно пройде інші технічні пункти GEO і SEO. Звіт прийде на пошту за кілька хвилин.

Яка найчастіша помилка з доступом для AI-ботів?

Вважати GPTBot і OAI-SearchBot одним ботом. GPTBot збирає дані для навчання, OAI-SearchBot працює на пошук ChatGPT. Багато сайтів блокують обох, щоб «захистити контент», і зникають із результатів пошуку ChatGPT.

Як побачити, що AI почав читати ваш сайт?

Перші зміни видно через 2–4 тижні: ваші сторінки з’являються серед джерел AI-відповідей, а Coverage росте на тих платформах, де раніше вас не було. Порівнювати варто по кожній моделі окремо: ChatGPT, Google AI Overviews і AI Mode оновлюються з різною швидкістю.

Якщо ви користуєтесь Dabudai, відкрийте Overview → AI Provider Coverage і подивіться динаміку Coverage по кожній платформі з дня, коли відкрили доступ ботам.

Dabudai Overview: Coverage, Share of Voice, позиція і Recommendation Rate по AI-платформах

Акаунта ще немає? Перші дані по вашому бренду з’являються за 20 хвилин після реєстрації, 7 днів безкоштовно.

Часті питання про доступ для AI-ботів

Чи можна заблокувати GPTBot і лишитися в пошуку ChatGPT?

Так. GPTBot відповідає лише за збір даних для навчання. Пошук ChatGPT працює через OAI-SearchBot і ChatGPT-User: їх і треба дозволити. [OpenAI]

Чи потрібен llms.txt?

Ні. Google пише, що для AI-функцій пошуку спеціальні файли не потрібні, а публічних доказів, що AI-асистенти ранжують сайти за llms.txt, немає. [Google]

Скільки чекати результату?

Краулери повертаються від кількох днів до кількох тижнів. Перші зміни в Coverage зазвичай видно за 2–4 тижні.

Що кажуть клієнти Dabudai

★★★★★

Нарешті побачили, як AI нас рекомендує

«Раніше ми не бачили, як AI-інструменти рекомендують наш бізнес і як його представляють. Тепер бачимо і те, і інше, а деякі інсайти виявилися неймовірно корисними.»

Даніель Новак

· CMO, компанія з медичного туризму

ГЛИБШЕ

Детальніше про доступ AI-ботів в уроці 4.3 навчального центру на платформі Dabudai: з прикладами і перевіркою на ваших даних.

Навчальний центр відкритий на час безкоштовного 7-денного тріалу, без картки.

Джерела

[OpenAI] OpenAI: Overview of OpenAI crawlers ↗

[Perplexity] Perplexity: Perplexity crawlers ↗

[Anthropic] Anthropic: веб-краулери Claude ↗

[Cloudflare] Cloudflare: Block AI bots ↗

[Google] Google: гайд з оптимізації під AI ↗

¹ Орієнтовний ефект: з аналізу 350 000 AI-відповідей на 2 300 сайтах у платформі Dabudai, жовтень 2026. Ваш результат залежить від ніші, конкурентів і стартової точки.