Чому це важливо
ChatGPT, Perplexity і Claude шукають відповіді через власних краулерів. Якщо краулер заблоковано в robots.txt чи на рівні CDN, сторінку не процитують, хоч якою б доброю вона була. Найчастіше це стається випадково: правило «захистити контент від AI» блокує не лише навчання моделей, а й пошук.
Покроково
Відкрийте в браузері вашсайт.com/robots.txt.
Знайдіть правила для краулерів AI-пошуку й асистентів: OAI-SearchBot і ChatGPT-User (ChatGPT), PerplexityBot і Perplexity-User (Perplexity), Claude-SearchBot і Claude-User (Claude), Bingbot (Copilot) і Googlebot (AI Overviews і AI Mode).
Переконайтеся, що жоден із них не стоїть під «Disallow: /» — і що загальне правило «User-agent: *» не закриває папки з послугами, цінами чи блогом.
Запитайте того, хто відповідає за CDN або фаєрвол (Cloudflare, Akamai тощо), чи ввімкнене блокування AI-ботів. Воно може відсікати краулерів, навіть якщо robots.txt їх дозволяє.
Перевірте ключову сторінку від імені бота командою з шаблону нижче. 200 — сторінка доступна; 403 або сторінка перевірки — щось блокує.
Шаблон: Правила для robots.txt і перевірка
# Дозволяємо краулерів AI-пошуку та асистентів
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# За бажанням: заборона лише на навчання моделей.
# На пошук ChatGPT це не впливає.
User-agent: GPTBot
Disallow: /
# Перевірка в терміналі (очікуємо HTTP 200):
curl -I -A "OAI-SearchBot" https://vashsait.com/tsinyЯк зрозуміти, що готово
10 найважливіших сторінок відповідають 200 на перевірку від імені бота, robots.txt не блокує жодного краулера пошуку чи асистентів, а в CDN для вашого сайту немає блокування AI-ботів.
Типова помилка
Вважати GPTBot і OAI-SearchBot одним ботом. GPTBot збирає дані для навчання, OAI-SearchBot працює на пошук ChatGPT. Багато сайтів блокують обох, щоб «захистити контент», — і зникають із результатів пошуку ChatGPT.
Як побачити, що AI почав вас читати
Перші зміни видно через 2–4 тижні: ваші сторінки з’являються серед джерел AI-відповідей, а Coverage росте на тих платформах, де раніше вас не було. Порівнювати варто по кожній моделі окремо — ChatGPT, Google AI Overviews і AI Mode оновлюються з різною швидкістю.
Якщо ви користуєтесь Dabudai, відкрийте Overview → AI Provider Coverage і подивіться динаміку Coverage по кожній платформі з дня, коли відкрили доступ ботам.
app.dabud.ai · Overview
Акаунта ще немає? Перші дані по вашому бренду з’являються за 20 хвилин після реєстрації, 7 днів — безкоштовно.
Питання
Чи можна заблокувати GPTBot і лишитися в пошуку ChatGPT?
Так. GPTBot відповідає лише за збір даних для навчання. Пошук ChatGPT працює через OAI-SearchBot і ChatGPT-User — їх і треба дозволити.
Чи потрібен llms.txt?
Ні. Google пише, що для AI-функцій пошуку спеціальні файли не потрібні, а публічних доказів, що AI-асистенти ранжують сайти за llms.txt, немає.
Скільки чекати результату?
Краулери повертаються від кількох днів до кількох тижнів. Перші зміни в Coverage зазвичай видно за 2–4 тижні.
Що кажуть ті, хто вже це робить
★★★★★
Нарешті побачили, як AI нас рекомендує
«Раніше ми не бачили, як AI-інструменти рекомендують наш бізнес і як його представляють. Тепер бачимо і те, і інше — а деякі інсайти виявилися неймовірно корисними.»
Даніель Новак
· CMO, компанія з медичного туризму
ГЛИБШЕ
Детальніше про доступ AI-ботів — в уроці 4.3 навчального центру Dabudai: з прикладами і перевіркою на ваших даних.
Джерела
¹ Орієнтовний ефект дій і таблиці ніш — з аналізу 350 000 AI-відповідей на 2 300 сайтах у платформі Dabudai (ChatGPT, ChatGPT Search, Google AI Overviews, Google AI Mode), жовтень 2026. Це середні діапазони: ваш результат залежить від ніші, конкурентів і стартової точки.