Звідки ChatGPT бере інформацію? Дані навчання і пошук в інтернеті

5 хв читання
ChatGPT бере інформацію з двох місць:
- Дані навчання: те, що модель вивчила до дати свого «зрізу знань».
- Пошук в інтернеті: коли запитання потребує свіжої інформації, ChatGPT шукає в мережі і показує відповідь із посиланнями на джерела.
Для брендів важливіша друга частина: будь-який публічний сайт може з’явитися в пошуку ChatGPT, але лише якщо пошуковий краулер OpenAI має до нього доступ і сторінка чітко відповідає на запитання.
Два джерела: дані навчання і пошук
| Дані навчання | Пошук в інтернеті (ChatGPT search) | |
|---|---|---|
| Коли використовується | Завжди: так модель пише відповідь | Коли запитанню потрібна свіжа інформація або користувач вмикає Search |
| Наскільки свіже | До дати зрізу знань моделі | Актуальні сторінки |
| Посилання у відповіді | Справжніх посилань немає; названі «джерела» можуть бути хибними | Посилання в тексті і панель Sources зі справжніми сторінками |
| Краулер OpenAI | GPTBot | OAI-SearchBot |
| Що контролює власник сайту | Закрити GPTBot у robots.txt, щоб відмовитися від навчання | Дати доступ OAI-SearchBot, щоб з’являтися в пошукових відповідях |

Звідки беруться дані для навчання
За словами OpenAI, моделі, на яких працює ChatGPT, навчають на трьох основних джерелах:
- інформація, що є у відкритому доступі в інтернеті;
- інформація, до якої OpenAI має доступ через партнерства з третіми сторонами;
- інформація, яку надають або створюють користувачі, тренери-люди і дослідники.
OpenAI пише, що моделі не зберігають копій даних навчання. Вони вивчають закономірності і передбачають найімовірніше наступне слово, тому на те саме запитання можуть бути різні відповіді. Це також означає, що модель не знає нічого, що сталося після зрізу знань, якщо не шукає в інтернеті.
Щоб ваш сайт не використовували для навчання, закрийте доступ для user agent GPTBot у robots.txt.
Як працює пошук ChatGPT
ChatGPT може шукати в інтернеті автоматично, коли запитанню потрібна свіжа інформація, або коли користувач обирає Search (довідка OpenAI). Далі він:
- переписує запитання в один чи кілька пошукових запитів;
- бере результати з власних пошукових систем OpenAI і від сторонніх пошукових провайдерів;
- читає найрелевантніші сторінки;
- пише відповідь із посиланнями в тексті і панеллю Sources.
У FAQ OpenAI для видавців головне сказано прямо: будь-який публічний сайт може з’явитися в пошуку ChatGPT. Щоб потрапляти в підсумки і сніпети, сайт не має блокувати OAI-SearchBot (FAQ OpenAI для видавців).
OpenAI також додає utm_source=chatgpt.com до посилань із пошуку ChatGPT, тож цей трафік видно в Google Analytics.
Як ChatGPT обирає джерела
OpenAI не публікує формулу ранжування. Компанія пише, що результати ранжуються за багатьма факторами, щоб показати релевантну і надійну інформацію, і що місце не гарантоване. На практиці сторінки, які цитують, зазвичай:
- доступні для OAI-SearchBot і завантажуються без важких скриптів;
- прямо відповідають на переписані пошукові запити, а не лише на головне ключове слово;
- містять чіткі факти: ціни, функції, порівняння, дати;
- належать брендам, які також згадують огляди, рейтинги і медіа, яким довіряє AI.
Тому той самий бренд може з’явитися в одному запуску і зникнути в наступному: змінюються переписані запити і знайдені сторінки.
Чи вигадує ChatGPT джерела?
Без пошуку: так, може. Якщо попросити посилання «з пам’яті», модель може видати цитування, які виглядають справжніми, але не існують. Це називають галюцинацією.
З пошуком: посилання ведуть на справжні сторінки, але не завжди на першоджерело. Дослідження Tow Center Колумбійського університету показало, що пошук ChatGPT часто цитував передруки новин замість сторінки видавця (Search Engine Journal).
Для важливих рішень відкрийте процитовану сторінку і перевірте факт там.
Що це означає для вашого бренду
- Перевірте robots.txt і файрвол. Переконайтеся, що OAI-SearchBot не заблоковано, зокрема загальним правилом для всіх ботів.
- Про GPTBot вирішуйте окремо. Заборона навчання не прибирає вас із пошуку ChatGPT.
- Публікуйте сторінки, що відповідають на запитання покупців, з чіткими фактами, порівняннями і FAQ.
- Здобувайте згадки в сторонніх джерелах. Сторонні джерела часто вирішують, які бренди потраплять у шорт-лист.
- Вимірюйте обидва режими. Dabudai відстежує ChatGPT і ChatGPT з пошуком в інтернеті як окремі AI-системи, тож видно різницю між відповіддю «з пам’яті» і «з пошуку». Що показує AI Visibility Score.