← Обзор / ai-search / configuration / data-source
Сайт
Вы можете подключить принадлежащий вам веб-сайт в качестве источника данных для своего экземпляра AI Search. AI Search автоматически сканирует и индексирует страницы.
Сканировать можно только домены, подключённые к тому же аккаунту Cloudflare. См. Подключение домена подробнее о том, как добавить домен в ваш аккаунт Cloudflare.
Начало работы
Вы можете подключить веб-сайт при создании нового экземпляра через панель управления, REST API, или Wrangler. Источник данных «Сайт» необязателен, его можно добавить вместе с встроенное хранилище.
Как работает сканирование сайта
AI Search находит страницы вашего сайта, загружает каждую из них, преобразует в Markdown, разбивает на чанки и добавляет в индекс. Затем parse type определяет, как находятся страницы:
- Sitemap (по умолчанию): считывает файлы XML sitemap, которые публикует ваш сайт.
- Discover: начинается с исходного URL-адреса и по умолчанию использует как ваши sitemap, так и ссылки, которые находит на страницах при обходе.
См. Parse types о том, как каждый тип находит страницы, как каждый из них обрабатывает sitemap и синхронизацию, и какие настройки применимы только к одному из них.
Хранилище
Просканированные страницы автоматически сохраняются во встроенном хранилище.
Чтобы увидеть элементы, полученные при разборе вашего сайта, получить список элементов экземпляра с помощью Items API, либо откройте Элементы вкладку на dashboard (AI > AI Search > ваш экземпляр > Элементы).
Конфигурация
Настройте эти параметры при первоначальной настройке или позже в настройках экземпляра в разделе Параметры парсера.
| Опция | Описание |
|---|---|
| Фильтрация путей | Шаблоны URL для включения и исключения, определяющие, какие страницы сканируются. |
| Parse type | Как краулер находит страницы. Sitemap считывает ваши XML sitemap. Discover начинается с исходного URL и по умолчанию использует как ваши файлы sitemap, так и найденные ссылки. |
| Конкретный sitemap | Сканируйте набор выбранных вами URL-адресов sitemap вместо тех, которые находит AI Search. До пяти URL-адресов. Применяется только к parse type sitemap. |
| Параметры Discover | Источник для discovery, лимит страниц, глубина сканирования, время жизни кеша, а также переход по внешним ссылкам и поддоменам. Применяется только к discover parse type. |
| Режим отрисовки | Загружаются ли страницы в виде исходного HTML или сначала обрабатываются в headless-браузере. |
| Заголовки аутентификации | Пользовательские заголовки HTTP, отправляемые с каждым запросом, чтобы краулер мог получить доступ к страницам за аутентификацией. Не более пяти заголовков. |
| Селекторы контента | Ограничьте индексирование элементами, которые соответствуют CSS-селектору, чтобы пропустить навигацию, боковые панели и подвалы. |
| Пользовательские метаданные | Значения, извлечённые из <meta> теги на каждой странице в разделе <head>, хранящиеся рядом с индексированным содержимым. |
Фильтрация путей
Вы можете контролировать, какие страницы индексируются, задав правила включения и исключения для путей URL. Используйте это, чтобы ограничить индексирование определёнными разделами сайта или исключить контент, который не должен быть доступен для поиска.
Например, чтобы индексировать только записи блога, исключив черновики:
- Включает:
**/blog/** - Исключить:
**/blog/drafts/**
См. Фильтрация путей о синтаксисе шаблонов, поведении фильтрации и других примерах.
Поддерживаемые типы файлов и ограничения по размеру см. в Источник данных.
Режим отрисовки
Вы можете выбрать, как страницы будут разбираться при сканировании:
- Статические сайты: Загружает исходный HTML каждой страницы.
- Rendered sites: Загружает страницы с помощью headless-браузера и скачивает полностью отрисованную версию, включая динамическое содержимое JavaScript.
Разрешите AI Search в WAF
Если у вас настроены правила Security для блокировки активности ботов на вашем сайте, вы можете добавить правило, чтобы внести бота AI Search в список разрешённых. См. AI Search в каталоге ботов Cloudflare Radar ↗ для его подтверждённой идентичности и user agent.
-
На панели управления Cloudflare перейдите к разделу Правила безопасности страницу.
Перейдите в Правила безопасности ↗ -
Чтобы создать новое пустое правило, выберите Создать правило > Custom rules.
-
Введите описательное название правила в Название правила, например
Allow AI Search. -
В разделе Когда входящие запросы соответствуют, используйте Поле раскрывающийся список для выбора Bot Detection ID. Для Оператор, выберите равно. Для Значение, введите
122933950. -
В разделе Затем выберите действие, в Выберите действие является раскрывающимся списком, в котором выберите Пропустить.
-
В разделе Расположите на, выберите порядок правила в Выберите порядок является раскрывающимся списком, который нужно установить на Первая. Установка порядка как Первая позволяет применить это правило раньше последующих.
-
Чтобы сохранить и развернуть правило, выберите Развернуть.
Лимиты
Обычный AI Search ограничения действуют при использовании источника данных типа «сайт». Для источников данных типа «сайт» на обоих планах Workers действуют следующие лимиты:
| Лимит | Значение |
|---|---|
Страниц на обход, discover parse type |
100,000 |
Глубина сканирования, discover parse type |
100 000 переходов по ссылкам (по умолчанию 5) |
Возраст кэшированной страницы, discover parse type |
604 800 секунд (7 дней) |
| Конкретный sitemap URL-адреса | 5 на экземпляр |
| Заголовки аутентификации | 5 на экземпляр |
| Селектор контента записей | 10 на экземпляр |
| Шаблон пути селектора контента и длина селектора | По 200 символов на каждый |
файлов на экземпляр лимит тоже действует, поэтому итоговым ограничением становится меньшее из значений. Краулер индексирует первые страницы, которые посещает, пока не достигнет этого предела, а любой скачанный файл, превышающий максимальный размер, не индексируется.