← Обзор / ai-search / configuration / data-source / website

Заголовки аутентификации

Сканировать можно только домены, подключённые к тому же аккаунту Cloudflare. См. Подключение домена подробнее о том, как добавить домен в ваш аккаунт Cloudflare.

Если на вашем сайте есть страницы за аутентификацией или страницы, видимые только авторизованным пользователям, вы можете настроить пользовательские заголовки HTTP, чтобы разрешить краулеру AI Search доступ к этому защищённому содержимому. Вы можете добавить до пяти пользовательских заголовков HTTP к запросам, которые AI Search отправляет при сканировании вашего сайта.

Эта настройка называется Дополнительные заголовки в панели управления, в разделе Параметры парсера. В REST API а в Wrangler это source_params.web_crawler.parse_options.include_headers поле.

Настройка в панели управления

На панели управления Cloudflare перейдите к разделу AI Search страницу.
Перейдите в AI Search ↗
Выберите Создание, затем выберите Сайт в качестве источника данных. Чтобы добавить заголовки к существующему экземпляру, выберите его и откройте Настройки на вкладке.
В разделе Параметры парсера, найдите Дополнительные заголовки.
Добавьте заголовок, указав его имя в Ключ и значение заголовка в Значение. Например, Ключ Authorization и Значение Bearer <TOKEN>.
Повторите для каждого нужного заголовка, не более пяти.
Сохраните свои изменения.

Краулер отправляет все настроенные вами заголовки с каждым запросом к вашему сайту. Добавление или изменение заголовков в существующем экземпляре запускает новое задание индексирования, которое переиндексирует все элементы.

Индексирование сайта, защищённого Cloudflare Access

Чтобы разрешить AI Search сканировать сайт, защищённый Cloudflare Access, вам нужно создать учётные данные служебного токена и настроить их как пользовательские заголовки.

Служебные токены обходят аутентификацию пользователей, поэтому убедитесь, что политики Access настроены надлежащим образом для содержимого, которое вы хотите индексировать. Служебный токен позволит краулеру AI Search обращаться ко всему содержимому, на которое распространяется политика Service Auth.

В Панель управления Cloudflare ↗, создать токен службы. После того как будут сгенерированы Client ID и Client Secret, сохраните их для следующих шагов. Например, они могут выглядеть так:
```
CF-Access-Client-Id: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
CF-Access-Client-Secret: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
```
Создать политику со следующей конфигурацией:
- Добавьте Включить правило с Селектор имеет значение Service token.
- В Значение, выберите Service Token, который вы создали на шаге 1.
Добавьте своё локально размещённое приложение в Access со следующей конфигурацией:
- В политиках Access нажмите Выберите существующие политики.
- Выберите только что созданную политику и выберите Подтверждение.
На панели управления Cloudflare перейдите к разделу AI Search страницу.
Перейдите в AI Search ↗
Выберите Создание.
Выберите Сайт в качестве источника данных.
В разделе Параметры парсера, найдите Дополнительные заголовки и с помощью сохранённых учётных данных добавьте следующие два заголовка:
- Заголовок 1:
  - Ключ: CF-Access-Client-Id
  - Значение: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.access
- Заголовок 2:
  - Ключ: CF-Access-Client-Secret
  - Значение: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
Завершите процесс настройки AI Search, чтобы создать экземпляр поиска.