← Browser Run / browser-run / quick-actions

/content - Получение HTML

/content эндпоинт указывает браузеру перейти на сайт и получить полностью отрендеренный HTML страницы, включая head раздел, после выполнения JavaScript. Это идеально подходит для получения контента с сайтов с интенсивным использованием JavaScript или интерактивных сайтов.

Этот эндпоинт можно использовать двумя способами:

• REST API: Создайте пользовательский API Token с Browser Rendering - Edit разрешение.
• Workers Bindings: вызывайте конечную точку напрямую из Cloudflare Worker с помощью Workers Bindings. API-токен не требуется.

Подробнее см. в Quick Actions: прежде чем начать.

https://api.cloudflare.com/client/v4/accounts/<accountId>/browser-rendering/content

Необходимо указать либо url или html:

• url (строка)
• html (строка)

• Полностью отрендеренный HTML динамической страницы
• Извлечение HTML для разбора, скрапинга или дальнейшей обработки

curl -X 'POST' 'https://api.cloudflare.com/client/v4/accounts/<accountId>/browser-rendering/content' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer <apiToken>' \
  -d '{"url": "https://developers.cloudflare.com/"}'

import Cloudflare from "cloudflare";

const client = new Cloudflare({
	apiToken: process.env["CLOUDFLARE_API_TOKEN"],
});

const content = await client.browserRendering.content.create({
	account_id: process.env["CLOUDFLARE_ACCOUNT_ID"],
	url: "https://developers.cloudflare.com/",
});

console.log(content);

interface Env {
	BROWSER: BrowserRun;
}

export default {
	async fetch(request, env): Promise<Response> {
		return await env.BROWSER.quickAction("content", {
			url: "https://developers.cloudflare.com/",
		});
	},
} satisfies ExportedHandler<Env>;

Перейдите в https://cloudflare.com/ но блокирует загрузку изображений и таблиц стилей. Нежелательные запросы можно блокировать по типу ресурса (rejectResourceTypes) или с помощью регулярного выражения (rejectRequestPattern). Можно поступить и наоборот: разрешить только запросы, которые соответствуют allowRequestPattern или allowResourceTypes.

curl -X POST 'https://api.cloudflare.com/client/v4/accounts/<accountId>/browser-rendering/content' \
  -H 'Authorization: Bearer <apiToken>' \
  -H 'Content-Type: application/json' \
  -d '{
      "url": "https://cloudflare.com/",
      "rejectResourceTypes": ["image"],
      "rejectRequestPattern": ["/^.*\\.(css)"]
		}'

Доступно много других параметров, например задание заголовков HTTP с помощью setExtraHTTPHeaders, задав cookies, а также с использованием gotoOptions чтобы управлять поведением загрузки страницы. Подробнее см. в описании конечной точки справочник обо всех доступных параметрах.

Для страниц с большим количеством JavaScript и одностраничных приложений (SPA) поведение загрузки по умолчанию может давать пустые или неполные результаты. Дело в том, что браузер считает страницу загруженной ещё до того, как JavaScript закончит рендеринг контента.

Проще всего использовать gotoOptions.waitUntil параметр со значением networkidle0 или networkidle2:

{
	"url": "https://example.com",
	"gotoOptions": {
		"waitUntil": "networkidle0"
	}
}

Для более быстрого отклика опытные пользователи могут использовать waitForSelector чтобы дожидаться появления конкретного элемента вместо ожидания остановки всей сетевой активности. Для этого нужно знать, какой CSS-селектор указывает на загрузку нужного контента. Подробнее см. в Тайм-ауты Quick Actions.

User-Agent можно изменить на уровне страницы, передав userAgent в качестве параметра верхнего уровня в теле JSON. Это полезно, если целевой сайт показывает разный контент в зависимости от User-Agent.

Если у вас есть вопросы или возникла ошибка, см. Часто задаваемые вопросы и руководство по устранению неполадок Browser Run.