← Cloudflare Pipelines / pipelines / streams

Správa streamů

Naučíte se:

• Vytvářejte a konfigurujte streamy pro příjem dat
• Zobrazení a aktualizace nastavení streamu
• Odstraňte streamy, které již nejsou potřeba

Streams jsou pipeline zpřístupněny jako tabulky SQL pod názvem streamu (například SELECT * FROM my_stream).

Chcete-li vytvořit stream, spusťte příkaz pipelines streams create příkaz:

npx wrangler pipelines streams create <STREAM_NAME>

Případně můžete spustit interaktivního průvodce nastavením, který pomůže nakonfigurovat stream, sink a pipeline, pomocí příkazu pipelines setup příkaz:

npx wrangler pipelines setup

Streams podporují dva přístupy ke zpracování dat:

• Strukturované streamy: Definujte schéma s konkrétními poli a datovými typy. Události se vůči tomuto schématu validují.
• Nestrukturované streamy: Přijímá libovolný platný JSON bez validace. Tyto streamy mají jeden value sloupec obsahující data JSON.

Chcete-li vytvořit strukturovaný stream, poskytněte soubor se schématem:

npx wrangler pipelines streams create my-stream --schema-file schema.json

Příklad souboru se schématem:

{
	"fields": [
		{
			"name": "user_id",
			"type": "string",
			"required": true
		},
		{
			"name": "amount",
			"type": "float64",
			"required": false
		},
		{
			"name": "tags",
			"type": "list",
			"required": false,
			"items": {
				"type": "string"
			}
		},
		{
			"name": "metadata",
			"type": "struct",
			"required": false,
			"fields": [
				{
					"name": "source",
					"type": "string",
					"required": false
				},
				{
					"name": "priority",
					"type": "int32",
					"required": false
				}
			]
		}
	]
}

Podporované datové typy:

• string - textové hodnoty
• int32, int64 - celá čísla
• float32, float64 - čísla s desetinnou čárkou
• bool - booleovská hodnota true/false
• timestamp - časové značky ve formátu RFC 3339 nebo číselné hodnoty zpracované jako Unix sekundy, milisekundy či mikrosekundy (podle jednotky)
• json - objekty JSON
• binary - binární data (kódovaná pomocí base64)
• list - pole hodnot
• struct - vnořené objekty s definovanými poli

Chcete-li zobrazit konkrétní stream, spusťte příkaz pipelines streams get příkaz s ID streamu nebo s jeho názvem:

npx wrangler pipelines streams get <STREAM_NAME_OR_ID>

Chcete-li zobrazit seznam všech streamů ve svém účtu, spusťte příkaz pipelines streams list příkaz:

npx wrangler pipelines streams list

Některá nastavení HTTP ingest můžete upravit i po vytvoření streamu. Úpravy schématu po vytvoření streamu podporovány nejsou.

Chcete-li odstranit stream, spusťte příkaz pipelines streams delete příkaz:

npx wrangler pipelines streams delete <STREAM_ID>