← Referenční architektury / reference-architecture / diagrams / storage
Migrace dat objektového úložiště na vyžádání
Úvod
Migrace dat mezi poskytovateli cloudového objektového úložiště může být náročná a nákladná. Je potřeba zajistit, aby nedošlo k vynechání žádných objektů, zejména pokud během migrace přibývají nová data. Kromě toho je potřeba počítat s případným výrazným jednorázovým poplatkem za přenos dat.
Aby Cloudflare tyto výzvy vyřešil, vytvořil dva migrační nástroje: Sippy a Super Slurper. Sippy je služba pro migraci dat na vyžádání a je hlavním tématem tohoto diagramu referenční architektury. Super Slurper je naproti tomu určen pro rozsáhlé jednorázové migrace do globální služby objektového úložiště Cloudflare, R2. Přesun všech dat najednou nemusí pro váš scénář fungovat, a právě v tom může pomoci Sippy.
Sippy umožňuje přenášet data od jiných poskytovatelů cloudu do Cloudflare R2 v okamžiku, kdy jsou vyžádána. Tento postup je ideální v situacích, kdy chcete předejít vysokým jednorázovým poplatkům za přenos dat a migrovat data selektivně, jen když k nim někdo přistupuje.
Poplatky za odchozí provoz (egress) specifické pro migraci, které vznikají při používání cloudového úložiště jiných poskytovatelů, lze snížit využitím požadavků v rámci toku vaší aplikace, kde byste egress poplatky za kopírování objektů stejně platili, a to současným kopírováním do R2.
Pomocí Sippy migrujte často přistupované datové objekty a ihned začněte šetřit na poplatcích za egress. Zbývající data poté migrujte pomocí Super Sluper.
Sippy funguje takto: nejprve se pokusí načíst objekt z úložiště R2. Pokud objekt v R2 není, načte ho ze zdrojového cloudového úložiště objektů. Zároveň ho přidá do R2 pro budoucí přístup, takže migrace dat probíhá plynule a efektivně.
Migrace dat objektového úložiště na vyžádání pomocí Sippy
- Klient si vyžádá objekt z R2 pomocí Workers ↗, S3 API ↗, nebo veřejný bucket ↗.
- Pokud se objekt najde ve vašem bucketu R2, doručí se klientovi.
- Pokud se objekt v R2 nenajde, vrátí se současně z vašeho zdrojového úložného bucketu a zároveň se zkopíruje do R2. Poznámka: u některých velkých objektů může kopírování do R2 vyžadovat více požadavků, protože se přenášejí jako vícedílná nahrávání. Z pohledu klienta ale i tak vždy obdrží požadovaný soubor.
Jakmile jsou objekty zkopírované, další požadavky se obsluhují z R2 a úspory na poplatcích za egress se projeví okamžitě.