INTEGRITY Dokumentace

DAG Workflows

Python Workflows SDK podporuje DAG workflow deklarativním způsobem pomocí step.do a názvy parametrů k definování závislostí (dalších kroků, které musí být dokončeny, než může daný krok proběhnout).

from workers import Response, WorkflowEntrypoint, WorkerEntrypoint

class PythonWorkflowStarter(WorkflowEntrypoint):
    async def run(self, event, step):
        async def await_step(fn):
            try:
                return await fn()
            except TypeError as e:
                print(f"Successfully caught {type(e).__name__}: {e}")

        await step.sleep('demo sleep', '10 seconds')

        @step.do()
        async def dep_1():
            # does stuff
            print('executing dep1')
            return 'dep1'

        @step.do()
        async def dep_2():
            # does stuff
            print('executing dep2')
            return 'dep2'

        @step.do(concurrent=True)
        async def final_step(dep_1, dep_2):
            # does stuff
            print(f'{dep_1} {dep_2}')

        await await_step(final_step)

class Default(WorkerEntrypoint):
    async def fetch(self, request):
        await self.env.MY_WORKFLOW.create()
        return Response("Hello world!")

V tomto příkladu dep_1 a dep_2 se spouští souběžně před provedením final_step, která závisí na obou z nich.

Díky concurrent=True umožňuje souběžně vyřešit závislosti. Pokud je závislost již dokončená, přeskočí se a znovu se použije její návratová hodnota.

Tento vzor se hodí pro workflow ve tvaru diamantu, kdy krok závisí na dvou nebo více dalších krocích, které mohou běžet souběžně.