INTEGRITY Документация

DAG Workflows

Python Workflows SDK поддерживает Workflow в формате DAG декларативным способом, с использованием step.do и имена параметров для определения зависимостей (других шагов, которые должны завершиться, прежде чем можно будет выполнить шаг).

from workers import Response, WorkflowEntrypoint, WorkerEntrypoint

class PythonWorkflowStarter(WorkflowEntrypoint):
    async def run(self, event, step):
        async def await_step(fn):
            try:
                return await fn()
            except TypeError as e:
                print(f"Successfully caught {type(e).__name__}: {e}")

        await step.sleep('demo sleep', '10 seconds')

        @step.do()
        async def dep_1():
            # does stuff
            print('executing dep1')
            return 'dep1'

        @step.do()
        async def dep_2():
            # does stuff
            print('executing dep2')
            return 'dep2'

        @step.do(concurrent=True)
        async def final_step(dep_1, dep_2):
            # does stuff
            print(f'{dep_1} {dep_2}')

        await await_step(final_step)

class Default(WorkerEntrypoint):
    async def fetch(self, request):
        await self.env.MY_WORKFLOW.create()
        return Response("Hello world!")

В этом примере dep_1 и dep_2 выполняются параллельно перед выполнением final_step, который зависит от них обоих.

Имея concurrent=True позволяет разрешать зависимости параллельно. Если зависимость уже выполнена, она пропускается, а её возвращённое значение используется повторно.

Этот паттерн полезен для Workflow ромбовидной формы, где шаг зависит от двух или более других шагов, которые могут выполняться параллельно.