Brief¶
DAG Relay Service это сервис для упрощение работы с публикацией YAMLов DAGов в наш DataMesh (Airflow). Общая схема взаимодейсвия:
Какие проблемы призван решить данный сервис:
- абстрагироваться от необходимости пушить YAMLы DAGов напрямую в репозиторий DataMeshа
- возможность хранить YAMLы внутри репы самого проекта
- добавить возможность кастомной шаблонизии/генерации YAMLов, удобным каждому проекту
- добавить возможность генерить динамические YAMLы со стороны проекта
- сделать всё это прозрачно для команды DataMeshа, для них в итоге всё это будет выглядеть как push в git репозиторий