Brief

DAG Relay Service это сервис для упрощение работы с публикацией YAMLов DAGов в наш DataMesh (Airflow). Общая схема взаимодейсвия: diagram

Какие проблемы призван решить данный сервис:

  • абстрагироваться от необходимости пушить YAMLы DAGов напрямую в репозиторий DataMeshа
  • возможность хранить YAMLы внутри репы самого проекта
  • добавить возможность кастомной шаблонизии/генерации YAMLов, удобным каждому проекту
  • добавить возможность генерить динамические YAMLы со стороны проекта
  • сделать всё это прозрачно для команды DataMeshа, для них в итоге всё это будет выглядеть как push в git репозиторий