Тестовый стенд Apache NiFi

[AntonIV8]

Начинается итерация по созданию тестового стенда ApacheNiFi

Тестовый стенд состоит из след компонентов:
-Фронтенд
-Odata-бэкенд netcore 3.1 (с установленным AuditBigData)
-Основная БД приложения - Postgres
-БД аудита - ClickHouse
-Аналитическая БД - денормализованная в Clickhouse
-Apache NiFi
-Компоненты должны запускаться в виде Docker-сервисов

Функциональные требования:

С помощью ETL-системы Apache NiFi, данные из основной БД Postgres и БД Аудита должны переливаться в аналитическую БД. В Apache NiFi должна быть выполнена корректная настройка потоков данных (т.к в источниках сразу 2 БД). Попробовать реализовать несколько сценариев обновления данных:
-по расписанию
-по мере появления данных в БД

Схема:

[AntonIV8]

Нарисовал более подробную схему, с перетеканием данных

И логикой формирования итоговой аналитической таблицы