Apache Airflow helm-chart/1.19.0: что нового

Вышел helm-chart для Airflow 1.19.0. Там пара вещей, которые наконец-то закрывают больные вопросы, и пара изменений, которые потребуют твоего внимания при апдейте.

Что важного

Во-первых, приехала настройка кэша для агрегации StatsD метрик. Проблема стара, как мир: демоны StatsD в долгоживущих деплоях могли незаметно сожрать всю память, накапливая метрики. Теперь можно включить LRU-кэш с TTL, задав его размер и время жизни записей. По умолчанию всё выключено, но если память утекает — ставь statsd.cache.ttl больше нуля.

Во-вторых, появилась полноценная поддержка нескольких независимых наборов Celery воркеров. Это значит, что можно нарезать разные пулы под разные задачи, каждый со своими репликами, ресурсами и, что ключевое, своей логикой автомасштабирования через KEDA. Глобальные настройки теперь можно переопределять для каждого набора отдельно.

В-третьих, конфигурацию привели к более логичному виду. Опции создания дефолтного пользователя теперь живут в секции createUserJob, а всё специфичное для Celery собрали под workers.celery. Старые пути пока работают, но уже помечены как deprecated.

Что сломали

Прямого щелчка по коленкам нет, но движению к светлому будущему мешают deprecated опции. Секция webserver.defaultUser и параметры вроде workers.replicas теперь считаются устаревшими. Хуже того, в документации раньше фигурировал никогда не работавший apiServer.defaultUser — теперь попытка его использовать вызовет ошибку. Если обновляешься, готовься почистить values-файлы, перенося настройки в новые секции.

Обновляться или подождать

Обновляться можно, если тебе критичен контроль за памятью StatsD или нужна гибкая топология воркеров. Просто не пропусти миграцию deprecated-параметров — они следующей версией отвалятся окончательно.