Масштабирование по расписанию

Private preview

Сервисы ClickHouse Cloud автоматически масштабируются в зависимости от загрузки CPU и памяти, но для многих рабочих нагрузок характерны предсказуемые шаблоны — ежедневные всплески ингестии, пакетные задания, выполняемые по ночам, или трафик, который резко снижается по выходным. Для таких сценариев использования Scheduled Scaling позволяет точно задать, когда ваш сервис должен масштабироваться вверх или вниз, независимо от метрик в реальном времени.

С помощью Scheduled Scaling вы настраиваете набор правил на основе времени прямо в консоли ClickHouse Cloud. Каждое правило задаёт время, периодичность (ежедневно, еженедельно или по пользовательскому расписанию) и целевой размер — либо число реплик (горизонтально), либо уровень памяти (вертикально). В назначенное время ClickHouse Cloud автоматически применяет изменение, чтобы сервис был масштабирован должным образом ещё до появления нагрузки, а не реагировал на неё постфактум.

Это отличается от автомасштабирования на основе метрик, которое динамически реагирует на нагрузку CPU и памяти. Scheduled Scaling детерминировано: вы точно знаете, когда произойдёт масштабирование и до какого размера. Эти два подхода дополняют друг друга — у сервиса может быть базовое расписание масштабирования, и при этом он всё равно может получать преимущества от автомасштабирования в пределах этого окна, если рабочие нагрузки неожиданно меняются.

В настоящее время Scheduled Scaling доступно в закрытой предварительной версии. Чтобы включить его для вашей организации, обратитесь в службу поддержки ClickHouse.

Настройка расписания масштабирования

Чтобы настроить расписание, перейдите к своему сервису в ClickHouse Cloud и откройте Settings. Затем выберите Schedule Override и добавьте новое правило.

Для каждого правила нужно указать:

• Time: Когда должно выполняться действие масштабирования (по вашему местному времени)
• Recurrence: Как часто повторяется правило (например, каждый будний день, каждое воскресенье)
• Target size: До какого числа реплик или объема памяти нужно масштабировать

Несколько правил можно объединить в полное недельное расписание. Например, можно увеличивать число реплик до 5 каждый будний день в 6:00, а в 20:00 уменьшать его обратно до 2.

Сценарии использования

Пакетные задачи и ETL-процессы: Увеличивайте масштаб перед запуском ночного задания по приёму данных, а после его завершения уменьшайте, чтобы не выделять лишние ресурсы в дневные часы простоя.

Предсказуемые шаблоны трафика: Для сервисов со стабильными пиковыми часами (например, с пиковым трафиком запросов в рабочее время) можно заранее увеличить масштаб, чтобы справиться с нагрузкой до её появления, а не ждать, пока среагирует автоскейлинг.

Снижение масштаба на выходных: Сокращайте число реплик или снижайте уровень памяти на выходных, когда нагрузка ниже, а затем восстанавливайте ёмкость перед утренним пиком в понедельник.

Контроль затрат: Для команд, контролирующих расходы на ClickHouse Cloud, запланированное уменьшение масштаба в периоды заведомо низкой загрузки позволяет заметно сократить потребление ресурсов без какого-либо ручного вмешательства.

Примечание

Запланированное действие масштабирования и одновременно выданная рекомендация автоскейлинга могут пересекаться — в момент срабатывания приоритет имеет расписание.

Обработка пиков рабочей нагрузки

Если вы ожидаете всплеск рабочей нагрузки, вы можете использовать ClickHouse Cloud API, чтобы заранее увеличить масштаб сервиса для обработки этого всплеска, а после снижения нагрузки — уменьшить его.

Чтобы узнать текущее количество используемых ядер CPU и объём памяти для каждой из ваших реплик, вы можете выполнить запрос ниже:

SELECT *
FROM clusterAllReplicas('default', view(
    SELECT
        hostname() AS server,
        anyIf(value, metric = 'CGroupMaxCPU') AS cpu_cores,
        formatReadableSize(anyIf(value, metric = 'CGroupMemoryTotal')) AS memory
    FROM system.asynchronous_metrics
))
ORDER BY server ASC
SETTINGS skip_unavailable_shards = 1