YARN: Scheduler
FIFO scheduler
помещает приложения в очередь и запускает их в порядке их подачи (first in, first out).
оригинальные алгоритмы планирования старого Hadoop
нет понятия приоритета или размера для джоб
not recommended for production
рекомендуется для небольших кластеров
Capacity scheduler
позволяет разделять кластер на очереди, в результате чего каждой очереди выделяется определенная емкость всего кластера.
иерархия очередей: очереди могут быть разделены иерархически
эластичность очереди: выделяет резервные ресурсы для заданий в другой очереди
Планировщик по умолчанию в Hortonworks.
Fair scheduler
динамически балансирует ресурсы между всеми запущенными заданиями.
первая джоба забирает все ресурсы
вторая джоба начинается, пока первая еще работает
через некоторое время каждая джоба использует половину ресурсов
первой джобе возвращаются все ресурсы, когда заканчивает вторая
Планировщик по умолчанию в Cloudera.
Last updated
Was this helpful?