YARN: Logical and physical projections

Logically:

  • Основная идея Yarn - разделить две основные обязанности системы распределенной обработки на отдельные роли: глобальный ResourceManager (RM) и ApplicationMaster (AM) для каждого приложения.

  • AM для каждого приложения, по сути, является структурно-специфической сущностью, и ему поручено согласование ресурсов с RM и работа с NM (ами) для выполнения и мониторинга задач компонента.

  • AM несет ответственность за согласование соответствующих контейнеров ресурсов с планировщиком (частью RM, который выделяет ресурсы), отслеживает их состояние и отслеживает прогресс

  • С точки зрения системы, сам ApplicationMaster работает как обычный контейнер

Physically:

  • ResourceManager (RM) и подчиненный узел NodeManager (NM) образуют новую универсальную систему для распределенного управления приложениями.

  • NM - slave для каждой машины, которое отвечает за запуск контейнеров приложений, мониторинг их использования ресурсов (процессор, память, диск, сеть) и сообщает об этом в RM

  • RM является высшим органом, который осуществляет арбитраж ресурсов между всеми приложениями в системе

Application lifecycle

  • Client submits the job to RM

  • Resource Manager launches AM in a Container

  • Application Master registers with RM

  • Application Master allocates Containers

  • NodeManager launches the containers

  • Container executes the task

  • Client gets status from AM

PreviousYARNNextYARN: Scheduler

Last updated