YARN: Logical and physical projections

Logically:

• Основная идея Yarn - разделить две основные обязанности системы распределенной обработки на отдельные роли: глобальный ResourceManager (RM) и ApplicationMaster (AM) для каждого приложения.

• AM для каждого приложения, по сути, является структурно-специфической сущностью, и ему поручено согласование ресурсов с RM и работа с NM (ами) для выполнения и мониторинга задач компонента.

• AM несет ответственность за согласование соответствующих контейнеров ресурсов с планировщиком (частью RM, который выделяет ресурсы), отслеживает их состояние и отслеживает прогресс

• С точки зрения системы, сам ApplicationMaster работает как обычный контейнер

Physically:

• ResourceManager (RM) и подчиненный узел NodeManager (NM) образуют новую универсальную систему для распределенного управления приложениями.

• NM - slave для каждой машины, которое отвечает за запуск контейнеров приложений, мониторинг их использования ресурсов (процессор, память, диск, сеть) и сообщает об этом в RM

• RM является высшим органом, который осуществляет арбитраж ресурсов между всеми приложениями в системе

Application lifecycle

• Client submits the job to RM

• Resource Manager launches AM in a Container

• Application Master registers with RM

• Application Master allocates Containers

• NodeManager launches the containers

• Container executes the task

• Client gets status from AM