YARN

YARN (Yet Another Resource Negotiator) предназначен для того, чтобы приложения могли использовать ресурсы кластера общим, безопасным образом.

• resource manager (disk, memory, CPU)

• job scheduler (YARN applications)

• data operating system

Необходимо знать топологию кластера, чтобы эффективно планировать и оптимизировать доступ к данным

Components of YARN:

• Resource Manager - это компонент уровня кластера, работающий на главном компьютере (Master machine). Следовательно, он управляет ресурсами и планирует приложения, работающие поверх YARN.

  Он состоит из :

  • планировщик (Scheduler)

  • диспетчер приложений (Applications Manager)

• Node Manager - Это компонент уровня ноды. Он работает на каждой salave машине. Он постоянно общается с Resource Manager, чтобы оставаться в курсе того, какие ресурсы, где требуются

• Application Maters - управляет жизненным циклом для каждого приложения, согласовывает ресурсы с RM, работает с NM для выполнения и мониторинга задач

Yarn может взаимодействовать с HDFS для получения информации о местонахождении данных (data locality) для оптимизации обработки задач.