YARN

YARN (Yet Another Resource Negotiator) предназначен для того, чтобы приложения могли использовать ресурсы кластера общим, безопасным образом.

  • resource manager (disk, memory, CPU)

  • job scheduler (YARN applications)

  • data operating system

Необходимо знать топологию кластера, чтобы эффективно планировать и оптимизировать доступ к данным

Components of YARN:

  • Resource Manager - это компонент уровня кластера, работающий на главном компьютере (Master machine). Следовательно, он управляет ресурсами и планирует приложения, работающие поверх YARN.

    Он состоит из :

    • планировщик (Scheduler)

    • диспетчер приложений (Applications Manager)

  • Node Manager - Это компонент уровня ноды. Он работает на каждой salave машине. Он постоянно общается с Resource Manager, чтобы оставаться в курсе того, какие ресурсы, где требуются

  • Application Maters - управляет жизненным циклом для каждого приложения, согласовывает ресурсы с RM, работает с NM для выполнения и мониторинга задач

Yarn может взаимодействовать с HDFS для получения информации о местонахождении данных (data locality) для оптимизации обработки задач.

PreviousHadoop ArchitectureNextYARN: Logical and physical projections

Last updated