BD201Notes
  • Notes
  • Structure
  • Links
  • Topics for writiing task
    • HDFS
    • YARN
    • Hive
    • Kafka
    • Spark
    • ELK
  • Questions
    • Questions with answers
      • 2. HDFS
      • 3. DEVOPS
      • 4. HIVE
      • 7. STREAMING
      • 8. Elastic
    • Questions for screanings
      • junior
  • DevOps
    • DevOps: Practices
    • DevOps: Responsibilities in a Cloud
    • DevOps: CI/CD
    • DevOps: Tools. Docker
    • DevOps: Tools. Jenkins
    • DevOps: Tools. Puppet
    • DevOps: Tools. Ansible
    • DevOps: Tools. Kubernetes
  • Introduction To Big Data
    • Value of Data
    • Types of Data (Structured and Unstructured)
    • Schema on read & schema on write
    • Speed of data – from real time to batched processing
    • Storage & formats of data & compression
  • Hadoop Core
    • Hadoop Ecosystem
    • Hadoop Architecture
    • YARN
      • YARN: Logical and physical projections
      • YARN: Scheduler
      • YARN: Exec Modes
      • YARN: Security
    • MAP REDUCE
      • MAP REDUCE: Hints
  • Data Flow
    • NiFi
      • NiFi. HDP pre-configuration guide
      • StreamSets
  • Spark
    • Links
  • ELK
    • Elasticsearch
      • Elasticsearch: Installation and Configuration
    • Kibana
      • Kibana: Installation
    • Logstash
    • Beats
  • Orchestration & Scheduling
    • Apache Airflow
      • Airflow: Notes
Powered by GitBook
On this page
  • FIFO scheduler
  • Capacity scheduler
  • Fair scheduler

Was this helpful?

  1. Hadoop Core
  2. YARN

YARN: Scheduler

PreviousYARN: Logical and physical projectionsNextYARN: Exec Modes

Last updated 5 years ago

Was this helpful?

FIFO scheduler

  • помещает приложения в очередь и запускает их в порядке их подачи (first in, first out).

  • оригинальные алгоритмы планирования старого Hadoop

  • нет понятия приоритета или размера для джоб

  • not recommended for production

  • рекомендуется для небольших кластеров

Capacity scheduler

  • позволяет разделять кластер на очереди, в результате чего каждой очереди выделяется определенная емкость всего кластера.

  • иерархия очередей: очереди могут быть разделены иерархически

  • эластичность очереди: выделяет резервные ресурсы для заданий в другой очереди

Планировщик по умолчанию в Hortonworks.

Fair scheduler

  • динамически балансирует ресурсы между всеми запущенными заданиями.

  • первая джоба забирает все ресурсы

  • вторая джоба начинается, пока первая еще работает

  • через некоторое время каждая джоба использует половину ресурсов

  • первой джобе возвращаются все ресурсы, когда заканчивает вторая

Планировщик по умолчанию в Cloudera.

FIFO scheduler
Capacity scheduler
Fair scheduler