16 октября некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленным Open Source-проектам, объявила о новом крупном релизе популярного фреймворка для организации распределенных вычислений — Apache Hadoop 2.
Главным новшеством в Apache Hadoop 2 стало добавление YARN — полностью переделанного MapReduce. Основной идеей в создании так называемого MapReduce 2.0 (MRv2), ныне именуемого YARN, является разделение двух крупных функций JobTracker: управление ресурсами и планирование/мониторинг задач — на два демона. В результате, появился глобальный ResourceManager (RM) и отдельный для каждого приложения ApplicationMaster (AM).
Итак, ключевые новшества и изменения в релизе Apache Hadoop 2:
Apache Hadoop YARN — «краеугольный камень Apache Hadoop следующего поколения для запуска приложений, обрабатывающих данные (MapReduce, Apache Storm и т.п.) и сервисов (Apache HBase)»;
высокая доступность для HDFS (Hadoop Distributed File System);
HDFS Federation для хорошей масштабируемости;
бинарная совместимость для существующих MapReduce-приложений, созданных для Hadoop 1.x;
