Сегодня некоммерческая организация Apache Software Foundation (ASF) опубликовала пресс-релиз, рассказав о популярности Apache Hadoop и его последней стабильной версии — 2.8.
Apache Hadoop — Open Source-фреймворк для обработки больших объёмов данных с использованием модели MapReduce в кластерах. ASF приводит данные от исследователей Forrester Research о том, что в 2017 году компании потратят около 800 миллионов USD на программное обеспечение и покупку услуг, связанных с Hadoop, и прогноз Zion Market Research о том, что мировой рынок Hadoop к 2022 году превысит 87 миллиардов USD, показывая средний годовой рост в 50 % на протяжении пяти лет.
Релиз Apache Hadoop 2.8, ставший результатом 2 лет работы и вобравший в себя более 2900 коммитов, был представлен ещё 22 марта этого года. Среди самых значимых изменений в Apache Hadoop 2.8 называются:
важные улучшения в безопасности включая защиту от атак вида Cross-Frame Scripting (XFS) в Hadoop UI и атак вида Cross-Site Request Forgery (CSRF) в Hadoop REST API;
поддержка Microsoft Azure Data Lake как источника и адресата данных;
значительные улучшения в масштабировании, производительности и безопасности у клиента S3A, предназначенного для работы с данными в облаке Amazon S3 (результатом стала скорость работы, которая не уступает собственному закрытому решению Amazon EMR);
улучшения в WebHDFS: фильтрация CSRF-проникновений, поддержка OAuth2, разрешение/запрет снапшотов;
улучшенная интеграция с другими приложениями благодаря вынесению hdfs-client в отдельный JAR-файл;
YARN NodeManager Resource Reconfiguration в консольном интерфейсе RM Admin CLI (особенно актуально для облачных инсталляций кластеров YARN).
Подробности о новых возможностях в Apache Hadoop 2.8 доступны в Release Notes.
