[NIXP] Apache Sqoop переведен в разряд ведущих проектов ASF

[Dmitry Shurupov]

Некоммерческая организация Apache Software Foundation (ASF), обеспечивающая поддержку многочисленных Open Source-проектов, объявила о том, что продукт Apache Sqoop перешел из её инкубатора (Apache Incubator) в разряд ведущих проектов (Top-Level Project, TLP). Apache Sqoop — это инструмент, предназначенный для эффективной передачи больших массивов данных (миллиарды записей) между Apache Hadoop и структурированными СУБД (например, реляционными). Он поддерживает импорт данных из хранилищ данных корпоративного уровня в Hadoop Distributed File System или такие системы, как Apache Hive и HBase. В инкубатор ASF проект Sqoop попал в июне 2011 года, после чего он быстро получил статус «идеального решения для передачи данных из SQL в Hadoop». Среди поддерживаемых в Apache Sqoop СУБД представлены как популярные свободные продукты (MySQL и PostgreSQL), так и проприетарные (Oracle Database, Microsoft SQL Server, IBM DB2). Исходный код Apache Sqoop распространяется по лицензии Apache License v2.0. Подробности об этом проекте можно найти на sqoop.apache.org.

оригинал на www.nixp.ru

[sash-kan]

Apache Sqoop — это инструмент, предназначенный для эффективной передачи больших массивов данных (миллиарды записей) между Apache Hadoop и структурированными СУБД (например, реляционными).

несомненно, для таких объёмов нужна особая, уличная магия…
интересно, у них там через /lib/astral или через /dev/magic работает «эффективная передача»?

[Stasroot1]

Apache Sqoop — это инструмент, предназначенный для эффективной передачи больших массивов данных (миллиарды записей) между Apache Hadoop и структурированными СУБД (например, реляционными).

несомненно, для таких объёмов нужна особая, уличная магия…
интересно, у них там через /lib/astral или через /dev/magic работает «эффективная передача»?

Скорее всего используютэто: /dev/astral/telepathy Прошу прощения за наглое уточнение

Интересно а как сейчас, год, два назад, такие количества данных обрабатывается/передаются? В плане без указанной в новости технологии?

[Crazy]

Интересно а как сейчас, год, два назад, такие количества данных обрабатывается/передаются? В плане без указанной в новости технологии?

Велосипеды делали.

[sash-kan]

Интересно а как сейчас, год, два назад, такие количества данных обрабатывается/передаются? В плане без указанной в новости технологии?

Велосипеды делали.

точно!
а ныне наконец-то построили «колёсное транспортное средство, приводимое в движение мускульной силой человека через ножные педали или (редко) через ручные рычаги»·
о чём и новость, собственно·

[Crazy]

а ныне наконец-то построили «колёсное транспортное средство, приводимое в движение мускульной силой человека через ножные педали или (редко) через ручные рычаги»·

Однако Apache Hadoop специфичная штука, применяющаяся для специфичных задач. Как только не будет укладывается в объем/время, будут делать новый велосипед.