В минувшую среду было объявлено об открытии кода Google MR4C (MapReduce for C) — фреймворка, позволяющего заданиям Hadoop использовать библиотеки, написанные на C/C++.
MR4C изначально был разработан в рамках проекта Skybox Imaging для обработки больших объемов геодезических данных и спутниковых снимков на кластерах под управлением Hadoop. Необходимость разработки была связана с желанием программистов использовать стандартные библиотеки для работы с изображениями, написанные на C и C++.
Hadoop, как известно, написан на Java, а выбор C++ для разработки Google MapReduce и QFS (Quantcast File System — аналог Hadoop Distributed File System, разработанный в Google) был продиктован именно соображениями производительности. По той же причине БД MemSQL для выполнения SQL-запросов осуществляет генерацию кода в C++.
Исходный код фреймворка MR4C распространяется на условиях свободной лицензии Apache License v2 и доступен на GitHub.
оригинал на www.nixp.ru
[NIXP] Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)
Модератор: Модераторы разделов
-
Dmitry Shurupov
- Сообщения: 336
- Статус: Open Source geek
- ОС: Ubuntu Linux
[NIXP] Google открыла код фреймворка для обработки больших данных — MapReduce for C (MR4C)
По-моему, это еще один повод перейти на Убунту.