Кластерные системы, теория и практика. (Книги по созданию самих систем и программированию под них.)

[M31]

Чего-то мне захотелось совсем новенького, а именно попробовать самому создать кластер и решить на нём хоть какую-то задачу. В наличии есть парочка средних машин.
Посоветуйте книжки по созданию таких систем, программированию под них. Ну и естественно, посоветуйте сайты посвящённые кластерным системам

[iZEN]

Apache Tomcat кластеризуется (Web-контейнер Java JSP/Servlets).
JBoss кластеризуется (сервер приложений Java J2EE).
MS SQL Server кластеризуется (СУБД).
Oracle... (СУБД)

[M31]

Apache Tomcat кластеризуется (Web-контейнер Java JSP/Servlets).
JBoss кластеризуется (сервер приложений Java J2EE).
MS SQL Server кластеризуется (СУБД).
Oracle... (СУБД)

Про эти приложения я как бы знал, меня интересует собственно литература по созданию, настройке кластера, и распараллеливанию задач. я хочу создать вычислительный кластер

[Shade]

Apache Tomcat кластеризуется (Web-контейнер Java JSP/Servlets).
JBoss кластеризуется (сервер приложений Java J2EE).
MS SQL Server кластеризуется (СУБД).
Oracle... (СУБД)

Про эти приложения я как бы знал, меня интересует собственно литература по созданию, настройке кластера, и распараллеливанию задач. я хочу создать вычислительный кластер

Посмотри на MPICH и OpenMosix.
Первое -- библиотека для коммуникаций процессов в кластере -- нужна для написания своих программ. Методичка по ней есть на parallel.ru
Второе -- патч для ядра (для 2.6, кажется, все еще в разработке), который позволяет обычным процессам "гулять" по разным машинам

[alv]

Посмотри на MPICH и OpenMosix.

↑

Говорят, что OpenMOSIX с ядрами 2.6 работает криво
Зато по нему есть очень подробный (по крайней мере, большой ) мануальник
С другой стороны, где-то (кажется на opennet.ru) проскакивало сообщение, что открыли MOSIX2, который, по слухам, именно под 2.6 и заточен.
PS собственно пара ссылок:
http://www.openmosix.org.ru/
русское зеркало проекта
http://www.gentoo.org/doc/ru/openmosix-howto.xml
как и все руководства Генту, просто очень полезная дока общего назначения
И еще кажется в Открытых системах были статьи про кластеры такого теоретического типа

[Clear_Mind]

есть книга "параллельное и распределенное программирование на С++" авторы Трейси и Камерон Хьюз (если не ошибаюсь)
там про CORBA, MPI, POSIX и PVM распараллеливание можно почитать
ну и плюс теория по параллельному программированию

[Arceny]

http://linux-cluster.org.ru/

[M31]

parallel.ru отличный ресурс, спасибо.
http://www.gentoo.org/doc/ru/openmosix-howto.xml - думаю скоро пригодится
http://linux-cluster.org.ru/ у меня не пашет
OpenMOSIX с ним пока что не разобрался, что оно и с чем едят?
книга "параллельное и распределенное программирование на С++" - пока что в электронном виде не нашел будем искать

[Arceny]

Хм, у меня тоже не пашет :0 у меян сохранённые страницы просто с него... :-/ вот и указал урл не проверив

[Ali1]

http://linux-cluster.org.ru/ работает через раз, вчера все было нормально.

[Shade]

parallel.ru отличный ресурс, спасибо.
http://www.gentoo.org/doc/ru/openmosix-howto.xml - думаю скоро пригодится
http://linux-cluster.org.ru/ у меня не пашет
OpenMOSIX с ним пока что не разобрался, что оно и с чем едят?
книга "параллельное и распределенное программирование на С++" - пока что в электронном виде не нашел будем искать

OpenMosix -- патч на ядро, который позволяет обычным процессам (т.е. не использующим какие-либо специальные библиотеки), запущенным на одном из узлов кластера, работать на другом узле кластера. Миграция процессов осуществляется по определенным правилам автоматически. Т.е. OpenMosix отвечает только за перераспределение нагрузки (путем перераспределения процессов) между узлами кластера.

Для ядер 2.6 вроде как написаны модули ядра, но не готовы клиентские утилиты (в том числе демон, который должен осуществлять миграцию процессов --- его решили вынести в userspace). И что-то разработка, похоже, заглохла. Последняя версия патча для 2.4 предназначена для ядра 2.4.26

В расчетных же задачах, необходимо как-то организовывать неизбежный в таком случае обмен данными между процессами. Можно организовывать его самому, а можно использовать готовую библиотеку типа MPICH.

[M31]

OpenMosix -- патч на ядро, который позволяет обычным процессам (т.е. не использующим какие-либо специальные библиотеки), запущенным на одном из узлов кластера, работать на другом узле кластера. Миграция процессов осуществляется по определенным правилам автоматически. Т.е. OpenMosix отвечает только за перераспределение нагрузки (путем перераспределения процессов) между узлами кластера.
Для ядер 2.6 вроде как написаны модули ядра, но не готовы клиентские утилиты (в том числе демон, который должен осуществлять миграцию процессов --- его решили вынести в userspace). И что-то разработка, похоже, заглохла. Последняя версия патча для 2.4 предназначена для ядра 2.4.26
В расчетных же задачах, необходимо как-то организовывать неизбежный в таком случае обмен данными между процессами. Можно организовывать его самому, а можно использовать готовую библиотеку типа
.

↑

ООО, становиться уже понятнее. Только вот что-то я не могу понять, а что есть сейчас для ядра ветки 2.6 ? Может есть какой-то аналог OpenMosix? Вот я лазил на сайте оригинального Mosix. Так вроде в Mosix2 есть поддержка ядра ветки 2.6, но как его скачать, я так и не понял(

[Shade]

ООО, становиться уже понятнее. Только вот что-то я не могу понять, а что есть сейчас для ядра ветки 2.6 ? Может есть какой-то аналог OpenMosix? Вот я лазил на сайте оригинального Mosix. Так вроде в Mosix2 есть поддержка ядра ветки 2.6, но как его скачать, я так и не понял(

Для 2.6 в OpenMosix что-то, безусловно, есть. Но на какой стадии готовности -- это вопрос. Смотри сайт разработчиков.

Про mosix. По этой ссылке надо согласиться с лицензионным соглашением и написать заявку на указанный почтовый адрес. Сам не пробовал

[M31]

Про mosix. По этой ссылке надо согласиться с лицензионным соглашением и написать заявку на указанный почтовый адрес. Сам не пробовал

↑

попробуем, может вышлют

Для 2.6 в OpenMosix что-то, безусловно, есть. Но на какой стадии готовности -- это вопрос. Смотри сайт разработчиков.

↑

готовность. это точно

[Ali1]

Про эти приложения я как бы знал, меня интересует собственно литература по созданию, настройке кластера, и распараллеливанию задач. я хочу создать вычислительный кластер

OpenMosix не распаралеливает задачи, а распределяет нагрузку т.е. "вычислительный кластер" на нем вряд-ли получится. Для решения вычислительных задач( пи , системы уравнений. кодирование видио)
более подходит MPICH или pvm. PVM входит в состав почти всех дистрибутивов. Только вот устанавливать его
из пакета не стоит(замучаетесь с переменными окружения и правами доступа) лучше собрать. По MPICH есть
прекрасная штука pknoppix ftp://ftp.chg.ru/pub/Linux/ParallelKnoppix/ . Этот LivCD работает без установки , загружает ноды по сети , прост в настройке . Мне очень помог т.к. одно дело читать, другое увидеть работающую систему.
ЗЫ комбинация transcode pvm действительно ощутимо убыстряет процесс сжатия видео. ИМХО единственное применение в мирных целях.

[Shade]

ЗЫ комбинация transcode pvm действительно ощутимо убыстряет процесс сжатия видео. ИМХО единственное применение в мирных целях.

Ну почему же единственное?

А как же свои собственные расчетные программы? Например, расчет частотной зависимости характеристик антенны, где каждая точка (т.е. на одной частоте) требует нетривиального численного расчета, а точек таких много (~1000), а еще хочется посчитать эти самые зависимости при различных параметрах

Большинство реальных физических задач требуют численного решения. Вопрос в том как распараллелить вычисления. И наиболее это сделать, очевидно, в случае, если вычисления выполняются последовательно, как с антенной.

[alv]

Большинство реальных физических задач требуют численного решения.

↑

Все реальные геологические задачи, которые в принципе можно считать, допускают _только_ численное решение
Так что когда в нашей стране (и дружественно СНГовских) кончатся люминии, чугунии, урании и прочие золотии (не говоря уж нефтиях и газевичах), тема кластеров будет ох как востребована
А срок этот обозрим...

[Ali1]

.... тема кластеров будет ох как востребована
А срок этот обозрим...

Подтверждение тому Текущий рейтинг по СНГ http://www.supercomputers.ru/?page=rating

ЗЫ
PING linux-cluster.org.ru (87.251.175.74) 56(84) bytes of data.
...
--- linux-cluster.org.ru ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 3999ms
rtt min/avg/max/mdev = 220.041/228.776/240.067/7.704 ms

[iZEN]

Про эти приложения я как бы знал, меня интересует собственно литература по созданию, настройке кластера, и распараллеливанию задач. я хочу создать вычислительный кластер

Тогда это:
http://www.piter.com/book/978527200053/
"Распределенные системы. Принципы и парадигмы", Таненбаум Э. С., Ван Стеен М.
для начала.

[M31]

Ali1 Уже качаю этот кнопикс, правда, вот от сюда http://parallelknoppix.net/;)
Ali1 http://www.supercomputers.ru/?page=rating - полезная ссылка
iZEN За книжечку сенкс постараюсь найти в бумажном виде

[M31]

http://www.piter.com/book/978527200053/
"Распределенные системы. Принципы и парадигмы", Таненбаум Э. С., Ван Стеен М.

Может у кого-то есть в электронном виде, а то я её у нас в городе нашел, хотят за неё 89 гр

[Ali1]

Вчера наткнулся.
QNX/UNIX. Анатомия параллелизма http://www.ozon.ru/context/detail/id/2512096/