Могут ли быть "грабли" в реализации поекта? (Создать персональный суперкомпьютер)

[homecluster]

Могут ли быть "грабли" в реализации поекта?
Недавно в сети появились данные о персональных микрокомпьютерах на АРМ. Такой микрокомпьютер имеет порт USB, порт для видеопанели со звуком, порт для проводного интернета. На этом микрокомпьютере установлен дистрибутив на основе Линукса. Габариты - с пачку сигарет. И появилась идея создать кластер с использованием таких микрокомпьютеров. За основу берем персональный компьютер, желательно чтобы на его материнской плате было 10-12 портов USB с одним HDD, чтобы было в корпусе больше свободного места. В свободные места для HDD ставим эти миникомпьютеры, соединяем их разъёмы USB с разъёмами USB на материнской плате, порты проводного интернет собираем в один свичь и его цепляем на сетевой порт на материнской плате. И остаётся настроить такой персональный суперкомпьютер используя ПО входящее в дистрибутивы Линукса которые установлены и на микрокомпьютерах и на базовом ПК. Тема открыта для обсуждения и участия.

[Ленивая Бестолочь]

зачем соединять по usb?
что планируете запускать в кластере?
портируемость кластерного софта под arm проверяли?

[homecluster]

зачем соединять по usb?
что планируете запускать в кластере?
портируемость кластерного софта под arm проверяли?

Что запускать - это следующая тема. Сначала нужно создать.

[NickLion]

Близкое, отсюда:
Kickstarter, игры и Linux

http://www.kickstarter.com/projects/adapte...r-for-everyone/
в частности
http://www.kickstarter.com/projects/adapte...ne/posts/323691

[azsx]

я видел один в один такой комп, собран в стандартном корпусе, но на мат платах с intel atom, вроде там было подробное описание комплектующих + корпус самому надо будет обработать внутри.
Там же в комментариях задавали вопрос, нафига вообще нужен такой супер компьютер?

[daedalus]

Производительность такого комплекса может быть высокой, я это отрицать не буду. Но экономически этот проект не выгоден.Я считаю, что наиболее оптимальный (цена/производительность) вариант - вычислительный кластер на видеокартах. Есть материнские платы с поддержкой четырех и более видеокарт.
Более подробно можно почитать тут и вот тут, статейка древняя, но актуальна по сей день ,учитывая ,что с 2009 года видеокарты перешли на новый техпроцесс, соответсвенно греются меньше, едят меньше, а производительность у них больше.

От себя добавлю, что являясь членом команды TSC Russia, использую компьютер по такой технологии (core 2 Quad Q9550, 16384MB RAM, GF9800GX2 * 4 штуки), производительность 6.75 TFLOPs, управления под Windows XP (CUDA в оффтопиковой оси лучше работает, чем в драйвере под Linux).

[homecluster]

Близкое, отсюда:
Kickstarter, игры и Linux

http://www.kickstarter.com/projects/adapte...r-for-everyone/
в частности
http://www.kickstarter.com/projects/adapte...ne/posts/323691

Спасибо за ссылки.

я видел один в один такой комп, собран в стандартном корпусе, но на мат платах с intel atom, вроде там было подробное описание комплектующих + корпус самому надо будет обработать внутри.
Там же в комментариях задавали вопрос, нафига вообще нужен такой супер компьютер?

Я тоже знаю про этот комп. А вопросы зачем будут задавать всегда.

[homecluster]

Производительность такого комплекса может быть высокой, я это отрицать не буду. Но экономически этот проект не выгоден.Я считаю, что наиболее оптимальный (цена/производительность) вариант - вычислительный кластер на видеокартах. Есть материнские платы с поддержкой четырех и более видеокарт.
Более подробно можно почитать тут и вот тут, статейка древняя, но актуальна по сей день ,учитывая ,что с 2009 года видеокарты перешли на новый техпроцесс, соответсвенно греются меньше, едят меньше, а производительность у них больше.

От себя добавлю, что являясь членом команды TSC Russia, использую компьютер по такой технологии (core 2 Quad Q9550, 16384MB RAM, GF9800GX2 * 4 штуки), производительность 6.75 TFLOPs, управления под Windows XP (CUDA в оффтопиковой оси лучше работает, чем в драйвере под Linux).

Здесь просматириваются два подхода к в реализации "суперкомпьютера". Первый - создать мегажелезку с мегапроизводительностью. Второй - использовать для суперкомпьютера формально независимые вычислительные системы и путем объединения из через внешнюю сеть и загрузки соответствующего ПО получить нужный результат. Вариант с CUDA это вариан создания супержелезки. Собственно что имеет эта супержелезка кроме GPU, памяти и шины PCIE? Ничего более. Сама по себе это супержелезка бессыслена. То есть пользователь такой супержелезки привязан в своём творчестве к производителю этой железяки. Даст производитель софт и драйвера - железку можно использовать. А не даст - увы, формально железка есть а использовать её кроме прогона демонстрашек нет возможности. По этому мне кажется что для бизнеса лучше использовать CUDA, а для своих экспериментов лучше использовать кластер из дешёвых блоков.

[daedalus]

а для своих экспериментов лучше использовать кластер из дешёвых блоков

Чем лучше? Независимостью софта? А вы считали, сколько потребуется этих блоков для того, чтобы обсчитать один петафлоп за реальное время. Кроме того, nVidia после NDA выдает всю документацию по своим графическим процессорам. Что мешает вам в таком случае писать свой собсвтенный софт, пользуясь уже составленными SDK.

[homecluster]

а для своих экспериментов лучше использовать кластер из дешёвых блоков

Чем лучше? Независимостью софта? А вы считали, сколько потребуется этих блоков для того, чтобы обсчитать один петафлоп за реальное время. Кроме того, nVidia после NDA выдает всю документацию по своим графическим процессорам. Что мешает вам в таком случае писать свой собсвтенный софт, пользуясь уже составленными SDK.

Я понял свою ошибку. Решение с CUDA замечательно. Но я не считаю нужным обсуждать это решение. Есть задача и мне интересно мнение именно по этой задаче.

[azsx]

Я тоже знаю про этот комп. А вопросы зачем будут задавать всегда.

может тогда дадите ссылку, а то мне оказывается такой нужен.

[daedalus]

Есть задача и мне интересно мнение именно по этой задаче.

В таком случае, советую посмотреть на мезонинные компьютеры от Texas Instruments, которые могут соединяться по шине PCI-E, это лучше, чем предложенный вами способ по USB или Ethernet. Во-первых высокая помехозащищенность, во-вторых высокая скорость, в-третьих отлаженная технология. Если интересует спецификация, то могу поделиться документацией по электронке, сюда по понятным причинам выложить не могу (NDA).

[homecluster]

Есть задача и мне интересно мнение именно по этой задаче.

В таком случае, советую посмотреть на мезонинные компьютеры от Texas Instruments, которые могут соединяться по шине PCI-E, это лучше, чем предложенный вами способ по USB или Ethernet. Во-первых высокая помехозащищенность, во-вторых высокая скорость, в-третьих отлаженная технология. Если интересует спецификация, то могу поделиться документацией по электронке, сюда по понятным причинам выложить не могу (NDA).

Да, устройства мезонинного форм-фактора достаточно привлекательны как конструктив. Единственный тормоз - это цена. Данные устройства ориентированы на использование в системах промышленности и имеют более высокую цену чем аналогичные изделя для бытовых целей. Хотя, если есть недорогие платы то несомненно их нужно изучить более внимательно.

Я тоже знаю про этот комп. А вопросы зачем будут задавать всегда.

может тогда дадите ссылку, а то мне оказывается такой нужен.

Я знаю что этот компьютер можно найти на интернет-аукционе молоток в разделе системные блоки.

[daedalus]

если есть недорогие платы то несомненно их нужно изучить более внимательно

AM3703 with 256 MB RAM / 512 MB Flash за 60 Евро. Использую такие на работе (для управления системами АСКУЭ), шесть сотен таких платок, объединеные по шине EBI, рвут по вычислительной способности связку "два Intel Core i7 3960X + восемь GTX690". Проверено опытом.

[homecluster]

если есть недорогие платы то несомненно их нужно изучить более внимательно

AM3703 with 256 MB RAM / 512 MB Flash за 60 Евро. Использую такие на работе (для управления системами АСКУЭ), шесть сотен таких платок, объединеные по шине EBI, рвут по вычислительной способности связку "два Intel Core i7 3960X + восемь GTX690". Проверено опытом.

Интересная у вас работа. Но 60Е (2400 р.) за плату на АРМ слишком дорого. За такую цену можно плату с 2хядерным 4хпоточным Атомом купить. Не было у вас опыта тестов плат на Атомах?

[daedalus]

Не было у вас опыта тестов плат на Атомах?

Нет, не использовали, потому как они жрут неплохо. Был опыт с AMD Geode LX, перешли от них на ARM, поэтому десятки платок с геодами валяются на работе, будут применены в проекте андроида. Причина ухода - отвратительное отношение производительность/энергопотребление.

Но 60Е (2400 р.) за плату на АРМ слишком дорого

Почитайте про процессор, мнение изменте очень быстро.

[homecluster]

Не было у вас опыта тестов плат на Атомах?

Нет, не использовали, потому как они жрут неплохо. Был опыт с AMD Geode LX, перешли от них на ARM, поэтому десятки платок с геодами валяются на работе, будут применены в проекте андроида. Причина ухода - отвратительное отношение производительность/энергопотребление.

Но 60Е (2400 р.) за плату на АРМ слишком дорого

Почитайте про процессор, мнение изменте очень быстро.

Всё таки нужно учитывать разницу между работой и хобби. Для работы могут быть необходимы сотни устройств для получения экономического эффекта. Для хобби может быть вполне достаточно и 10 устройств чтобы получить необходимые знания и удоволетворение от своего творчества. Кстати, а все сотни контроллеры на АРМ включаются одновременно или необходима программа и соотвествующее железо по запуску такого количества контролеров?

[daedalus]

или необходима программа и соотвествующее железо по запуску такого количества контролеров?

Для этого мы используем проприетарную библиотеку от производителя, которая реализует протокол явного параллелизма.

[homecluster]

или необходима программа и соотвествующее железо по запуску такого количества контролеров?

Для этого мы используем проприетарную библиотеку от производителя, которая реализует протокол явного параллелизма.

Понятно. Скажите какой самый малобюджетный кластер вам приходилось поднимать?

[daedalus]

Скажите какой самый малобюджетный кластер вам приходилось поднимать?

Для практического пользования мы кластеров не делали, так чисто от нечего делать делали кластер на 600 таких модулях. Энергопотребление 2700 Вт, производительность 20.7 TFLOPs, операционная система FreeRTOS.

[homecluster]

Скажите какой самый малобюджетный кластер вам приходилось поднимать?

Для практического пользования мы кластеров не делали, так чисто от нечего делать делали кластер на 600 таких модулях. Энергопотребление 2700 Вт, производительность 20.7 TFLOPs, операционная система FreeRTOS.

Можно в том что вы делали уменьшить число модулей до 6? Чтобы было дешевле.

[homecluster]

Наконец свершилось
В теме "Как поднять кластер" на одном из форумов в интернете было высказано предположение что можно использовать PelicanHPC. После обсуждения некоторых вопросов связанных с этим дистрибутивом на основе linux на персональном суперкомпьютере был поднят кластер который на тестовой программе показал производительность 496 MFLOPS. Мегапроизводительность для кластера из 4 нодов на основе Intel Atom. Теперь думаю что можно улучшить результат и впереди модернизация персонального суперкомпьютера.