[NIXP] Linux-энтузиасты сделают кластер из неиспользуемых частей модульных смартфонов

[Dmitry Shurupov]

Финская группа разработчиков мобильных устройств в ожидании популярности своего модульного смартфона предложила идею по повторному использованию устаревших материнских плат. Их предлагают объединять в кластеры. Проект модульного смартфона Puzzlephone на базе Linux планирует продлить жизнь смартфонов, делая телефонные части более заменяемыми. Они опираются на то, что большая часть компонентов может служить по десять лет. Но пользователи, как правило, предпочитают менять свои устройства раньше. Так, например, хороший экран и батарея могут быть сохранены, в то время как материнская плата и GSM-модуль заменены. В то же время родилась идея использовать устаревшие матплаты для сборки кластера. Дизайнеры уже разрабатывают шасси, которое могло бы разместить множество использованных материнских плат Puzzlephone. Так, возвращённые обновившимися пользователями платы можно будет использовать повторно в виде кластеров разного масштаба: для дома, малого бизнеса и даже государственных учреждений. В первоначальной конфигурации кластер будет иметь блок питания, поддержку периферийных устройств, разъёмы ввода/вывода и возможность подключить резервный аккумулятор. Всё программное обеспечение, связанное с Puzzlephone, группа обещает выкладывать в Open Source. Они также подписала контракт с компанией Grant4Com на производство и вывод на рынок своих наработок.


оригинал на www.nixp.ru

[MrClon]

«Так, например, хороший экран и батарея могут быть сохранены»
Обычно дохнут как-раз экраны (разбиваются) и батареи (деградируют).

[azsx]

представляю "надежность" такого кластера.

[MrClon]

По хорошему кластер должен нормально переносить выход из строя нескольких нод. Хотя это смотря что называть кластером.

[azsx]

всегда интересно, что физически представляет из себя кластер? Верно ли я понимаю, что работоспособность кластера целиком обеспечивается самописным софтом?
Например, задача - спарсить все главные страницы с инета и осуществлять поиск в них. Это 1+ млрд доменов. И как тут будет работать кластер?

[Bizdelnick]

что физически представляет из себя кластер?

Много компьютеров. :-)

Верно ли я понимаю, что работоспособность кластера целиком обеспечивается самописным софтом?

Не обязательно. Как и в любом другом случае - под задачу выбирается готовый или пишется новый софт.

Например, задача - спарсить все главные страницы с инета и осуществлять поиск в них. Это 1+ млрд доменов. И как тут будет работать кластер?

Как захотите - так и будет. А Вы, наверное, захотите, чтобы каждый узел отвечал за какую-то часть доменов. Ну и, вероятно, один или несколько управляющих узлов должны быть.

[azsx]

А Вы, наверное, захотите, чтобы каждый узел отвечал за какую-то часть доменов

наверное, ничего страшного в том, что домены будут плавать так как задача парсинга хорошо паралелится. А вот хранилеще данных парсинга, в том числе для парсинга должно быть кластером, в том числе устойчивым для сбоев.
Такое тоже готовое бывает?

[Bizdelnick]

azsx
Чего только не бывает.
wikipedia://clustered file system
Ну и вообще wikipedia://big data

[azsx]

ээх, всё по нерусски

[MrClon]

Думаю на русском можно найти какую-то инфу про hadoop например.

А вообще кластером могут называть всё что угодно, хотя-бы даже просто группу серверов стоящих рядом в одном датацентре и как-то объединённых логически (например «это сервера Васи»).

[azsx]

MrClon первая же статья на русском Вам не нужен Hadoop
Очень понравилась фраза

кому вообще может прийти в голову, что распараллеливание доступа к данным вдвое (впятеро, вдесятеро) может кому-нибудь когда-нибудь понадобиться? Забудьте эту ересь и никогда не вспоминайте — у Вас просто нет столько данных.

зы
пошел читать и думать.

[MrClon]

Если «у вас просто нет столько данных» то весьма вероятно что «вам не стоит морочиться вещами вроде хадупа». С другой стороны если ты хочешь сделать свой гуглояндекс то у тебя есть столько данных.
Хадуп я привёл просто как пример, потому-что про него есть инфа на русском. Ещё можно посмотреть cassandra db например (распределённая не реляционная СУБД без постоянной управляющей ноды). Или кластеры вебсерверов, но они в основном делаются на более-менее самописных подпорках, так-что нет названий продуктов по которым можно было-бы гуглить (или я не прав?).

А вообще данные и их обработка бывают разные. Например если тебе надо переконвертировать десяток-другой фильмов (или хотя-бы парочку) то выходы от использования нескольких компов вместо одного уже перевешивают расходы распаралеливание работы.

[azsx]

правильно ли я понимаю, что при установке hadoop необходимо один компьютер выделить под обеспечение работоспособности сетевой файловой системы? Просто жалко как то...

cassandra db

спасибо

С другой стороны если ты хочешь сделать свой гуглояндекс то у тебя есть столько данных.

читал на серче парень предлагал дружить, он разрабатывает систему сжатия контента. Типа весь рунет можно разместить всего на нескольких террабайтах. В теории, если оставить только алфавит; сделать мешок слов; прогнать тексты на уник и синомайзинг - то вполне реально. Но, как я понимаю, такое делается на хеонах, увлекаясь дома тупо процессора не хватит (и знаний).
К тому же у меня проще поиск, мне некоторые теги от адсенса нужны, к примеру.

[Bizdelnick]

Или кластеры вебсерверов, но они в основном делаются на более-менее самописных подпорках, так-что нет названий продуктов по которым можно было-бы гуглить (или я не прав?).

Да нет, вроде бы много готовых подпорок типа haproxy. Другое дело, что конструкции из этих подпорок сооружают самые разнообразные.

[MrClon]

azsx
Если ты делаешь свой гугл то -1 сервер под контрольную ноду это наименьшая из твоих проблем.
А если «а поиграться» то можно виртуалки использовать.

Bizdelnick
Это скорее разрозненные элементы из которых с помощью шел-скриптов и какой-то матери собирается система. И это правильно, но в качестве примера в духе «погугли вот это» не очень подходит.

[MrClon]

читал на серче парень предлагал дружить, он разрабатывает систему сжатия контента. Типа весь рунет можно разместить всего на нескольких террабайтах. В теории, если оставить только алфавит; сделать мешок слов; прогнать тексты на уник и синомайзинг - то вполне реально. Но, как я понимаю, такое делается на хеонах, увлекаясь дома тупо процессора не хватит (и знаний).
К тому же у меня проще поиск, мне некоторые теги от адсенса нужны, к примеру.

Хранить весь рунет можно не то-что на одном компе, а даже на нуле компов. Записал на магнитные ленты и храни.
Но если ты хочешь свой яндекс, а не свой архив.орг то тебе надо не хранить, а обрабатывать (и быстро), а чем мудрёнее данные пожаты тем труднее их обрабатывать.
Даже если твои данные помещаются на один сервер (а на один сервер может влезть много инфы, гугли «дисковая полка»), не факт что все твои вычисления влезут в один сервер и что все твои клиенты влезут в один сервер.

[Bizdelnick]

Это скорее разрозненные элементы из которых с помощью шел-скриптов и какой-то матери собирается система.

Ну зачем же шелл-скриптов? Только лишь конфигов. Без матери сложновато конечно, да.

[MrClon]

Ну резервирование/балансировку фронтэнда и бэкэнда вроде можно сделать без шеловых подпорок (хотя при деплое приложения они могут возникнуть). А вот нормальных приблуд для управления репликацией мускуля я так и не нашёл, только костыли, только хардкор.

[Bizdelnick]

нормальных приблуд для управления репликацией мускуля я так и не нашёл

Вроде Оракл продаёт что-то проприетарное, не? Я не очень в теме.

[MrClon]

Проприетарщина, не интересно.