unixforum.org

У меня как у большого любителя генту возник один вопрос:
существует ли сеть для распределенной компиляции пакетов в генту?

Это чем-то должно напоминать торренты: быстро скачал все что нужно, а потом раздаешь, когда это уже не очень актуально и тебя не напрягает. Также и здесь: нное количество людей с хорошим каналом объединяются в сетку и, если нужно что-то скомпилить, нагрузка распределяется по всем и процесс сильно ускоряется. С другой стороны, если в данный момент комп не очень загружен, он может фоновым процессом помогать другим что-то компилять.

Если кто знает о таких сетях или сервисах, пожалуйста, расскажите.
Если таковых не имеется, расскажите, что вы думаете о возможности ее создания. Кажется, что все не так сложно: записал адреса в файл и запихнул в distcc.

PS. Считаю генту идеальным дистрибутивом, но есть один недостаток - время компиляции. Если бы его преодолеть было бы вообще круто!

Эгм... в Хендбуке, FAQ-ах и прочем, ага?

Везде написано о CCACHE и возможности распределенной компиляции. Хотя ее же иногда и не рекомендуют в свете проблем.

distcc

Судя по всему я неясно изложил свой вопрос.
Речь идет не о средствах компиляции (distcc или ccache), о них я прекрасно знаю.
Речь идет о наличии сети, к которой можно в любой момент подсоединиться, и воспользоваться вычислительными ресурсами других пользователей. Если у вас на компьютере стоит торрент-клиент (ktorrent или deluge), это еще не значит, что вы можете скачивать все что душе угодно: вам нужны еще торрент-файлы (напр, скачанные с torrents.ru или piratebay) и люди (сиды и пиры), которые раздавали бы информацию с достаточной скоростью. В нашем случае, инструменты есть, а вот остальных компонентов нету.

Тут поможет только гугл и общество чрезвычайно добрых гентушников.

Feanaro (01:58:32):
что такое генту-пати?...это когда гентушники кучей собираются в сети...и компилят компилят компилят компилят вместе до усрачки

Xaktyc писал(а): ↑

24.06.2009 02:01

Тут поможет только гугл и общество чрезвычайно добрых гентушников.

Feanaro (01:58:32):
что такое генту-пати?...это когда гентушники кучей собираются в сети...и компилят компилят компилят компилят вместе до усрачки

Хм. А урлов не подкините каких-нибудь?
Или какой запрос в гугле вводить?

joebraker писал(а): ↑

24.06.2009 02:10

Хм. А урлов не подкините каких-нибудь?
Или какой запрос в гугле вводить?

Ой, врядли... Тут наверное, путь на ЛОР, Russian Gentoo Linux Community и подобное...

А чтобы создать проект это создаешь сайтик и пишешь где-нить, ищешь желающих присоединиться. Но тогда тебе полностью придется вести всякие мануалы по тому как поставить все это и настроить не только чтобы У ТЕБЯ компилилось, а и У НИХ всех.
Тут будет успех зависеть от энтузиазма и того как все будет грамотно сделано. И естественно, надо будет продумать название, которое может проходить по первому пришедшему в голову в поисковик.
К примеру:

Общество distcc
открытая distcc сеть
distcc сети

хоть "Общество добрых гентушников" :D

PS.
Я гентушник с не очень большим стажем. Этим вообще не занимался. Мое мнение - я бы мог присоединиться и привлечь пару друзей, если бы:
-были маны сполна описывающие процесс настройки на русском.
-я мог контролировать нагрузку на процессор (не больше 50% от второго ядра)
-ну и мелочи.

Да, не забудь, еще деление по архитектурам...
PS>
Ну мы тут с Amurekimuri и закатили беседу на тему "будущей сети"...
Концепт представился, но реализация будет очень трудной. Но это мечты. Это нужно тому, кто хочет это развивать. И слава тому, кто решится.

На слова "общество distcc" в гугле вылезает эта тема
В общем, я так понял прецедентов особо нету.
Ладно, я тогда подумаю, осилю ли я такое серьезное дело, как организация сети.
Но очень бы хотелось, ибо дело хорошее.
Думаю загрузку проца регулировать не так сложно, а что касается архитектур - тоже видимо решаемо, т.к. можно использовать кросс-компиляцию.
Желающие присоединиться к сети или помочь в ее реализации, пожалуйста, отписывайтесь и высказывайте замечания.

есть мнение что distcc актуальна только при 100bm сетке. При более низкой скорости сеть будет тормозить весь процесс=\

n1kt0 писал(а): ↑

24.06.2009 10:13

есть мнение что distcc актуальна только при 100bm сетке. При более низкой скорости сеть будет тормозить весь процесс=\

Это интересно. А ссылки нету на мнение?

joebraker

А свою ОС написать не хотите?
Но это так, дружеский подкол.

Теперь, посерьёзней. Вы много слышали о сетях распределённых вычислений, да ещё и через инет?
Я, например, только об одной, не вру, о двух - seti и ещё для расчёта чего-то биологического. Как думаете, с чем это связано?
И попробуйте оценить эффективность того, что вы предлагаете. Думаю энтузиазм на 0 спадёт сразу.

А теперь конкретное предложение.
Есть такой дистрибутив - Sabayon, у него менеджер пакетов основан на прекомпилированных бинарниках. Сейчас в репозитории только под две архитектуры x86 и x86_64.
Что вам мешает сделать свой репозиторий, где пакеты будут собраны с оптимизацией под все возможные процессорные архитектуры?
Всё проще и здоровее мысль, чем распределённая компиляция через инет.

abs-o-lut писал(а): ↑

24.06.2009 11:38

Теперь, посерьёзней. Вы много слышали о сетях распределённых вычислений, да ещё и через инет?
Я, например, только об одной, не вру, о двух - seti и ещё для расчёта чего-то биологического. Как думаете, с чем это связано?

Это связано лишь с Вашей неосведомленностью в данной области. Количество подобного рода проектов исчисляется многими десятками: http://distributedcomputing.info/projects.html.

Но с тезисом о "нездоровости распределённой компиляции через инет" согласен. Все проекты распределенных вычислений рассчитаны на месяцы, а то и годы работы, то есть фактор времени не является для них таким критическим, каким он оказывается в случае распределенной компиляции исходного кода. Да и объемы передаваемых между клиентом и сервером данных относительно невелики. А вот при компиляции будут необходимы каналы связи с высокой пропускной способностью, поскольку для этой задачи больше подходит модель кластеризации, а не распределенных вычислений.

allez писал(а): ↑

24.06.2009 11:56

abs-o-lut писал(а): ↑

24.06.2009 11:38

Теперь, посерьёзней. Вы много слышали о сетях распределённых вычислений, да ещё и через инет?
Я, например, только об одной, не вру, о двух - seti и ещё для расчёта чего-то биологического. Как думаете, с чем это связано?

Это связано лишь с Вашей неосведомленностью в данной области. Количество подобного рода проектов исчисляется многими десятками: http://distributedcomputing.info/projects.html.

Но с тезисом о "нездоровости распределённой компиляции через инет" согласен. Все проекты распределенных вычислений рассчитаны на месяцы, а то и годы работы, то есть фактор времени не является для них таким критическим, каким он оказывается в случае распределенной компиляции исходного кода. Да и объемы передаваемых между клиентом и сервером данных относительно невелики. А вот при компиляции будут необходимы каналы связи с высокой пропускной способностью, поскольку для этой задачи больше подходит модель кластеризации, а не распределенных вычислений.

Проекты распределенных вычислений, как правило, рашают серьезные математические задачи, для которых эти кластеры и строятся. А откомпилить исходники должно быть значительно проще. Кроме того, процесс компиляции отлично распараллеливается, ведь любая программа состоит из кучи файлов, каждый их которых можно довести до бинарного вида по отдельности, а потом все это слинковать. Хотя, я согласен, если очень много компов, расходы на организацию процесса могут превышать прибыль. Короче говоря, нужно просто попробовать. Попробую с друзьями оттестить хотя бы в 3-5 компов, будет ли выгода какая-то или нет.

joebraker писал(а): ↑

24.06.2009 14:08

Проекты распределенных вычислений, как правило, рашают серьезные математические задачи, для которых эти кластеры и строятся.

Таки не путайте распределенные вычисления с кластеризацией. Несмотря на общие признаки (обработка многими процессорами одной задачи) это несколько разные вещи.

Вычислительный кластер - это гарантированная высокая доступность узлов, связанных высокоскоростными линиями связи и работающих как единое целое.

Системы распределенных вычислений, наоборот, не дают никакой гарантии доступности входящих в них клиентских машин и поэтому о каком-то "едином целом" и речи не идет. Кроме того, общую задачу приходится разбивать на множество максимально независимых подзадач и подстраховываться избыточностью - выдавать одно и то же задание нескольким клиентам.

P.S. Образно говоря, для того, чтобы построить дом, нужна бригада строителей, квалифицированных и хорошо сработавшихся в единый коллектив-кластер. При этом постройку дома практически невозможно разбить на независимые подзадачи: если только заложен фундамент, крышу при всем желании не соорудишь и сантехнику на пятом этаже не установишь. Зато от бригады можно требовать выдерживания каких-то определенных сроков выполнения работ.

А вот, скажем, для покраски готового дома можно использовать модель распределенных вычислений: выставить перед домом ведра с краской, кисти и предложить прохожим в меру сил и желания поучаствовать в добром деле. И вот тут уже задача легко разбивается на совершенно независимые "кусочки" - в самом, деле, какая разница, что один прохожий начал красить второй этаж, другой - крышу, а третий - цоколь? В конечном итоге дом все равно будет покрашен. Вот только когда настанет этот конечный итог, никто никогда не сможет сказать точно, поскольку добровольная помощь - дело ненадежное. Сегодня есть добровольцы, а завтра куда-то смылись и жди у моря погоды. :)

Так вот, на мой сугубо личный взгляд, сборка программ из исходников скорее ближе к строительству дома, нежели к его покраске и, соответственно, требует использования модели вычислительного кластера, а не распределенных вычислений.

Именно об этом говорил вчера с Amurekimuri - о распределении по частям и линковке.
Если коннект ниже 128 кбит могут быть проблемы, но если мы компилим действительно по одной части это может и не очень тормозить процесс.
Так же к примеру, можно проверить, не ускорит ли процесс потоковое сжатие gzip при передаче сурцев. В случае компиляции надо делать структуру активных и пассивных клиентов. И в компиляции должны участвовать случайные компьютеры, которые есть в сети, а не организованно какие-то машины, тогда будет стабильней, чем с конкретно установленным набором компов. Вспомним как работает TOR?

allez писал(а): ↑

24.06.2009 14:27

joebraker писал(а): ↑

24.06.2009 14:08

Проекты распределенных вычислений, как правило, рашают серьезные математические задачи, для которых эти кластеры и строятся.

Таки не путайте распределенные вычисления с кластеризацией. Несмотря на общие признаки (обработка многими процессорами одной задачи) это несколько разные вещи.

Вычислительный кластер - это гарантированная высокая доступность узлов, работающих как единое целое.

Системы распределенных вычислений, наоборот, не дают никакой гарантии доступности входящих в них клиентских машин и поэтому о каком-то "едином целом" и речи не идет. Кроме того, общую задачу приходится разбивать на множество максимально независимых подзадач и подстраховываться избыточностью - выдавать одно и то же задание нескольким клиентам.

Ну я не очень конечно во всем этом понимаю. Но, мне кажется, в этом и есть конек - компиляция должна легко разделяться на множество подзадач, а именно на компиляцию различных файлов. Ведь когда человек пишет программу, он старается ее сделать как можно более модульной, чтобы в ней было легче разобраться. Да и сами USE флаги об этом говорят. Раз есть десяток флагов у программы, значит, по-сути, она разбита на несколько мелких, которые потом собираются в один большой пакет. В этом же вообще философия линукс.

joebraker писал(а): ↑

24.06.2009 14:34

В этом же вообще философия линукс.

О, когда начинаются разговоры о философии, я предпочитаю умолкнуть. :)

P. S. Кстати, я свое предыдущее сообщение малость подредактировал. С небольшим уклоном в философию. ;)

Так и вижу на форуме

Пожалуйста, посидируйте компиляцию OO

Ну а если серьезно, то как быть в случае выхода "озадаченной" машины из сети, опять перераспределять задачу? а если сам инициатор задачи из сети выйдет, то что делать с результатом? кому возвращять? или удалять?

deadhead писал(а): ↑

24.06.2009 15:04

Ну а если серьезно, то как быть в случае выхода "озадаченной" машины из сети, опять перераспределять задачу?

Нет, изначально выдавать задачу сразу нескольким клиентам и пользоваться результатами того, кто первый ее выполнит.

deadhead писал(а): ↑

24.06.2009 15:04

а если сам инициатор задачи из сети выйдет, то что делать с результатом? кому возвращять? или удалять?

У задачи ставится маркер "вернуть результат до такого-то момента времени". Если задача выполнена, а выдавший ее сервер недоступен, производится ожидание до момента, указанного в маркере и если сервер все еще недоступен, результат удаляется.

allez писал(а): ↑

24.06.2009 15:30

Нет, изначально выдавать задачу сразу нескольким клиентам и пользоваться результатами того, кто первый ее выполнит.

Неоптимально. Передача дальше задачи удобней. При таймауте.

allez писал(а): ↑

24.06.2009 15:30

У задачи ставится маркер "вернуть результат до такого-то момента времени". Если задача выполнена, а выдавший ее сервер недоступен, производится ожидание до момента, указанного в маркере и если сервер все еще недоступен, результат удаляется.

Просто все по таймауту проверяется наличие активного клиента в сети...

Ну вот, уже пошло конструктивное обсуждение
Мне кажется, понять какая аналогия вернее - дом или покраска, нужно попробовать просто.
А коннекты по инету сейчас очень неплохие - они не уступают локальным коннектам пару лет назад. А раз так, значит вроде должно бы сработать.

joebraker писал(а): ↑

24.06.2009 16:32

они не уступают локальным коннектам пару лет назад.

Загнул, конечно. У меня, к примеру коннект мегабит в секунду, и это почти САМЫЙ максимальный тариф нашего провайдера.
Коннекты пару лет назад да и больше в локале были минимум 10 мбит. Не думаешь же ты, что только москвичи будут этим заниматься. Передачу данных и сжатие инфы надо рассматривать в первую очередь. Но это уже оффтоп.

joebraker писал(а): ↑

24.06.2009 16:32

Ну вот, уже пошло конструктивное обсуждение

Конструктивное - ничто, нужен тот, кто организует и тот, кто напишет клиенты. Мне кажется, что из находящихся здесь никто этим заниматься не будет.

Xaktyc писал(а): ↑

24.06.2009 16:32

Неоптимально. Передача дальше задачи удобней. При таймауте.

Вы это разработчикам и администраторам систем распределенных вычислений расскажите, а то мужики-то не знают... :)

Xaktyc писал(а): ↑

24.06.2009 16:36

Конструктивное - ничто, нужен тот, кто организует и тот, кто напишет клиенты. Мне кажется, что из находящихся здесь никто этим заниматься не будет.

Логично. Выбранные средства не соответствуют задаче, поэтому заниматься их разработкой смысла нет.

Xaktyc писал(а): ↑

24.06.2009 16:36

joebraker писал(а): ↑

24.06.2009 16:32

они не уступают локальным коннектам пару лет назад.

Загнул, конечно. У меня, к примеру коннект мегабит в секунду, и это почти САМЫЙ максимальный тариф нашего провайдера.
Коннекты пару лет назад да и больше в локале были минимум 10 мбит. Не думаешь же ты, что только москвичи будут этим заниматься. Передачу данных и сжатие инфы надо рассматривать в первую очередь. Но это уже оффтоп.

joebraker писал(а): ↑

24.06.2009 16:32

Ну вот, уже пошло конструктивное обсуждение

Конструктивное - ничто, нужен тот, кто организует и тот, кто напишет клиенты. Мне кажется, что из находящихся здесь никто этим заниматься не будет.

Я готов написать клиент, но только простенький, средствами баша. Чтобы не на очень много людей, да и без обработки всяких ситуаций типа: много народу с плохим коннектом, выбор из одновременно собранных одинаковых кусков нужный и тп. Ведь что по сути должен делать клиент: взять где-то адреса доступных людей в данный момент времени и запустить distcc с перечислением всех участников. А запись на серваке может делать демон, который при запуске вписывает адрес того или иного человека, при выключении - стирает. А сервес сам может пинговать народ раз в минуту, если кто-то из них самопроизвольно отвалился.
Если в distcc есть защита от препывания работы один из абонентов (а она явно должна быть), то клиент не должен быть очень сложным: собственно distcc и будет как клиент.

Кстати, вот кусок из man distcc

HOW IT WORKS

distcc only ever runs the compiler and assembler remotely. The pre-
processor must always run locally because it needs to access various
header files on the local machine which may not be present, or may not
be the same, on the volunteer. The linker similarly needs to examine
libraries and object files, and so must run locally.

The compiler and assembler take only a single input file (the prepro-
cessed source) and produce a single output (the object file). distcc
ships these two files across the network and can therefore run the com-
piler/assembler remotely.

Fortunately, for most programs running the preprocessor is relatively
cheap, and the linker is called relatively infrequent, so most of the
work can be distributed.

distcc examines its command line to determine which of these phases are
being invoked, and whether the job can be distributed.

Вкратце перевести это все можно так:
препроцессор (а это недолгий процесс) и линкер должны быть выполнены локально, так как им нужны хэдеры и библиотеки для финальной компоновки. Зато процесс компиляции отлично распаралелливается, так как это есть ни что иное, как преобразование ОТДЕЛЬНЫХ файлов кода в отдельные объектные файлы.
Потом эти объектные файлы переправляются на комп хозяина и там собираются.

Если вы обращали внимание на сборку пакетов, то, наверное, обратили внимание на то, что основное время - это именно компиляция. Если заработал линкер - значит ждать осталось недолго.

joebraker писал(а): ↑

24.06.2009 16:44

Я готов написать клиент, но только простенький, средствами баша.

Гм... Ну это конечно, похвально, но для нормальной работы башем не обойдешься.

Xaktyc писал(а): ↑

24.06.2009 21:40

joebraker писал(а): ↑

24.06.2009 16:44

Я готов написать клиент, но только простенький, средствами баша.

Гм... Ну это конечно, похвально, но для нормальной работы башем не обойдешься.

А я готов присоединиться и протестить: уже высказывался ранее о дистрибутиве моей мечты

Maximus_V писал(а): ↑

24.06.2009 21:50

Xaktyc писал(а): ↑

24.06.2009 21:40

joebraker писал(а): ↑

24.06.2009 16:44

Я готов написать клиент, но только простенький, средствами баша.

Гм... Ну это конечно, похвально, но для нормальной работы башем не обойдешься.

А я готов присоединиться и протестить: уже высказывался ранее о дистрибутиве моей мечты

Спасибо, буду иметь ввиду!
Начать, я думаю, надо с простого использования distcc, ибо мне это не очень знакомо.

Для начала да, получаешь список активных серверов distcc с сервера, который можно сделать банально на php.
Он передает текст с адресами. Он на локальном компе записывается в список адресов компов...