unixforum.org

Привет всем!
Созрел небольшой вопрос, возможно, весьма наивный, прошу меня заранее извинить, просто я сильно не в теме)
Итак суть: Многие современные Linux-системы используют специальные постоянно обновляемые хранилища готовых бинарных пакетов.
Спору нет - это дает большой выигрыш и в простоте, и скорости установки. И в приницпе, наблюдается, заметное движение в сторону перехода от
компилирования из исходников к установке предварительно собранных пакетов.
Интересно здесь вот что: а как собственно эти пакеты появляются в репозитории, кто постоянно занимается их сборкой?
И здесь, как я понял, варианта всего 2 - либо этим занимается специальная команда разработчиков, либо это делают пользователи дистрибутива.
Если с первым вариантом все понятно, то второй мне интересен в плане безопасности.
Для примера возьму Debian, который известен своими богатыми репозиториями.
На http://www.debian.org/devel/join/ прямо написано, что дебиан состоит из добровольцев, и что любой желающий может выбрать для сопровождения любой пакет из незанятых (список весьма большой)
Вопрос: что мешает недоброжелателю внедрить в процессе сборки в пакет вредоносный код и закачать его в репозиторий, откуда его скачают сотни и тысячи пользователей,
если, как я понял из http://www.debian.org/doc/maint-guide/ , вся система контроля за сборкой пакета возлагается на сборщика и веру в его порядочность.
И единственным наказанием будет:

"Даже если все правильно работало, настало время молиться. Почему? Потому что через несколько часов или дней пользователи по всему миру начнут использовать ваш пакет, и, если вы допустили какую-нибудь критическую ошибку, многочисленные расстроенные пользователи Debian начнут наполнять ваш почтовый ящик злобными письмами…"

Эту систему используют многие дистры, не только Дебиан, но ведь Дебиан усиленно позиционируется многими, как надежная система на production, ее многие ставят на сервера, потому вопрос по ней.
В системах source-based, можно (пусть это никто не делает, но теоретически) посмотреть исходный код запускаемого приложения, в случае с пакетами все сложнее.
Словом, все так или я параноик?)

1. Само название темы.
Конечно нужны. Понимаю, у всех разное коичество времени, но мне вот как-то не слишком улыбается собирать абсолютно весь софт из сорцов.
Поэтому - репозитории это удобно, просто и быстро. Да и большой плюс перед "оффтопиком", как ни крути.

2. Сколько лет системе репозиториев? Хоть один случай был?

Репозитории это удобно, просто и быстро. Я полностью согласен. А безопасно? Некоторые современные пользователи линукса просто привыкли не глядя ставить программы aptitude install. просто и быстро. Почему вы под винду избирательно относитесь к тому, что устанавливаете, пользуетесь антивирусом?
Про случаи мне не известно, вот я и хочу понять, может все не так просто, как я описал, или вообще не так. Хочется услышать дебиановцев, так ли все устроено. Если все именно так, то то, что таких случаев еще не было - тогда это только дело времени.
Отличный способ быстро внедрить свой код на большое число машин, так как их пользователи привыкли верить, что линукс самый безопасный и все можно ставить не глядя.

seeman писал(а): ↑

13.05.2009 11:40

В системах source-based, можно (пусть это никто не делает, но теоретически) посмотреть исходный код запускаемого приложения, в случае с пакетами все сложнее.

Можно посмотреть deb-src. Но никто так же этого не делает.

seeman писал(а): ↑

13.05.2009 11:40

Вопрос: что мешает недоброжелателю внедрить в процессе сборки в пакет вредоносный код и закачать его в репозиторий, откуда его скачают сотни и тысячи пользователей,
если, как я понял из http://www.debian.org/doc/maint-guide/ , вся система контроля за сборкой пакета возлагается на сборщика и веру в его порядочность.

Есть stable и testing ветки.

broom писал(а): ↑

13.05.2009 13:00

seeman писал(а): ↑

13.05.2009 11:40

В системах source-based, можно (пусть это никто не делает, но теоретически) посмотреть исходный код запускаемого приложения, в случае с пакетами все сложнее.

Можно посмотреть deb-src. Но никто так же этого не делает.

То есть нужно помимо деба, если взялся делать, еще и deb-src выкладывать? Или их другие делают и выкладывают?
А если deb-src один выложить - "чистенький", с правильным кодом, а сам deb - уже на других исходниках?
Вот, если бы было, например, так:
ты собрал пакет и выслал разработчику src-deb и сам deb - то, что получилось. Назначался дублер, который качал этот src-deb, просматривал и анализировал код, собирал свой deb с оговоренными опциями, сравнивал хэш с твоим дебом и, если совпало - то пакет отправлялся в репозиторий,
то был бы какой-то механизм контроля, другой вопрос, какой-то это сложный процесс бы был)

minoru-kun писал(а): ↑

13.05.2009 13:02

seeman писал(а): ↑

13.05.2009 11:40

Вопрос: что мешает недоброжелателю внедрить в процессе сборки в пакет вредоносный код и закачать его в репозиторий, откуда его скачают сотни и тысячи пользователей,
если, как я понял из http://www.debian.org/doc/maint-guide/ , вся система контроля за сборкой пакета возлагается на сборщика и веру в его порядочность.

Есть stable и testing ветки.

То есть сначала пакет всегда попадает в unstable, и если все нормально, по истечении какого-то срока обката, он попадает в stable? Это хорошо. Но как быть с пользователями unstable-ветки? А с убунтой, например?)

seeman писал(а): ↑

13.05.2009 11:40

если, как я понял из http://www.debian.org/doc/maint-guide/ , вся система контроля за сборкой пакета возлагается на сборщика и веру в его порядочность.

конечено, господь бог не контролирует процесс формирования дистрибутива.
рекомендую прочитать из того же уголка разработчика debian ещё хотя бы один маленький документик.
если после его прочтения останутся вопросы — задайте их в debian-russian@lists.debian.org

sash-kan писал(а): ↑

13.05.2009 19:31

конечено, господь бог не контролирует процесс формирования дистрибутива.

В отличие от слаки?

рекомендую прочитать из того же уголка разработчика debian ещё хотя бы один маленький документик.

Спасибо, документ не маленький, но информативный.
Судя по нему не так-то просто залить свой пакет в репозиторий, сначала нужно официально стать разработчиком дебиан, которым стать тоже не так просто:
"The process of registering as a developer is a process of verifying your identity and intentions, and checking your technical skills. As the number of people working on Debian GNU/Linux has grown to over 900 and our systems are used in several very important places, we have to be careful about being compromised. Therefore, we need to verify new maintainers before we can give them accounts on our servers and let them upload packages."
В общем, как я понял, есть заинтересованность не просто в собирателе пакета, а в более функциональном участнике дистрибутива, то бишь разработчике. Это хорошо.
Но в принципе, мне это кажется негибким-слишком сложная система. Вообще, в принципе тема не только про дебиан, а вообще про публичные репозитории. Они же разные бывают. Все-таки мне одному кажется, что сборка пакетов самому намного оправданнее в плане безопасности? Ведь этот процесс может быть и автоматизирован, как во FreeBSD, например.

seeman писал(а): ↑

14.05.2009 08:45

sash-kan писал(а): ↑

13.05.2009 19:31

конечено, господь бог не контролирует процесс формирования дистрибутива.

В отличие от слаки?

рекомендую прочитать из того же уголка разработчика debian ещё хотя бы один маленький документик.

Спасибо, документ не маленький, но информативный.
Судя по нему не так-то просто залить свой пакет в репозиторий, сначала нужно официально стать разработчиком дебиан, которым стать тоже не так просто:
"The process of registering as a developer is a process of verifying your identity and intentions, and checking your technical skills. As the number of people working on Debian GNU/Linux has grown to over 900 and our systems are used in several very important places, we have to be careful about being compromised. Therefore, we need to verify new maintainers before we can give them accounts on our servers and let them upload packages."
В общем, как я понял, есть заинтересованность не просто в собирателе пакета, а в более функциональном участнике дистрибутива, то бишь разработчике. Это хорошо.
Но в принципе, мне это кажется негибким-слишком сложная система. Вообще, в принципе тема не только про дебиан, а вообще про публичные репозитории. Они же разные бывают. Все-таки мне одному кажется, что сборка пакетов самому намного оправданнее в плане безопасности? Ведь этот процесс может быть и автоматизирован, как во FreeBSD, например.

Но исходники вы ведь тоже из инета берете. и чтоб быть уверенным в их безопасности, берете их толкьо с определенных сайтов. как и пакеты. в чем разница?

Разница в том, что исходники я получаю напрямую с официального сайта, пакеты из репозитория через майнтейнера пакета. Появляется дополнительное звено в цепочке. Насколько можно доверять этому звену? Даже несмотря на то, что я могу потом дополнительно скачать еще и исходники, где соответствие между скачанным пакетом и исходниками программы? Да, автор программы может помимо исходников собрать еще и пакеты под популярные дистрибутивы и выложить на своем сайте. Но он не будет собирать пакеты под все возможные дистрибутивы, это неоправданно, и это будет делать кто-то другой. Если репозиторий организован по принципу "собери пакет (сам уж посмотри, чтобы правильно) и расшарь его для всех", то это, в общем-то, получается будет случайный человек.

Извиняюсь, уважаемый, вы для винды софт с интета качали? Много вирусов словили пока то что надо нашли? Мого-ли троянов сидело в скачанном софте?

А здесь - максимум, криво собранный пакет. Да и то, в принципе, невозможно, ибо проверяется все на работоспособность авторами дистрибутива, ну кроме разве что не слишком жизненноважных приложений и игр.

исходники я получаю напрямую с официального сайта, пакеты из репозитория через майнтейнера пакета.

Бинарные пакеты собираются в основном не майнтайнерами, а автоматически, из исходников, на инфраструктуре проекта.
http://www.debian.org/devel/buildd/

mandrivauser писал(а): ↑

14.05.2009 13:28

Извиняюсь, уважаемый, вы для винды софт с интета качали? Много вирусов словили пока то что надо нашли? Мого-ли троянов сидело в скачанном софте?

Есть и с троянами, и с вирусами. Не понял, что это доказывает?

А здесь - максимум, криво собранный пакет. Да и то, в принципе, невозможно, ибо проверяется все на работоспособность авторами дистрибутива, ну кроме разве что не слишком жизненноважных приложений и игр.

Почему невозможно? Вам что баги в софте не встречались? Вы только задумайтесь на секунду -ВСЕ проверяется авторами дистрибутива. Это какая же орда должна денно и нощно сидеть тестить все это для вас. C какой стати они будут сидеть и все это делать для вас бесплатно? В чем мотивация, вы не задумывались? Вы ж бесплатно с репозиториев обновляетесь? Не, все проверяется пользователями (точнее на них).
Я вообще почему тему начал-мне стало интересно, как формируются репозитории. Сначала я думал, что вот, назначается команда разработчиков из компании-создаетеля дистрибутива они сидят компилят, собирают бинарники в пакеты, подписывают, отправляют в репозиторий, компилят следующий... И так до полного помешательства. Я никак не мог понять, собственно, какой смысл, какая выгода от такой работы, ведь это тупой и монотонный труд, который, если заниматься им постоянно, все-таки, как и любой труд должен кем-то оплачиваться. Это может позволить себе только коммерческий дистрибутив. В некоммерческих, как я понял, это делают пользователи дистрибутива. Разве не так?
Скажу только про то, что сам знаю:
Допустим, мне понятна ситуация с Fedora и OpenSUSE, это тестовые полигоны для солидных коммерческих систем. CentOS просто тупо делает все под RedHat, что приводит к тому, что например банально RedHat не включил в свой дистрибутив cfdisk (и федора так же), в официальных репозиториях его нет и не будет. Качать rpm cfdisk'a с левых сайтов они по соображениям безопасности крайне не советуют-значит, если надо - собирать самому.
Slackware-сиди и собирай сам (кстати, очень легко и приятно, tgz куда легче, чем rpm собрать). Есть и базы готовых пакетов, но можно и без них, на них ничто не завязано.
FreeBSD - благодаря портам качаются исходники с официальных сайтов и уже на локальной машине собираются готовые пакеджи под систему. Все с разрешением зависимостей.
Как у других -я хз. Хочу понять.

(rm_) писал(а):Бинарные пакеты собираются в основном не майнтайнерами, а автоматически, из исходников, на инфраструктуре проекта.
http://www.debian.org/devel/buildd/

Вы это читали или остановились на словах Autobuilder network? Там четко написано, что это для ускорения переносимости между архитектурами, поддерживаемыми Debian и "Actually, an average Debian developer does not need to explicitly use the buildd network"

Вы это читали или остановились на словах Autobuilder network? Там четко написано, что это для ускорения переносимости между архитектурами, поддерживаемыми Debian и "Actually, an average Debian developer does not need to explicitly use the buildd network"

Я из того текста сделал вывод, что как правило майнтайнер лично делает бинарный пакет для i386, а для всех остальных архитектур они собираются на buildd.

По теме. Вопрос непростой, и лёгких ответов на него быть не может. На каком-то этапе все равно, всё строится на доверии. Одному человеку, или группе людей. Репозитории конечно же "нужны", но вот контроль того, что в них попадает, действительно, в идеале стоило бы усилить. К примеру, запретить бинарные аплоады (как вроде бы хотели в Debian'е, но судя по указанной страничке, так и не собрались).

seeman писал(а): ↑

13.05.2009 12:26

А безопасно?

сырцы в неумелых руках - вещь еще более опасная, чем любой репозиторий.

seeman
давайте не будем разводить демагогию.

1. автору софта вы доверяете (видно из ваших высказываний).
2. накладываемые дистрибьюторами патчи легко контролируются.
3. самостоятельная пересборка пакета из авторских исходников с наложением дистрибутивных патчей легко осуществима.
4. сравнение контрольных сумм получившегося пакета и пакета, скачанного из репозитория — вообще не вопрос.

изложенное справедливо для любого дистрибутива.




о чём вы ещё хотите поговорить?

4. сравнение контрольных сумм получившегося пакета и пакета, скачанного из репозитория — вообще не вопрос.

Они крайне вряд ли будут совпадать, т.к. если не ошибаюсь, результат некоторых шагов компилятора чётко не детерминирован (в частности - оптимизаций, ну или какой-нибудь тривиальной штуки, типа "базовый адрес, по которому подгружаем библиотеку, равен 0x4000000+случайное число"), и компилируя один и тот же код несколько раз (и тем более - на разных аппаратных платформах), вполне реально получить не совпадающий по контрольной сумме бинарник.

А я сижу на gentoo, и посмеиваюсь...

rm_ писал(а): ↑

14.05.2009 15:43

На каком-то этапе все равно, всё строится на доверии.

Получается колосс на глиняных ногах. Если несмотря на все pgp-ключи, тщательный отбор программ, оперативные патчи и баг-репорты, собирать пакеты сможет любой, то действительно "остается только молиться".

rm_ писал(а): ↑

14.05.2009 15:43

Репозитории конечно же "нужны", но вот контроль того, что в них попадает, действительно, в идеале стоило бы усилить.

В том то и проблема, что как ни крути, все равно под эту рутинную задачу надо привлекать добровольцев, так как каждый программист в проектах подобных дебиан и так имеет огромное количество работы, у них не хватит ни времени, ни сил. И где гарантии того, что новый человек, влившийся в стройный ряд разработчиков, будет это делать именно из-за желания помочь проекту, а не из-за собственных корыстных целей? Речь не о том, что вообще никому не надо доверять, но доверять надо с умом, или когда другого выхода не остается.
Лично я не вижу, как можно усилить и обезопасить систему публичных репозиториев. А почему она собственно так нужна? Может лучше, к примеру, всем дистрибутивам перейти на единый формат пакетов? Тогда все разработчики будут выкладывать на своем сайте исходники (для программистов и тех, кому это надо для специфической сборки) и бинарники, с четким описанием всех зависимостей пакета. Какой-нибудь менеджер наподобие apt или yum будет парсить базы данных пакетов (можно локальные типа портов), качать с официального сайта пакет, смотреть зависимости, разрешать их, ставить пакет. Или, например, также еще добавочно и на исходниках сделать. В общем, на разработчиков это возложить, им-то не сложно будет из своего продукта один пакет слепить.

(astronom) писал(а):сырцы в неумелых руках - вещь еще более опасная, чем любой репозиторий.

Да не, эксперимент-штука хорошая, я сначала все ставил make install, как писали во многих readme и некоторых статьях, а потом че-то задумался, когда понял, что не знаю чего и где у меня понаставлено и как обновляться при случае) Так пришло понимание реальной пользы пакетной сборки)

sash-kan писал(а): ↑

14.05.2009 18:48

seeman
давайте не будем разводить демагогию.

1. автору софта вы доверяете (видно из ваших высказываний).
2. накладываемые дистрибьюторами патчи легко контролируются.
3. самостоятельная пересборка пакета из авторских исходников с наложением дистрибутивных патчей легко осуществима.
4. сравнение контрольных сумм получившегося пакета и пакета, скачанного из репозитория — вообще не вопрос.

изложенное справедливо для любого дистрибутива.




о чём вы ещё хотите поговорить?

Предполагая демагогию, я тему поместил в раздел "Тематический флейм". Я понимаю, что сказанное мной не столь важно, как 4-x страничные рассуждения об иконках на рабочем столе (никого не хочу обидеть), тем не менее:
1. Ну, он предоставляет исходники. Хошь верь, хочешь-проверь.
2. Как и кем?
3. Это не имеет отношения к установке из репозиториев
4. Мне что дополнительно ко всем скачанным пакетам с зависимостями, еще их потом самостоятельно собирать и суммы сверять? Зачем тогда их качать?

Как все это отвечает на мой вопрос:

Вопрос: что мешает недоброжелателю внедрить в процессе сборки в пакет вредоносный код и закачать его в репозиторий, откуда его скачают сотни и тысячи пользователей

Я непреодолимых преград не вижу, а цель-с каждым днем все более заманчивая. Мне кажется, что многие просто по зову сердца доверились разработчикам, которые везде пишут "comes with ABSOLUTELY NO WARRANTY" и все. Потому что это типа круто и безопасно априори?

seeman писал(а): ↑

14.05.2009 19:39

2. Как и кем?

Людьми, которые воспользуются новой версией (либо почитают changelog, исходники). Как только обнаружится "что-то не то", информация об этом тут же попадет в багзиллу/официальный_форум/другой_массовый_источник_информации_, "что-то не то" будет тут же исправлено. Кому все это надо при описанных условиях - большой вопрос.

seeman писал(а): ↑

14.05.2009 19:15

Может лучше, к примеру, всем дистрибутивам перейти на единый формат пакетов?

ничего хорошего из этого не получится. если инициатора не закидают помидорами и идею не признают безумной сразу же, то она утонет в страшном холиваре выбора этого самого формата.

теперь по теме:
написано тут довольно много. но толкового ответа нет.
лично я увидел, что вся система держится на пользователях. любые проблемы безопасности сообщаются разработчикам, но часть пользователей установивших проблемную версию остается под угрозой до выхода багфикса.
поскольку стать майнтейнером пакета в принципе не так уж и сложно, то если кто-то вздумает пошалить и наложить патчик качающий руткит откуда-нибудь, то в лично я не вижу никаких препятствий для этого. естественно спустя какое то время патч могут заметить, но сколько машин будут уже со скачанным руткитом, который к тому же придется еще искать и удалять? а если учесть, что далеко не все подписаны на security updates, то далеко не везде он будет удален...

ну, вроде бы нету системы которая от подобного будет застрахована.

А я сижу на gentoo, и посмеиваюсь...

Штука в том, что даже в source-based дистрах полной гарантии от бэкдоров нет. Ведь не будешь лично просматривать каждую строчку компилируемого на машине кода. Тоже приходится надеяться, что за вас это делает кто-то другой, и тоже приходится верить этому кому-то.

хорошо, ещё один заход.

seeman писал(а): ↑

14.05.2009 19:39

2. Как и кем?

вами. вы же не доверяете дистрибьюторам?

seeman писал(а): ↑

14.05.2009 19:39

3. Это не имеет отношения к установке из репозиториев

это имеет прямое отношение к вам, как к проверяющему.

seeman писал(а): ↑

14.05.2009 19:39

4. Мне что дополнительно ко всем скачанным пакетам с зависимостями, еще их потом самостоятельно собирать и суммы сверять? Зачем тогда их качать?

качать ли бинарные пакеты — зависит от ваших целей. если хотите контролировать — качайте и контролируйте.
если хотите нуль-в-нуль «как в bsd» (оно же — «как в gentoo»), качайте не бинарные пакеты, а пакеты с исходниками (включающие отдельно мэйнстримовский тарболл и патчи) и собирайте сами.

SLEDopit писал(а): ↑

14.05.2009 20:35

поскольку стать майнтейнером пакета в принципе не так уж и сложно, то если кто-то вздумает пошалить и наложить патчик качающий руткит откуда-нибудь, то в лично я не вижу никаких препятствий для этого.

гораздо эффективнее (а может быть, и быстрее и проще) — войти в число разработчиков какой-нибудь популярной программки.

seeman писал(а): ↑

14.05.2009 15:30

Вы это читали или остановились на словах Autobuilder network?

вы это читали или остановились на процитированной фразе и не поняли её смысла?
перевожу (примерно) «фактически, средний разработчик Debian не должен явно использовать сеть buildd.»
ключевое слово выделено мною.

даже наглядная картинка имеется. какой путь проходят пакеты внутри buildd:
http://www.debian.org/devel/buildd/wanna-build.png

p.s. кстати, судя по схеме, есть тонкое место — администраторы buildd. они могут подменить скомпилировавшийся бинарный пакет. все срочно на подкуп администраторов buildd! будем внедрять троянов!

Тут как бы дело-то в том, что автор "гадости" он станет сразу известен. А оно вряд-ли кому-тонадо.

sash-kan писал(а): ↑

14.05.2009 21:12

гораздо эффективнее (а может быть, и быстрее и проще) — войти в число разработчиков какой-нибудь популярной программки.

да, спасибо за совет (=

mandrivauser писал(а): ↑

15.05.2009 10:40

Тут как бы дело-то в том, что автор "гадости" он станет сразу известен. А оно вряд-ли кому-тонадо.

ну тут вроде паспорт не требуют для того чтобы влиться в ряды разработчиков, а придумать вымышленное имя, не вызывающее подозрений, вроде не так уж и сложно :)

rm_ писал(а): ↑

14.05.2009 21:02

Штука в том, что даже в source-based дистрах полной гарантии от бэкдоров нет. Ведь не будешь лично просматривать каждую строчку компилируемого на машине кода. Тоже приходится надеяться, что за вас это делает кто-то другой, и тоже приходится верить этому кому-то.

Я смотрю на это немного иначе. Есть открытая модель разработки, которая отлично себя зарекоммендовала. Исходники доступны всем и любой программист, может взять и просмотреть код, присоединиться к работе.
Вот кто будет на таких условиях выкладывать что-то вредоносное и заявлять, что это новый веб-сервер, во многом превосходящий apache - для меня большой вопрос. Ведь, чтобы это скачали, нужно, чтобы этим заинтересовались, но это привлечет и повышенное внимание со стороны разработчиков. Здесь обман крайне неэффективен.
В открытую разработку я верю, доверяю, если хотите, потому что всегда найдутся (и находятся) умные люди, которые проанализируют ваш код.
Сама же идея репозиториев была разработана для пользователей, для их удобства. А удобство и безопасность, как известно, очень редко сочетаются.

2 sash-kan:
Все ваши ответы я понял так: да, все так, ну и что? почему бы тогда самому все не контролировать, если такой недоверчивый?

Потому и тема такая задана=)

вы это читали или остановились на процитированной фразе и не поняли её смысла?
перевожу (примерно)

Не надо мне ничего переводить. Я все ссылки, которые мне давали читал.
В частности насчет этой было сказано

Бинарные пакеты собираются в основном не майнтайнерами, а автоматически, из исходников, на инфраструктуре проекта.

Неужели? До чего дошел прогресс? А майнтейнеры-то им тогда зачем?

(mandrivauser) писал(а):Тут как бы дело-то в том, что автор "гадости" он станет сразу известен. А оно вряд-ли кому-тонадо.

Кому-то только этого и надо. Кое-кого известность символов, использованных им в качестве имени и адреса почты, мало обеспокоит.
Паспорта, как было замечено, не требуют.