Распределенный видеохостинг (Или зачем youtube)

[Ism]

Все знают видеохостинг Youtube, но не специалисты не знают какой ценой содержится эта видеопомойка.
Нужно содержать огромные дисковые массивы, а это очень недешево

Но есть другой вариант, пока один - потоковый видеоторрент
http://habrahabr.ru/post/138216/
http://live.bittorrent.com/
http://torrentstream.org/ru/

Это не совсем замена ютуба, но возможно его замена, так как ролики будул лежать на компах пользователей подобных этому
Термоядерный домашний веб сервер без регистрации и СМС

И прощай гугловский сканер авторских прав Как козаки ролик на хостинг выкладывли.

[Bizdelnick]

не специалисты не знают какой ценой содержится эта видеопомойка.
Нужно содержать огромные дисковые массивы, а это очень недешево

Неспециалисты действительно считают, что дело только в дисковом массиве?

[SLEDopit]

Ну с популярными роликами про котят всё понятно, а вот чтобы посмотреть ролик про разведение хомячков в заполярных широтах, который решил выложить дядя Сеня из села Хомячково, мне что, придётся 3 дня ждать, пока оно будет грузиться на мою машину с его по скоростному широкополосному gprs'y?

[Bizdelnick]

Ну с популярными роликами про котят всё понятно, а вот чтобы посмотреть ролик про разведение хомячков в заполярных широтах, который решил выложить дядя Сеня из села Хомячково, мне что, придётся 3 дня ждать, пока оно будет грузиться на мою машину с его по скоростному широкополосному gprs'y?

Причём тут выкладывание роликов? Это никакой не "убийца тытруба", а самое обычное wikipedia://P2PTV. Только для вещания в "реальном" времени (если так можно назвать вещание, запаздывающее на несколько минут).

[SLEDopit]

Это никакой не "убийца тытруба"

Ну подаётся-то именно под таким соусом.
// см заголовок:

Распределенный видеохостинг, Или зачем youtube

[Bizdelnick]

// см заголовок:

Если один человек не понял, о чём речь, зачем вводить в заблуждение весь форум?

[Ism]

Ну с популярными роликами про котят всё понятно, а вот чтобы посмотреть ролик про разведение хомячков в заполярных широтах, который решил выложить дядя Сеня из села Хомячково, мне что, придётся 3 дня ждать, пока оно будет грузиться на мою машину с его по скоростному широкополосному gprs'y?

Фишка в том, что когда автор выкладывает ролик на хостинг, он фактически дублирует файл со своего компа, с точки зрения экономии ресурсов это очень расточительно, хоть пока и рентабельно для Гугла

Насчет задержки просмотра хомячка я уже упомянул о постоянном домашнем микросервере.
Кроме того можно создать кеширующие видеоторрент серверы, даже если платные это будет удобно , как сейчас вебхостинг

[Bizdelnick]

Ism
Кажется, Вы мечтаете об этом.

[Ism]

Ism
Кажется, Вы мечтаете об этом.

Не совсем, необходимо, чтоб видео проигрывалось в браузере в том же флеш плагине
Или через webm

В моих ссылках есть какойто плагин для браузера

Здесь нет упоминания о вставке видео в вебстраницу

http://nnm-club.ru/forum/viewtopic.php?t=449133

Если это сделать, то будет то , что нужно

[Bizdelnick]

Не совсем, необходимо, чтоб видео проигрывалось в браузере в том же флеш плагине
Или через webm

В моих ссылках есть какойто плагин для браузера

/0
"какой-то плагин" - это не flash-плагин и не браузерный webm.

[Ism]

Не совсем, необходимо, чтоб видео проигрывалось в браузере в том же флеш плагине
Или через webm

В моих ссылках есть какойто плагин для браузера

/0
"какой-то плагин" - это не flash-плагин и не браузерный webm.

Пока да, но это дело времени

[Bizdelnick]

Нет. Там свой собственный протокол. Чтобы он стал поддерживаться браузерами - надо, чтобы он был стандартизован w3c, а никаких предпосылок для этого не видно. Чтобы он был реализован на flash, надо, чтобы это стало кому-нибудь нужно, но учитывая трудоёмкость, наличие "родного" плагина и издыхание флеша, вряд ли этим кто-то займётся.

[Bizdelnick]

Кстати, Ism, Вы так и не поняли главного. Сравнивать BitTorrent Live и Tribler не имеет ни малейшего смысла. Это совершенно разные вещи: первое - P2PTV, второе - peercasting. Мой комментарий надлежит понимать так, что Вам, судя по сабжу, должен быть более интересен peercasting, а не P2PTV.

[Ism]

Нет. Там свой собственный протокол. Чтобы он стал поддерживаться браузерами - надо, чтобы он был стандартизован w3c, а никаких предпосылок для этого не видно. Чтобы он был реализован на flash, надо, чтобы это стало кому-нибудь нужно, но учитывая трудоёмкость, наличие "родного" плагина и издыхание флеша, вряд ли этим кто-то займётся.

Немного по другому, вебсервер должен преобразовывать видеопротокол в стандартный webm или тот же flv и дело в шляпе, как это делает ffserver , нужно просто написать плагин для apache или научить этому ffmpeg

[Bizdelnick]

Ах, да, я не закончил мысль.
"Неспециалисты" не понимают, что самое узкое место при вещании видео - это не дисковое пространство, а ширина канала. Если видео будет отдавать сервер, всё преимущество потеряется. А если он ещё будет на лету заниматься конвертацией - это никаких мощностей не хватит.

[Ism]

Ах, да, я не закончил мысль.
"Неспециалисты" не понимают, что самое узкое место при вещании видео - это не дисковое пространство, а ширина канала. Если видео будет отдавать сервер, всё преимущество потеряется. А если он ещё будет на лету заниматься конвертацией - это никаких мощностей не хватит.

Это при массовом вещании.
Чтоб перегрузки не было делается просто - один сервер декодирует поток и раздает в чистом виде 100 другим серверам вещания задача которых просто распределить нагрузку на канал
Кажется похоже работает гугл ,
у него одна страница, но при запуске ролика, поток выбирается с одного из многих незагруженных серверов вещания.
Только тут проблема при данной схеме теряется смысл в торрент видео.

Но есть выход - научить торрент видео передавать в формате понятном браузеру, (html5 webm), но для этого нужна модификация протокола

Тогда веб страница будет выбирать ближайшие машины способные передавать и запускать ролик как если бы он лежал файлом на сервере (а уж передающий узел будет брать от других по P2P)

Пример - мой ролик , который лежит на хостинге и понимается всеми браузерами без плагинов http://stasnemo.livejournal.com/8708.html
HTML5 однако

Так что неизвестно, кто тут "Неспециалисты"

[Pchol]

Помоему вы все смешали в кучу.
Раздача на 100 edge серверов которые распологаються максимально близко к пользователю это концепция CDN, а не p2p.
Заставить w3c вшить в стандарт протокол поддержки Torrent видео помоему идея бедовая и бредовая.
На данный момент все пытаються хоть как то стандартиизировать видео стриминг вцелом и прийти к общему протоколу, так как на данный момент существует каша из HDS / HLS / Smooth Streaming и т д. И на данный момент решение все видят в MPEG DASH.
Так же вы упомянали про flv / webm, это всего лишь медиаконтейнеры, и если прпомнить историю основная проблема с html5video была в кодеках, кто то держал ogg theora, а кто-то aac h264. И это вносило довольно большую ложку дегтя, предлагая хранить 2 варианта видео.

который лежит на хостинге и понимается всеми браузерами без плагинов

Вы точно проверяли ? MacOS X, Safari не играет.
Касательно хранения архивов, все не так уж дорого, вот эти ребята показали как

[Ism]

Помоему вы все смешали в кучу.
Так же вы упомянали про flv / webm, это всего лишь медиаконтейнеры, и если прпомнить историю основная проблема с html5video была в кодеках, кто то держал ogg theora, а кто-то aac h264. И это вносило довольно большую ложку дегтя, предлагая хранить 2 варианта видео.

который лежит на хостинге и понимается всеми браузерами без плагинов

Вы точно проверяли ? MacOS X, Safari не играет.
Касательно хранения архивов, все не так уж дорого, вот эти ребята показали как

Вы отстали от жизни, ложишь 2 файла в webm и mp4 и прописываешь в html5 теге и все вменяемые браузеры все играют

Помоему вы все смешали в кучу.
Раздача на 100 edge серверов которые распологаються максимально близко к пользователю это концепция CDN, а не p2p.
Заставить w3c вшить в стандарт протокол поддержки Torrent видео помоему идея бедовая и бредовая.
На данный момент все пытаються хоть как то стандартиизировать видео стриминг вцелом и прийти к общему протоколу, так как на данный момент существует каша из HDS / HLS / Smooth Streaming и т д. И на данный момент решение все видят в MPEG DASH.

Вы читали мой предыдущий пост ? Если хост с софтом torrent video сможет преобразовать поток p2p в обычный файловый поток, то уже сейчас все браузеры могут это воспроизвести, достаточно вебстранице знать список ближайших хостов с видеопотоком. А чтоб не было нагрузки на проц, то поток уже должен быть в webm , mp4 долго не продержится

[xserver]

mp4 долго не продержится

напомнило:

640K ought to be enough for anybody

[Pchol]

Safari невменяемый браузер. Ну ок.
Может и отстал, но Вы лишь повторили то что сказал я чуть выше: _приходиться_ хранить 2 версии одного и того же контента, закодированного разными кодеками, что на мой взгляд плохо.

Вы читали мой предыдущий пост ? Если хост с софтом torrent video сможет преобразовать поток p2p в обычный файловый поток, то уже сейчас все браузеры могут это воспроизвести, достаточно вебстранице знать список ближайших хостов с видеопотоком. А чтоб не было нагрузки на проц, то поток уже должен быть в webm , mp4 долго не продержится

Вы предлагаете взять ихсодник в mp4 отдать его торрентом, приземлить на машине с браузером, и там проиграть в неком плагине который хотите сделать нативным ? Сколько секунд идет поиск пира после добовления торрента ? Это столько же мне ждать старта видео ?
Теже гуглы ставят сейчас свои кеширующие сервера в сетях операторов, что позволяет отдавать им контент гораздо быстрее. Да и не выгодно это никому, как жить без рекламы то
И опять же дело не столько в контейнерах сколько в кодеках и их аппаратной поддержке. Поток закодированный в h264 могжет давать абсолютно разные нагрузки на CPU, и это зависит от многих факторов, начиная от типов кадров (наличие или отсутствие b фреймов) и profile, закачнивая всякими там хитрыми механизмами сжатия которые могут давать высокую нагрузку.
Столкнувшись именно с этими трудностями люди разрабатывающие спецификацию для h265 уделили внимание декодингу на мобильных устройствах.
Но вцелом вы помоему говорите про нативную поддержку torrentstream

[Pchol]

Еще очень интересно, где хранить контент закаченный таким образом. И куда будет деваться пир если он закроет браузер. Или предлагается всем держать отдельную софтинку которая постоянно будет болтаться в фоне и гонять трафик ?

[Ism]

Safari невменяемый браузер. Ну ок.
Может и отстал, но Вы лишь повторили то что сказал я чуть выше: _приходиться_ хранить 2 версии одного и того же контента, закодированного разными кодеками, что на мой взгляд плохо.

Вы как будто не читали моих предыдущих постов

1 Поток в webm и mp4 проигрывается браузерами БЕЗ плагинов
2 Файлопоток webm это не файл(хотя для браузера не отличается от файла), если ролик просмотрен 10 пользователями , то он уже закеширован их торрент системами
3 Вывод из 2 , странице видеохостинга остается обновлять базу адресов машин с роликами и тупо при запуска ролике подключаться к одному из пиров в режиме получения файлопотока webm
4 Чтоб ролик всегда был в сети или домашний микросервер или платный кеш хостинг

[Pchol]

Либо вы что то домысливаете и не озвучиваете это, либо додумываете за меня.
1) Где в том месте которое Вы прцоитирвоали, идет речь о плагинах ? Я говорил про то что нужно хранить 2 файла.
2) Вы на мой взгляд устраиваете какую то подмену понятий. WebM, контейнер, в этот контейнер мы ложим видео и аудио в определенном формате, и все. Для браузера это в любом случае (что webm что mp4) поток байтов который он скачивает, которые в зависимости от их структуры он может начать проигрывать сразу, либо только после того как докачает. Но Вы не ответили где располагаются эти некие "торрент системы", если это компонента браузера, что произойдет если 10 пользователей посмотрели, но закрыли браузер? Как происходит нахождение этого ролика на соседних машинах, На мой взгляд это может занимать заведомо больше времени чем подключение к некому граничному (ближайшему) серверу того же ютьюба.
3) Что значит "странице обновлять базу машин" ? Тоесть когда ползователь досмотрел ролик до конца, идет некий callback в сторону сервера с сообщением "досмотрено и закешированно", а сервер в свою очередь для каждого микрорегиона постоянно генерирует и обновляет список с доступными пирами ? Тут на мой взгляд встают стандартные вопросы которые решает torrent сервер: синхронизация состояний клиентов, и содержимого их "кешей". И здесь мне кажеться возинкнет ситуация когда "долго запрягаем, да быстро едем". Что по мне не очень оправданно при просмотре 40секундных роликов про кошечек.
4) Для дома - из пушки по воробьям. Для платного кеш хостинга не пойму зачем, люди уже 10 лет строят высокоэффективные CDN которые решают проблемы пропускной способности магистралей и быстрой доставки в регионы, про гугль я уже упомянал.

[Ism]

2 Хорошо поток VP8, что сути не меняет, насчет хранения , тут смотящие ролик разделяются на тех, кто смотрет без клиентского ПО торрента, и тех, у кого оно установлено, у вторых особо морочиться не надо , они будут смотреть по P2P , а те, кто смjтрит редко будут смотреть как сейчас ютуб
Учитывая, что торренты распространены проблем с потоками быть не должно

3 Тут все приблизительно, решений много, в первом посте у разработчиков они решены

4 Домашнему серверу нужно лишь задать начальный поток, который разойдется по остальным пирам, или вы не знаете как быть сидером в торренте ?

[Pchol]

Ну вот, опять дополнительное ПО, для меня это минус.
Вначале вы говорили про хранение, получается что оптимизировать хранение мы не можем, оптимизируем только доставку.
Распространенность торрентов не важна, важно наличие роликов в микрорегионе и скорость нахождения пира с этими роликами.
Решений по поиску пиров конечно много, но на мой взгляд это подходит только для какого broadcast'инга в виде live вещаний. Превращая клиента в сервер доставки нужно еще динамически следить за qos полосы между 2мя клиентами (ломанулось сотня пользователей на одного пира, а он в этот момент что нибудь аплоадит на FTP какой нибудь), что совсем нетривиальная задача, если и вообще решаемая.
Мне кажеться что все эти но, могут убить плюсы, и добавят лишь некоторые проблемы в просмотре пользователям.
По поводу последнего пункта, мы вроде бы говорим не про live вещание а про отдачу довольно большой библиотеки контента. Или вы имете ввиду следующее: посмотрел ролик но стационарнике, сказал серверу что могу быть пиром, кидаю ссылочку жене в скайп, она открывает на ноуте, трафик бежит между моим стационарником и ее ноутом. В этом профит ? Вероятно это актуально для тех мест где инет до сих пор помегабайтный, или очень тоненькие безлимы.

[Pchol]

А еще получается придеться поддерживать фактически 2 платформы. Одна для "классической" отдачи, другая для такой торрентоподобной.
И столько гемороя ради экономии полосы, которую в любом случае придеться хоть и не полностью но резервировать.
Но если я не ошибаюсь генераторы трафика как раз таки зарабатываюь на том что они генерируют этот трафик и продают.

[Bizdelnick]

Чтоб перегрузки не было делается просто - один сервер декодирует поток и раздает в чистом виде 100 другим серверам вещания задача которых просто распределить нагрузку на канал

А каким боком тут p2p?

Кажется похоже работает гугл ,
у него одна страница, но при запуске ролика, поток выбирается с одного из многих незагруженных серверов вещания.

Вы про ютуб или про что? Ютуб работает не так, там же не в реальном времени вещание. Потоки там вообще не раздаются.

Тогда веб страница будет выбирать ближайшие машины способные передавать и запускать ролик как если бы он лежал файлом на сервере (а уж передающий узел будет брать от других по P2P)

Ну и откуда при такой схеме возьмутся пиры? Все ж будут через браузер смотреть. Не говоря о том, что ширина исходящего канала у единичного пира (aka сервера) может быть слишком маленькой.

[Bizdelnick]

Так что неизвестно, кто тут "Неспециалисты"

Неспециалисты тут те, кто не реализовывал подобных вещей и не прошёлся по всем граблям лично. Вот чуваки из Делфтского университета и Брем Коэн - специалисты. И если они не сделали поддержку в браузере без спец. плагинов, значит на то есть объективные причины.

[Pchol]

Ну на ютубе все таки иногда бывает live вещание. Честно говоря я ни разу не наблюдал, но всопните хотя бы недавний прыжок из стратосферы.

Ну и откуда при такой схеме возьмутся пиры? Все ж будут через браузер смотреть. Не говоря о том, что ширина исходящего канала у единичного пира (aka сервера) может быть слишком маленькой

Если я правильно понял, ТС предлагает ставить доп. ПО на клиентов которое бы выступало средством контроля и синхронизации содержимого "распредленного кеша", и это ПО должен каким то образом задействовать браузер. Что то вроде кеширующего проксика на клиенте, через который работает браузер, а содержимое кеша этого проксика доставляется / отдается при необходимости по p2p.

[Ism]

Так что неизвестно, кто тут "Неспециалисты"

Неспециалисты тут те, кто не реализовывал подобных вещей и не прошёлся по всем граблям лично. Вот чуваки из Делфтского университета и Брем Коэн - специалисты. И если они не сделали поддержку в браузере без спец. плагинов, значит на то есть объективные причины.

Плюнуть на чужую идею и сказать , что все отстой - классика, на меня давно это не действует, хотя когда слишком часто - достает

Ну на ютубе все таки иногда бывает live вещание. Честно говоря я ни разу не наблюдал, но всопните хотя бы недавний прыжок из стратосферы.

Ну и откуда при такой схеме возьмутся пиры? Все ж будут через браузер смотреть. Не говоря о том, что ширина исходящего канала у единичного пира (aka сервера) может быть слишком маленькой

Если я правильно понял, ТС предлагает ставить доп. ПО на клиентов которое бы выступало средством контроля и синхронизации содержимого "распредленного кеша", и это ПО должен каким то образом задействовать браузер. Что то вроде кеширующего проксика на клиенте, через который работает браузер, а содержимое кеша этого проксика доставляется / отдается при необходимости по p2p.

На самом деле я не вижу проблемы преобразовать поток P2P в поток , который браузер воспримет как обычный файл лежащий на вебсервере
Единственная проблема - воспроизведение не сначала. Но в случае если пир уже получил от других полный файл, это не будет проблемой

Правда , когда смотрят слишком много хостов без ПО torrent video будет перегрузка.

Похоже выходом будет подгрузка ролика частями с многих хостов

Или упрятать весь софт в плагин для браузера, тогда решаются все проблемы, все будет работать как сейчас флеш плагин