Загрузка больших файлов через http.

Обсуждение настройки и работы сервисов, резервирования, сетевых настроек и вопросов безопасности ОС.

Модераторы: SLEDopit, Модераторы разделов

BigBrother
Сообщения: 436
Статус: ¯\_(ツ)_/¯
ОС: linux based

Загрузка больших файлов через http.

Сообщение BigBrother »

Привет.
Какие на сегодня существуют способы, для загрузки больших файлов на сервер, размером от 10 до 100ГБ, через http? Задача: организовать трансферинг файлов от клиента к нашим серверам через веб-приложение (python) и чтобы во время загрузки файла, он полностью "не ложился" в ОЗУ, а то серверов не хватит. Желательно без использования сторонних средств на стороне клиента, только браузер.
Когда попробовал webdav, то он зависал при передаче файлов больше 6ГБ.
mod_xsendfile сможет решить данную задачу?

Если задача звучит как "бред", тогда какой максимальный размер файла можно передать от клиента на сервер через браузер по http? Как можно орагнизовать передачу файлов? Может http не самый удачный выбор, и необходимо рассматривать интеграцию с s3 или похожими сервисами?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21245
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Загрузка больших файлов через http.

Сообщение Bizdelnick »

Ключевое слово - chunking. Клиентская часть делается на JS, есть несколько готовых библиотек. Пример на пыхе, на питоне можно сделать по аналогии.

BigBrother писал(а):
20.06.2014 17:54
mod_xsendfile сможет решить данную задачу?

Нет, насколько я понимаю.

BigBrother писал(а):
20.06.2014 17:54
Может http не самый удачный выбор,

Ну вообще - да, не самый.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Загрузка больших файлов через http.

Сообщение azsx »

может торрент лучший выбор?
зы
его можно реализовать через плагины к браузеру
Спасибо сказали:
BigBrother
Сообщения: 436
Статус: ¯\_(ツ)_/¯
ОС: linux based

Re: Загрузка больших файлов через http.

Сообщение BigBrother »

Bizdelnick писал(а):
20.06.2014 18:14
BigBrother писал(а):
20.06.2014 17:54
Может http не самый удачный выбор,

Ну вообще - да, не самый.

А какие есть варианты? Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?


azsx писал(а):
23.06.2014 04:54
может торрент лучший выбор?

Торрент поддерживает доступы по логину/паролю? Необходимо что бы юзер имел доступ только к своим файлам.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21245
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Загрузка больших файлов через http.

Сообщение Bizdelnick »

BigBrother писал(а):
28.06.2014 18:45
Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?

Не знаю, с S3 дела не имел.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Загрузка больших файлов через http.

Сообщение azsx »

Необходимо что бы юзер имел доступ только к своим файлам.

логично предположить, что если всё равно реализовывать через плагины в браузере, то такая мелочь как доступ только к своим папкам будем реализован легко. Также можно предложить парольную защиту. Опять же, будет стимул покупать (если цель ограничений монетизация).
зы
но торрент действительно подразумевает, что по сформированной ссылке может скачать кто угодно.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 21245
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Загрузка больших файлов через http.

Сообщение Bizdelnick »

azsx писал(а):
30.06.2014 05:41
если всё равно реализовывать через плагины в браузере

Если что-то реализовать через плагины в браузере, никто этим пользоваться не станет.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
BigBrother
Сообщения: 436
Статус: ¯\_(ツ)_/¯
ОС: linux based

Re: Загрузка больших файлов через http.

Сообщение BigBrother »

Bizdelnick писал(а):
29.06.2014 23:15
BigBrother писал(а):
28.06.2014 18:45
Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?

Не знаю, с S3 дела не имел.

s3fs умеет монтировать s3 как локальную папку. Только при ее работе, не все так гладко.
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: Загрузка больших файлов через http.

Сообщение azsx »

если пойдет вариант про монтирование, то можно создавать юзерам акк на меге и иметь 2 пароля у вас и у юзера. Лишь бы они не меняли. А мега тоже монтирует и шифрует.
Спасибо сказали:
Аватара пользователя
drBatty
Сообщения: 8735
Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
ОС: Slackware-current

Re: Загрузка больших файлов через http.

Сообщение drBatty »

BigBrother писал(а):
28.06.2014 18:45
Торрент поддерживает доступы по логину/паролю?

нет в принципе.
Можнореализовать шифрование поверх торрента, но в этом нет смысла ИМХО.
http://emulek.blogspot.ru/ Windows Must Die
Учебник по sed зеркало в github

Скоро придёт
Осень
Спасибо сказали: