Привет.
Какие на сегодня существуют способы, для загрузки больших файлов на сервер, размером от 10 до 100ГБ, через http? Задача: организовать трансферинг файлов от клиента к нашим серверам через веб-приложение (python) и чтобы во время загрузки файла, он полностью "не ложился" в ОЗУ, а то серверов не хватит. Желательно без использования сторонних средств на стороне клиента, только браузер.
Когда попробовал webdav, то он зависал при передаче файлов больше 6ГБ.
mod_xsendfile сможет решить данную задачу?
Если задача звучит как "бред", тогда какой максимальный размер файла можно передать от клиента на сервер через браузер по http? Как можно орагнизовать передачу файлов? Может http не самый удачный выбор, и необходимо рассматривать интеграцию с s3 или похожими сервисами?
Загрузка больших файлов через http.
Модераторы: SLEDopit, Модераторы разделов
-
- Сообщения: 436
- Статус: ¯\_(ツ)_/¯
- ОС: linux based
-
- Модератор
- Сообщения: 21245
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: Загрузка больших файлов через http.
Ключевое слово - chunking. Клиентская часть делается на JS, есть несколько готовых библиотек. Пример на пыхе, на питоне можно сделать по аналогии.
Нет, насколько я понимаю.
Ну вообще - да, не самый.
Нет, насколько я понимаю.
Ну вообще - да, не самый.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
-
- Сообщения: 3684
- ОС: calculate linux, debian, ubuntu
Re: Загрузка больших файлов через http.
может торрент лучший выбор?
зы
его можно реализовать через плагины к браузеру
зы
его можно реализовать через плагины к браузеру
-
- Сообщения: 436
- Статус: ¯\_(ツ)_/¯
- ОС: linux based
Re: Загрузка больших файлов через http.
А какие есть варианты? Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?
Торрент поддерживает доступы по логину/паролю? Необходимо что бы юзер имел доступ только к своим файлам.
-
- Модератор
- Сообщения: 21245
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: Загрузка больших файлов через http.
BigBrother писал(а): ↑28.06.2014 18:45Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?
Не знаю, с S3 дела не имел.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
-
- Сообщения: 3684
- ОС: calculate linux, debian, ubuntu
Re: Загрузка больших файлов через http.
Необходимо что бы юзер имел доступ только к своим файлам.
логично предположить, что если всё равно реализовывать через плагины в браузере, то такая мелочь как доступ только к своим папкам будем реализован легко. Также можно предложить парольную защиту. Опять же, будет стимул покупать (если цель ограничений монетизация).
зы
но торрент действительно подразумевает, что по сформированной ссылке может скачать кто угодно.
-
- Модератор
- Сообщения: 21245
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: Загрузка больших файлов через http.
Если что-то реализовать через плагины в браузере, никто этим пользоваться не станет.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
-
- Сообщения: 436
- Статус: ¯\_(ツ)_/¯
- ОС: linux based
Re: Загрузка больших файлов через http.
Bizdelnick писал(а): ↑29.06.2014 23:15BigBrother писал(а): ↑28.06.2014 18:45Надо что бы пользователь мог грузить большие файлы и при этом, что бы файлы хранились на внешнем сервисе, типа amazon s3. Такое можно реализовать?
Не знаю, с S3 дела не имел.
s3fs умеет монтировать s3 как локальную папку. Только при ее работе, не все так гладко.
-
- Сообщения: 3684
- ОС: calculate linux, debian, ubuntu
Re: Загрузка больших файлов через http.
если пойдет вариант про монтирование, то можно создавать юзерам акк на меге и иметь 2 пароля у вас и у юзера. Лишь бы они не меняли. А мега тоже монтирует и шифрует.
-
- Сообщения: 8735
- Статус: GPG ID: 4DFBD1D6 дом горит, козёл не видит...
- ОС: Slackware-current
Re: Загрузка больших файлов через http.
нет в принципе.
Можнореализовать шифрование поверх торрента, но в этом нет смысла ИМХО.