Работа с сервисом Amazon S3 или их аналоги (Подводные камни, настройка хранилища)

Любые разговоры которые хоть как-то связаны с тематикой форума

Модератор: Модераторы разделов

Ответить
Yellow _Banan
Сообщения: 0

Работа с сервисом Amazon S3 или их аналоги

Сообщение Yellow _Banan »

Доброго времени суток! Уважаемые форумчане, нежен совет. Делаю сайт с подпиской на электронные книги. Получается много файлов маленького объема. Соответственно после подписки, человек может скачать файл. Если просто хранить файлы у себя, то ссылку можно достать и выложить куда угодно. Интересует временная ссылка на файл которая формируется автоматически по запросу (при нажатии кнопки скачать). Слышал что Amazon S3 обладает такими возможностями. Кто сталкивался с работой данного сервиса? Или есть какие нибудь аналоги с формированием временных ссылок ? Заранее спасибо!
Спасибо сказали:
Kopilov
Сообщения: 947
ОС: [K]Ubuntu, Debian

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение Kopilov »

Как будете свой сайт делать?
Я в своё время делал систему для корпоративного распространения обновлений ПО и документации на Java EE (есть исходники), но можно на чём угодно ещё, умеющем работать напрямую с файлами и HTTP-потоком. Принцип: сами файлы распространять не через сервер статики, а отдавать из контроллера, проверив, что пользователь авторизован и купил конкретную книгу.
Спасибо сказали:
BigBrother
Сообщения: 436
Статус: ¯\_(ツ)_/¯
ОС: linux based

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение BigBrother »

Yellow _Banan писал(а):
20.03.2017 02:12
Интересует временная ссылка на файл ... Слышал что Amazon S3 обладает такими возможностями...

... the object owner can optionally share objects with others by creating a pre-signed URL, using their own security credentials, to grant time-limited permission to download the objects.
Спасибо сказали:
Yellow _Banan
Сообщения: 0

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение Yellow _Banan »

BigBrother писал(а):
20.03.2017 13:38
Yellow _Banan писал(а):
20.03.2017 02:12
Интересует временная ссылка на файл ... Слышал что Amazon S3 обладает такими возможностями...

... the object owner can optionally share objects with others by creating a pre-signed URL, using their own security credentials, to grant time-limited permission to download the objects.

Человек с ником "Большой Брат" должен знать) Вопрос: Вы сами пользовались S3? Просто прочитал очень много статей, где за пользование S3 набегает солидная сумма денег из за запросов.Когда файлы будут залиты и их надо будет размещать, мы сами себе на создаем тучу запросов. Интересуют подводные камни сервиса. Их калькулятору веры нету абсолютно. Если база 25 гигов из 2000 файлов и примерный трафик сайта 300 уников сутки, во что это выльется?

Kopilov писал(а):
20.03.2017 08:46
Как будете свой сайт делать?
Я в своё время делал систему для корпоративного распространения обновлений ПО и документации на Java EE (есть исходники), но можно на чём угодно ещё, умеющем работать напрямую с файлами и HTTP-потоком. Принцип: сами файлы распространять не через сервер статики, а отдавать из контроллера, проверив, что пользователь авторизован и купил конкретную книгу.

Сайт делаем на Wordpress. Смысл не конкретной покупки книги, а скачивание всего что есть, после подписки. Вот тут возникает масса вопросов, просто если стянуть ссылку на файл и разместить ее на форуме читателей, то проект загнется через определенное время.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение Bizdelnick »

Yellow _Banan писал(а):
20.03.2017 23:15
если стянуть ссылку на файл и разместить ее на форуме читателей, то проект загнется через определенное время.

Разве проблема отдавать файл только авторизованным пользователям?
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Yellow _Banan
Сообщения: 0

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение Yellow _Banan »

Bizdelnick писал(а):
20.03.2017 23:38
Yellow _Banan писал(а):
20.03.2017 23:15
если стянуть ссылку на файл и разместить ее на форуме читателей, то проект загнется через определенное время.

Разве проблема отдавать файл только авторизованным пользователям?

Ну на самом деле проблема. Если есть варианты, с радостью выслушаю.
Спасибо сказали:
Аватара пользователя
ieleja
Сообщения: 307
ОС: Debian 9, macOS, Windows
Контактная информация:

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение ieleja »

Yellow _Banan писал(а):
20.03.2017 23:15
Их калькулятору веры нету абсолютно


по этому калькулятору вам с со счета снимут деньги, так что верьте этому калькулятору
ad infinitum
Спасибо сказали:
BigBrother
Сообщения: 436
Статус: ¯\_(ツ)_/¯
ОС: linux based

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение BigBrother »

Yellow _Banan писал(а):
20.03.2017 23:15
Человек с ником "Большой Брат" должен знать) Вопрос: Вы сами пользовались S3? ... Интересуют подводные камни сервиса. Их калькулятору веры нету абсолютно.


Да, пользовался и пользуюсь.
С помощью их калькулятора, вы можете прикинуть только примерную сумму к оплате. Амазон билит практически за все! Даже за обмен трафиком между ec2 в одном регионе но в разных зонах.
Конкретно по s3: платить будете за запросы к их api, за трафик, за занимаемый объем и т.д. По этому, вы должны для себя принять решение: или платить амазону или платить инженерам, которые будут поддерживать для вас кластерную-файловую систему на своих серверах.
Спасибо сказали:
Аватара пользователя
SLEDopit
Модератор
Сообщения: 4823
Статус: фанат консоли (=
ОС: GNU/Debian, RHEL

Re: Работа с сервисом Amazon S3 или их аналоги

Сообщение SLEDopit »

Yellow _Banan писал(а):
20.03.2017 02:12
Кто сталкивался с работой данного сервиса?
Может немного оффтоп, но буквально на днях об их работе писали все кому не лень. А они всего лишь случайно потушили чуть больше серверов, чем хотели.
Но справедливости ради, озвученные выводы в сообщении вызывают уважение ("это не инженер дурак, а у нас процессы несовершенные и мы их обязательно поменяем").
Yellow _Banan писал(а):
20.03.2017 23:15
Просто прочитал очень много статей, где за пользование S3 набегает солидная сумма денег из за запросов.
Не меньшее число статей говорит о том, что подобные суммы чаще всего из-за неудачно настроенной инфраструктуры или неправильно выбранного архитектурного решения.
В духе "ну зачем простому приложению при небольшом количестве посещений 2 сервера с базами, 2 бэкенда и ещё load balancer до кучи?". А таких сплошь и рядом хватает.
Вот ребята написали, как нехитрыми действиями сэкономили миллион баксов. И не менее интересное обсуждение этого рассказа.
Из интересного на эту тему ещё есть недавние метания гитлаба, когда они решили уехать с облака на своё железо, и даже посчитали железо, но потом внезапно передумали.

ЗЫ. В приведённых статьях масштабы немного другие, но общая суть всё равно примерно такая же получается.
ЗЗЫ. Мои извинения за ссылки исключительно на английском. Но, увы, именно на нём появляется большинство интересного материала. Гугл транслейт в помощь, если что.
UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity. © Dennis Ritchie
The more you believe you don't do mistakes, the more bugs are in your code.
Спасибо сказали:
Ответить