Регистрация файлов входящих по FTP

[fatboy]

Уважаемые участники, нет-ли способа регистрировать в базе данных файлы, приходящие через FTP. В принципе, я ищу способ получить некое уведомление когда файл успешно залит пользователем на сервер. Есть-ли какие-либо готовые решения или идеи как этот механизм смастерить?

[Kreept]

Наверное только одно решение, парсить логи и если файл залит, присылать уведомление на email или записывать в БД.

[Nazyvaemykh]

а если писать логи в именованный канал? mkfifo какбе…

[fatboy]

Наверное только одно решение, парсить логи и если файл залит, присылать уведомление на email или записывать в БД.

Да, это, пожалуй, самое простое и быстро реализуемое решение... Придется часто-часто по крону проверять лог и потом писать в БД.

а если писать логи в именованный канал? mkfifo какбе…

С fifo у меня опыта совсем ничего, но, как я понимаю, получится некое подобие системы основанной на событиях (event driven), и это очень близко к тому что нужно. Один вопрос: если логи пишет сервер (серверная программа в данном случае) то нужно именно его и модифицировать чтобы он теперь в fifo писал? Или есть какой-то другой способ?

[Ленивая Бестолочь]

некое подобие системы основанной на событиях

не, не, не. вы создаете с помощью mkfifo "файл", в который пишутся логи.
всё, что попадает в этот "файл" идет на вход скрипту.

[fatboy]

некое подобие системы основанной на событиях

не, не, не. вы создаете с помощью mkfifo "файл", в который пишутся логи.
всё, что попадает в этот "файл" идет на вход скрипту.

но скрипту оно передается как только попадает в файл? Т.е. скрипт получает информацию от сервера и обрабатывает ее по мере поступления, но слушает fifo постоянно. Или я все-таки не понял?

[Ленивая Бестолочь]

но скрипту оно передается как только попадает в файл? Т.е. скрипт получает информацию от сервера и обрабатывает ее по мере поступления, но слушает fifo постоянно. Или я все-таки не понял?

ну типа того.
вот тут поглядите хороший пример:
http://www.linuxjournal.com/content/using-...ipes-fifos-bash
только я бы вставил туда sleep 1, чтобы не притормаживало.

[Nazyvaemykh]

только я бы вставил туда sleep 1, чтобы не притормаживало.

не лучше ли использовать команду read с параметром -t 0? тогда команда будет дожидаться появления строки в канале, а не выходить по таймауту…

[Jampire]

Уважаемые участники, нет-ли способа регистрировать в базе данных файлы, приходящие через FTP. В принципе, я ищу способ получить некое уведомление когда файл успешно залит пользователем на сервер. Есть-ли какие-либо готовые решения или идеи как этот механизм смастерить?

Нет ничего проще: используйте продукт pure-ftpd. Там эта функция уже реализована. Все, что вам требуется, это написать свой скрипт обработки.
Включаете в конфиге опцию:

Код: Выделить всё

UPLOADSCRIPT="путь_до_скрипта"

и запускаете сервер с опцией -o.
В ваш скрипт уже передаются следующие значения:
- UPLOAD_SIZE : the size of the file, in bytes.
- UPLOAD_PERMS : the permissions, as an octal value.
- UPLOAD_UID : the uid of the owner.
- UPLOAD_GID : the group the file belongs to.
- UPLOAD_USER : the name of the owner.
- UPLOAD_GROUP : the group name the file belongs to.
- UPLOAD_VUSER : the full user name, or the virtual user name. (127 chars max)
Имя файла находится в переменной $1.

Вот вам мой скрипт для примера:

Код: Выделить всё

#!/bin/bash

UPLOAD_DIR="/var/www/localhost/htdocs/de/files"
COPY_LEFT=".copyleft."
LOG_FILE="/var/log/ftp_de2"
DATE=`date +"%d-%m-%Y %T"`
UNIX_DATE=`date +%s`

CHECK_UPLOAD_DIR=`dirname "$1"`

echo "$CHECK_UPLOAD_DIR" | grep -q "$UPLOAD_DIR" &> /dev/null
if [ $? -eq 0 ]
then
    echo "====================================================" >> $LOG_FILE
    echo "Date: $DATE" >> $LOG_FILE
    echo "VUser: $UPLOAD_VUSER" >> $LOG_FILE
    BASENAME=`basename "$1" | sed -e 's/.part//g;s/ /_/g'`
    WITHOUT_PART=`basename "$1" | sed -e 's/.part//g'`
    DIRNAME=`dirname "$1"`
    echo "User file: $WITHOUT_PART" >> $LOG_FILE
    echo "Dir: $DIRNAME" >> $LOG_FILE
    echo "Size: $UPLOAD_SIZE" >> $LOG_FILE
    FILE=${BASENAME%%.*}
    EXT=${BASENAME##*.}
    mv "${DIRNAME}/${WITHOUT_PART}" "${DIRNAME}/${FILE}${COPY_LEFT}${EXT}"
    echo "Final file: ${FILE}${COPY_LEFT}${EXT}">> $LOG_FILE
    echo "====================================================" >> $LOG_FILE

fi

exit 0

Документация.

[Nazyvaemykh]

для proftpd есть модуль, реализующий почти аналогичный функционал.
http://www.castaglia.org/proftpd/modules/mod_exec.html

интересно, что разработчики proftpd сочли запуск сторонних программ и скриптов угрозой для безопасности системы, поэтому в proftpd такой функционал „изкоробки” отсутствует.

возможно, это повод задуматься, а не правы ли разработчики proftpd? (:

[Jampire]

возможно, это повод задуматься, а не правы ли разработчики proftpd? (:

Это не та "дыра" в безопасности, которая существует сама по себе. По-умолчанию в pure-ftpd также нет такой возможности: нужно принудительно запускать сервер с опцией -о и принудительно указывать путь до скрипта. А вот разработчики proftpd, похоже, решили за пользователей, что им нужно, а чего нет.

[Ленивая Бестолочь]

господа, просьба не меряться ftp-серверами, религии у всех разные, это понятно ;-)

[Nazyvaemykh]

Пока мы с вами мило беседовали, вышла новая версия Proftpd — 1.3.3
как я понял, mod_exec] теперь почти по умолчанию. (:

[diesel]

Пока мы с вами мило беседовали, вышла новая версия Proftpd — 1.3.3
как я понял, mod_exec] теперь почти по умолчанию. (:

да proftpd собственно можно настроить так чтобы он в базу логи писал, пример:

Код: Выделить всё

LoadModule mod_sql.c
LoadModule mod_sql_mysql.c
<IfModule mod_sql.c>
  SQLAuthenticate off
  SQLConnectInfo proftpd@localhost proftpd password
  SQLLog RETR,STOR transfer1
  SQLNamedQuery transfer1 INSERT "NULL, getUsersID('%U') , getFilesIDFromPath('%f'), '%b', '%h', '%a', '%m', '%T', now(), '1'" downloads
  SQLLog ERR_RETR,ERR_STOR transfer2
  SQLNamedQuery transfer2 INSERT "NULL, getUsersID('%U'), getFilesIDFromPath('%f'), '%b', '%h', '%a', '%m', '%T', now(), '0'" downloads
</IfModule>

Подробнее:
http://www.proftpd.org/localsite/Userguide...at.html#AEN1393

это если их действительно надо писать в базу.

[drBatty]

интересно, что разработчики proftpd сочли запуск сторонних программ и скриптов угрозой для безопасности системы, поэтому в proftpd такой функционал „изкоробки” отсутствует.

возможно, это повод задуматься, а не правы ли разработчики proftpd?

запуск сторонних скриптов - всегда угроза. потому она всегда отключена(по умолчанию). что не мешает конечно разработчикам дистрибутива и включить её... Странно, если документация к другому серверу не содержит такого-же предупреждения...

да proftpd собственно можно настроить так чтобы он в базу логи писал, пример:

ага. можно. причём и логи разделить, например лог о соединениях в один файл, лог о трансферах в другой, лог об ошибках - в БД...

[Jampire]

Странно, если документация к другому серверу не содержит такого-же предупреждения...

For security purposes, the server never launches any external program. It's why there is a separate daemon, that reads new uploads pushed into a named pipe by the server. Uploads are processed synchronously and sequencially. It's why on loaded or untrusted servers, it might be a bad idea to use pure-uploadscript with lenghty or cpu-intensive scripts.