Файловая система vs База данных

[u1`]

Посоветуйте, как поступить.В общем, есть несколько миллионов файлов, размером примерно 20кб. У каждого файла есть свой индех x.y.z В каком виде их лучше всего хранить?
Если в виде базы данных, то какие это дает преимущества?

[sergio]

Посоветуйте, как поступить.В общем, есть несколько миллионов файлов, размером примерно 20кб. У каждого файла есть свой индех x.y.z В каком виде их лучше всего хранить?
Если в виде базы данных, то какие это дает преимущества?

Забыли объяснить, что это за файлы и что с ними предполагается делать. Если только хранить - то зачем база данных?
Или строить выборки, изменять, искать по условию, модифицировать и т.д. - есть о чем говорить.

[u1`]

Ну вообщето хранить, и извлекать.
Одно из преимуществ ДБ для этого - легкость копирования. То есть, миллион файлов будет трудно записать на болванку, а ДБ файл - легко.

[sergio]

Одно из преимуществ ДБ для этого - легкость копирования. То есть, миллион файлов будет трудно записать на болванку, а ДБ файл - легко.

Эээ... пардон. Миллион фалов по 20К - это 20 000 000 000 - итого 20Г. Таких "болванок" кажется пока еще нет. Хотя скоро будут. А чем неугоден tar? Или с болванки прямо читать-выбирать их собираетесь? так это непрактично...

[Liksys]

Смотря что за файлы.

[diesel]

Одно из преимуществ ДБ для этого - легкость копирования. То есть, миллион файлов будет трудно записать на болванку, а ДБ файл - легко.

Эээ... пардон. Миллион фалов по 20К - это 20 000 000 000 - итого 20Г. Таких "болванок" кажется пока еще нет. Хотя скоро будут. А чем неугоден tar? Или с болванки прямо читать-выбирать их собираетесь? так это непрактично...

ты когда-то пробовал с таким колличеством файлов что-то делать? особенно архивировать, копировать итп(даже mv занимает ощутимое колличество времени). Это *очень* медленно. Например пока извлекаются файлы из тара в котором пару сотен тысяч файлов(гм а может даже меньше - несколько десятков тысяч, сейчас не могу посмотреть) можно успеть попить кофе, неспеша, в файлах одно шестизначное число(особенно если все файлы в одной папке).

БД возможно действительно будет неплохим выбором, если предполагается это активно переносить, правда надо еще смотреть на скорость отдачи нужной информации.

[sergio]

ты когда-то пробовал с таким колличеством файлов что-то делать? особенно архивировать, копировать итп(даже mv занимает ощутимое колличество времени). Это *очень* медленно. Например пока извлекаются файлы из тара в котором пару сотен тысяч файлов можно успеть попить кофе, неспеша, в файлах одно шестизначное число(особенно если все файлы в одной папке).

Человек не объяснил, что именно он собирается делать. Если резервную копию - то вряд ли все файлы каждый день. =) Если просто "хранить" - то почему нет? Структура каталогов и проч - не указывалась. Если "x.y.z" - то миллион премиленько разбивается на 100 x 100 x 100 - c таким кол-вом файлов-каталогов даже дос справлялся (ну, имеецо в виду - в одной папке, а не всего на диске, гыгы). =))))))))
Но, опять же, если их и по 10000 в каталоге - фаловые системы тоже бывают разные.
Короче говоря - вопрос поставлен по-пустому. Надо излагать, что именно и как должно работать. Исли выбоки по нескольким индексам - то какие нафиг файлы? Если просто тихо-мирно лежать на сайте, куда все лазят - какая нафиг БД?

(кстати, одно другому не помеха: файлы могут лежать на диске, а индексы к ним - в базе; опять же вопрос - что в этих файлах и что с ними собираются делать, что там индексировать, если вообще надо)

[Liksys]

У меня в словаря такая шняга используется - голосовая транскрипция. Там куча файлов мелких формата ogg, разбиты по алфавиту, то есть каталоги по первым буквам итих слов. И лежат они там, никому не мешают.

[u1`]

Файлы -картинки. С ними нужно производить 2 операции - сохранение и выборка(по х,у,z). Желательно, чтобы можно было по быстрому перенести всю базу к другому хостеру например.

[v04bvs]

сделать файлами. если будет тормозить - использовать архиватор (можно tar, может быть стоит свой формат изобрести).

[tarkus]

20Kb - вполне подходящий размер для файловой системы. Смотреть надо на то, сколько хард (или другое блочное устройство) передает за раз.

Таких "болванок" кажется пока еще нет.

20Gb - обычный размер для Blu-ray болванки.

[igorv]

Во всяком случае, с достаточной обоснованностью, можно утверждать, что:
1. файловые операции накладны в плане производительности, поэтому если требуется быстрые чтение/запись, то такие маленькие файлики лучше запихать в БД.
2. Абсолютной в любой файловой системе, кучу маленьких файликов хранить нецелесообразно (если только ваш раздел не хранит ничего более) в плане нерационального использования дискового пространства.
Так, что если вышеупомянутые пункты вас не тревожат - храните наздоровье на уровне ФС, иначе - запихайте всё в БД.

[AMD]

Посоветуйте, как поступить.В общем, есть несколько миллионов файлов, размером примерно 20кб. У каждого файла есть свой индех x.y.z В каком виде их лучше всего хранить?
Если в виде базы данных, то какие это дает преимущества?

ReiserFS