Метод фильтрации данных

[sovereign]

Привет всем

Надо по набору правил фильтровать данные.
Данные бинарныйе 32 розряда.
Данных очень много,потому очень важна не только скорость ,но и отсутствия коллизий.
Данные читаю с файла.
Сейчас остановился на двох вариантах:
1.Хеш функции
2.Фильтр Блума
Кто что посоветует?

Наперед всем спасибо.

[RasenHerz]

Я обычно использую хеши

[sovereign]

У меня данные-ethernet пакеты у бинарном представлении.
Одна разновидность фильтра блюма как раз создана для фильтрации пакетов.
Но пока немогу его реализировать.

[NickLion]

...
Данных очень много,потому очень важна не только скорость ,но и отсутствия коллизий.
...
2.Фильтр Блума

Хм... положительный ответ на несуществующий элемент - это нормально? Вписывается в правило отсутствия коллизий? Если нет, то фильтр просто отвергается. А еще нет возможности удалить элемент. Только добавить. Правда это, наверное, не важно в данном случае.
Но этот фильтр может быть полезен для быстрой первичной фильтрации, да.