Удаление дубликатов при помощи fdupes (не работает)

Софт под Linux, разные программы, но только связанные с Linux

Модератор: /dev/random

TonnyBennet
Сообщения: 230
ОС: Ubuntu Server 9.10

Удаление дубликатов при помощи fdupes

Сообщение TonnyBennet »

Здравствуйте.

Проблема в том что программа fdupes не удаляет дубликаты хотя суммы md5 совпадают.

max@mail:~$ la -ls
-rw-rw-rw- 2 root root 17890 2010-12-13 13:15 1292235300.M935468P30122.mail,W=18195,S=17890:2,Sd
-rw-rw-rw- 2 root root 17890 2010-12-13 13:15 1292235300.M968450P952.mail,W=18195,S=17890:2,ST

max@mail:~$ sudo md5sum ./test/1292235300.M935468P30122.mail,W=18195,S=17890:2,Sd
a9ffcfb1b8dbab357ccd0e756fac7930 ./test/1292235300.M935468P30122.mail,W=18195,S=17890:2,Sd

max@mail:~$ sudo md5sum ./test/1292235300.M968450P952.mail,W=18195,S=17890:2,ST
a9ffcfb1b8dbab357ccd0e756fac7930 ./test/1292235300.M968450P952.mail,W=18195,S=17890:2,ST

max@mail:~$ sudo fdupes -N -d -R ./test/
max@mail:~$ sudo fdupes -N -d -R ./test
max@mail:~$ sudo fdupes -N -d -R ./test

Вот например в каталоге 2 одинаковых файла (с ооочень длинными именами) с одинаковыми суммами. И программа вообще на них никак не реагирует. Пробовал менять права - не работает.

Вот если один из существующих файлов скопировать с именем 1, например, то при запуске программы она работает - удаляет все дубликаты кроме одного.


Подскаджите в чём может быть проблема. Операционка UbuntuServer 10.4
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5502
ОС: Gentoo

Re: Удаление дубликатов при помощи fdupes

Сообщение /dev/random »

ls -i ./test/
Спасибо сказали:
TonnyBennet
Сообщения: 230
ОС: Ubuntu Server 9.10

Re: Удаление дубликатов при помощи fdupes

Сообщение TonnyBennet »

Появляется список файлов, некоторые из них с одинаковыми индексами. Подозреваю что это одинаковые файлы. (скопировать подробный вывод из консоли сейчас не могу так как сижу на паре по философии, и с телефона по ssh выполняю команды, из оперы мини пишу сюда)
Спасибо сказали:
Аватара пользователя
SLEDopit
Модератор
Сообщения: 4824
Статус: фанат консоли (=
ОС: GNU/Debian, RHEL

Re: Удаление дубликатов при помощи fdupes

Сообщение SLEDopit »

TonnyBennet писал(а):
14.12.2010 10:34
некоторые из них с одинаковыми индексами.
индексы эти - это иноды. а раз они одинаковые, то у вас у вас используются хардлинки, потому fdupes ничего и не удаляет.
UNIX is basically a simple operating system, but you have to be a genius to understand the simplicity. © Dennis Ritchie
The more you believe you don't do mistakes, the more bugs are in your code.
Спасибо сказали:
TonnyBennet
Сообщения: 230
ОС: Ubuntu Server 9.10

Re: Удаление дубликатов при помощи fdupes

Сообщение TonnyBennet »

max@mail:~$ ls -i ./test
9306353 1292226338.M541220P30122.mail,W=37716,S=37165:2,d
9306353 1292226338.M598265P29618.mail,W=37716,S=37165:2,ST
9306354 1292228430.M563987P30122.mail,W=47115,S=46445:2,ad
9306354 1292228430.M566001P29618.mail,W=47115,S=46445:2,ad
9306355 1292229249.M327689P30122.mail,W=7163,S=6995:2,a
9306355 1292229249.M401242P29618.mail,W=7163,S=6995:2,ST
9306356 1292229840.M667082P30122.mail,W=7942,S=7754:2,a
9306356 1292229840.M746282P29618.mail,W=7942,S=7754:2,ST
9306357 1292232068.M880728P30122.mail,W=3320,S=3247:2,a
9306357 1292232068.M884892P29618.mail,W=3320,S=3247:2,a
9306358 1292235300.M935468P30122.mail,W=18195,S=17890:2,Sd
9306358 1292235300.M968450P952.mail,W=18195,S=17890:2,ST

А можно немного поподробнее а то я не так давно работаю в линуксе. Что это такое? И как можно перенастроить программу чтобы она удаляла дубликаты? Или может посоветуете другую программу?

Нашёл в мануале :)

-H --hardlinks
normally, when two or more files point to the same disk area
they are treated as non-duplicates; this option will change this
behavior

выполнил max@mail:~$ sudo fdupes -N -d -H -R ./test

получил

9306348 1292220330.M350171P29618.mail,W=59637,S=58699:2,a
9306350 1292220330.M350173P29618.mail,W=67005,S=66082:2,a
9306352 1292220330.M350175P29618.mail,W=20093,S=19789:2,a
9306353 1292226338.M598265P29618.mail,W=37716,S=37165:2,ST
9306354 1292228430.M563987P30122.mail,W=47115,S=46445:2,ad
9306355 1292229249.M401242P29618.mail,W=7163,S=6995:2,ST
9306356 1292229840.M746282P29618.mail,W=7942,S=7754:2,ST
9306357 1292232068.M880728P30122.mail,W=3320,S=3247:2,a
9306358 1292235300.M935468P30122.mail,W=18195,S=17890:2,Sd


По моему заработало :)
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5502
ОС: Gentoo

Re: Удаление дубликатов при помощи fdupes

Сообщение /dev/random »

Хардлинки - это несколько имён для одного и того же файла. Т.е. если изменить один, изменится и другой, кроме того, место на диске они занимают лишь в одном экземпляре, сколько бы их ни было, и от удаления части из них место не освободится. Поэтому дубликатами они по-умолчанию не считаются. Как их удалить, вы уже выяснили - опция -H.
Спасибо сказали:
TonnyBennet
Сообщения: 230
ОС: Ubuntu Server 9.10

Re: Удаление дубликатов при помощи fdupes

Сообщение TonnyBennet »

Просто огроменное спасибо :) Я пару дней назад поставил эту прогу и очень долго бился с настройками :) теперь всё работает так, как должно быть :)
Спасибо сказали: