Обсуждение архиваторов

[/dev/random]

PS я знаю, как RLE работает

я знаю, что вы знаете это объяснение не для вас.

Это не я писал.

[sciko]

Перевёл как "длина шага RLE". Думаю так буде в общих чертах понятно про что речь.

[drBatty]

Это не я писал.

Действительно:

PS я знаю, как RLE работает

Прошу прощения.

Перевёл как "длина шага RLE". Думаю так буде в общих чертах понятно про что речь.

нормально ИМХО.

[Luinnar]

tar.gz 106120786 21.8 50.5
zip 114070861 24.0 45.9

что-то не так: время извлечения по этому алгоритму должно быть МЕНЬШЕ. наверное это из-за медленной записи на диск (при извлечении писать нужно больше в разы).

Я посмотрел, всё упирается в дисковые операции, процессоры (их 2 у меня) на распаковке gzip'ом использовались всего на 10-15%.

[drBatty]

Я посмотрел, всё упирается в дисковые операции, процессоры (их 2 у меня) на распаковке gzip'ом использовались всего на 10-15%.

ага. значит эти результаты должны быть лучше где-то на 60-80% (например если файл в памяти).

[Luinnar]

Rar запускал через wine, поэтому скорость сжатия/распаковки под Windows будет отличаться, но вот размер архива должен быть тот же.

На чём основано данное предположение?

Было основано на догадке, а теперь и на результате эксперимента. Скачал новый rar 3.90 и проверил ту же папку с исходниками на 670 Mb, размер архивов тот же, что и при WinRar 3.50, а вот скорость изменилась. В WinRar 3.90 теперь тоже многопоточность используется, думаю, поэтому и результат по скорости лучше стал.

Код: Выделить всё

   378 Mb source code
Solaris    rar+wine:  1:24.50
Windows rar:          1:05.00

Версии программ:
wine 1.1.25
rar 3.90

И всё равно, 7zip под Windows в двух тестах и быстрее и лучше сжал чем WInRar, а в одном тесте, в котором WinRar существенно быстрее, 7zip существенно лучше сжал:

Код: Выделить всё

   378 Mb source code
rar  105795556 1:05.00
7zip 67792249  1:40.00

   72 Mb imap mail box
rar: 41578551 0:26.95
7z:  35414424 0:23.32

    733 Mb imap mail box
rar: 281261905 3:24.97
7z:  247761545 3:09.53

[drBatty]

Скачал новый rar 3.90 и проверил ту же папку с исходниками на 670 Mb, размер архивов тот же

не удивительно.

В WinRar 3.90 теперь тоже многопоточность используется, думаю, поэтому и результат по скорости лучше стал.

конечно.

И всё равно, 7zip под Windows в двух тестах и быстрее и лучше сжал чем WInRar, а в одном тесте, в котором WinRar существенно быстрее, 7zip существенно лучше сжал:

а вы попробуйте настроить RAR так, что-бы он пожрал столько-же памяти (100Мб)
на вкладке advanced есть размер словаря, а в доках формула для расчёта используемой памяти.
А то получается не очень честно - RAR как-бы работает на более плохом железе.

ЗЫЖ потому и 7z сжал лучше source, потому, что там есть длинные контексты, которые RAR позабыл из-за малой памяти, а вот 7z не забыл. тут ИМХО нужно как-то их выровнять.

[Luinnar]

378M source code

результаты практически не отличаются. некоторое превышение 7z наверное связано с тем, что он использует в несколько раз больше памяти (т.к. по умолчанию жмёт в несколько потоков), ну а чем больше памяти, тем лучше сжатие. А вообще странно: как может более старый алгоритм LZMA жать лучше чем LZMA-2? зачем тогда придумали №2?
с bzip2 ясно - 7Мб это не о чём, по сравнению с сотнями Мб 7z, xz... Ну куда с таким блоком в неполных 900К?!

Странно или не странно, но таковы результаты тестирования.

а вы попробуйте настроить RAR так, что-бы он пожрал столько-же памяти (100Мб)
на вкладке advanced есть размер словаря, а в доках формула для расчёта используемой памяти.
А то получается не очень честно - RAR как-бы работает на более плохом железе.

Всё запускал с дефолтными настройками, большинство пользователей не будет изменять размер словаря, да и я никогда не менял.

[drBatty]

Всё запускал с дефолтными настройками, большинство пользователей не будет изменять размер словаря, да и я никогда не менял.

да. что касается рара, то там не поменяешь - профили там очень неудобные.
Однако в UNIX-Way менять очень даже можно, и иногда нужно.

Кстати, по поводу bzip2 vs gzip:
последний жмёт быстрее и хуже не только из-за алгоритма, но и из-за того, что в последнем по умолчанию -6 степень сжатия, а в bzip2 максимальная -9.

Можно сделать патч к xz, и будет super-xz, который по умолчанию жмёт на полную. Т.о. вы получите для себя "самый крутой архиватор" (хотя можете просто сделать алиас super-xz='xz -9'). другое дело, что у меня этот вариант будет работать вечно, ведь он требует 768Мб из моих 504х.

[Flaming]

Кстати, глупый вопрос, а зачем винрар пускать под wine? =) Есть же rar4linux. Было бы интереснее с ним производительность сравнить. То есть его с винраром сравнить...

[Luinnar]

Кстати, глупый вопрос, а зачем винрар пускать под wine? =) Есть же rar4linux. Было бы интереснее с ним производительность сравнить. То есть его с винраром сравнить...

Ага, только я тестировал это всё под Solaris, для которой rar'а 3.90 нету.

Однако в UNIX-Way менять очень даже можно, и иногда нужно.

Кстати, по поводу bzip2 vs gzip:
последний жмёт быстрее и хуже не только из-за алгоритма, но и из-за того, что в последнем по умолчанию -6 степень сжатия, а в bzip2 максимальная -9.

Это и так ясно, поэтому при сравнении важно указывать не только архиватор, но и его опции. А в самом простом случае, как я и сделал, сжимаем всё с опциями по-умолчанию.

[sciko]

ЕМНИП, то ведь есть же стандартные комплекты для измерения скорости и степени сжатия архиваторов. Почему бы не проделать всё по-взрослому?

[Luinnar]

ЕМНИП, то ведь есть же стандартные комплекты для измерения скорости и степени сжатия архиваторов. Почему бы не проделать всё по-взрослому?

Вы считаете, что написать самому скрипт, который измеряет время архивации/разархивации, запоминает размер и выводит результаты в виде таблички для всех указанных архиваторов, это не сУрьёзно?

PS: считайте, что один таким комплексом стало больше.

[sciko]

считайте, что один таким комплексом стало больше.

Причём здесь комплексы? Я говорю о комплектах файлов которые собственно говоря и сжимают.

[drBatty]

Кстати, глупый вопрос, а зачем винрар пускать под wine? =) Есть же rar4linux. Было бы интереснее с ним производительность сравнить. То есть его с винраром сравнить...

он денег стОит. а пробной версии я не нашёл.

[Luinnar]

считайте, что один таким комплексом стало больше.

Причём здесь комплексы? Я говорю о комплектах файлов которые собственно говоря и сжимают.

Ой, сорри, не разглядел. Видно, конец рабочего дня сказывается. Прошу прощения.

Да, комплекты можно было бы и задействовать... но я тестирование уже провёл, пока времени больше нет на это.

[Flaming]

он денег стОит. а пробной версии я не нашёл.

Разве??? прочитай первый пост темы. Он такая же триалка, как и винрар.

[drBatty]

ЕМНИП, то ведь есть же стандартные комплекты для измерения скорости и степени сжатия архиваторов. Почему бы не проделать всё по-взрослому?

1) это уже проделано.
2) сравнивать в 2010ом сжатие жалких обрезков по 53К - просто смешно. А стандартные тесты примерно такие.

[Luinnar]

он денег стОит. а пробной версии я не нашёл.

Разве??? прочитай первый пост темы. Он такая же триалка, как и винрар.

Да точно такая же.

WinRAR is shareware, meaning you have the chance to thoroughly test it. The program can be used absolutely free of charge for 40 days!

Взято с этой странички: http://www.win-rar.com/rarproducts.html

[Luinnar]

Решил таки поиграться ключами xz и вот обновлённая таблица результатов для первого теста. Здесь xzN соответствует xz запущенному с ключем -N:

Код: Выделить всё

============================================
    72M     imap mail box
--------------------------------------------
type    size    compress_time   extract_time
----    ----    -------------   ------------
tar.xz9  17686056        53.3    7.6
tar.xz8  30558440        57.1    6.2
7z       35419423        29.5    4.7
tar.xz7  37648952        55.0    7.2
tar.7z   37679998        29.1    5.7
tar.lzma 40505026        51.1    5.1
tar.xz   40511368        51.5    7.1
tar.xz6  40511368        51.4    7.3
tar.xz5  40710700        44.6    7.1
rar      41584380        36.1    3.7
tar.xz4  46585984        44.1    7.3
tar.xz3  48033516        43.4    7.6
tar.bz2  48662255        21.7    9.5
tar.gz   48738596        5.7     1.5
zip      48751659        6.0     1.9
tar.xz1  50487384        17.9    7.6
tar.xz0  50601360        17.9    7.9
tar.xz2  51498616        29.3    7.8
============================================

Как видно xz -9 лидирует по степени сжатия с отрывом в два раза! Но нужно сказать, что и памяти он потреблял > 350 Mb.
Кстати, 7zip идёт на равне с "xz -7" только жмёт гораздо быстрее, уж не поэтому ли 7zip имеет цифру 7 в названии? шутка. а совпадение забавное.

[rm_]

Как видно xz -9 лидирует по степени сжатия с отрывом в два раза! Но нужно сказать, что и памяти он потреблял > 350 Mb.
Кстати, 7zip идёт на равне с "xz -7" только жмёт гораздо быстрее, уж не поэтому ли 7zip имеет цифру 7 в названии? шутка. а совпадение забавное.

Крайне странный результат, больше похоже на глюк. Может он там сегфолтнулся на середине, не дописав архив?
Или памяти-таки не хватило?)
Попробуйте проверить, что 17-меговый распаковывается в неповреждённый tar-файл.

[drBatty]

Как видно xz -9 лидирует по степени сжатия с отрывом в два раза!

вот, так и должно быть.

Крайне странный результат, больше похоже на глюк.

почему-же?
почему LZMA должен быть лучше LZMA-2? Более новый алгоритм лучше работает. Что тут странного?
в этом почтовом ящике видимо были похожие посты, но они раскидались таром (и 7z) далеко в архиве. xz запомнил эти посты, и свернул их (как один длинный повторяющийся контекст). Конечно такой анализ требует много времени и памяти.

[drBatty]

Да точно такая же.

там консольная версия с кривыми ключами. хочу либо нормальную (как tar), либо GUI. А такого не сделали.

[rm_]

Как видно xz -9 лидирует по степени сжатия с отрывом в два раза!

вот, так и должно быть.

Крайне странный результат, больше похоже на глюк.

почему-же?
почему LZMA должен быть лучше LZMA-2? Более новый алгоритм лучше работает. Что тут странного?

А Вы вообще табличку смотрели? xz -9 лидирует с отрывом в два раза от xz -8.
При этом закончив операцию сжатия быстрее него.

Код: Выделить всё

tar.xz9  17686056        53.3    7.6
tar.xz8  30558440        57.1    6.2

[drBatty]

А Вы вообще табличку смотрели? xz -9 лидирует с отрывом в два раза от xz -8.
При этом закончив операцию сжатия быстрее него.
Код
tar.xz9 17686056 53.3 7.6
tar.xz8 30558440 57.1 6.2

не вижу ничего необычного: с -8 он по крохам собирал-мучился, еле-еле насобирал, а когда дали больше мозгов (памяти) - увидел, что есть что-то более простое. дальние контексты...

PS: программа xz вроде нормальная. не сегфолтится и не глючит. мне (субъективно) она понравилась, не смотря на моё субъективное неприятие LZMA. я не думаю, что программа молча ошиблась, и уж тем более не верю, что уважаемый Luinnar скрыл эту ошибку. хотя проверить надо...

У меня xz с ключом -9 пожрал около 768Мб, потому проверить я это просто не смогу - ну разве что кто-то мне поможет $$ на память...

[drBatty]

да, я о чём:
ABCDEFG**************************************************************ABCDEFG
архиватор должен сжать в 7 с лишним байтов это "ABCDEFG". Проблема в "*****": если этих звёздочек много, а памяти мало, то архиватор забудет про "ABCDEFG". много-мало понятие относительное, у нас счёт на сотни мегабайт... Просто я в примере несколько байт поставил.

[Flaming]

там консольная версия с кривыми ключами. хочу либо нормальную (как tar), либо GUI. А такого не сделали.

А что там не так с ключами?
GUI для архиватора/компрессора, IMHO, лишнее. Такую возможность надо просто встраивать в файловые менеджеры вроде krusader (она, кстати, есть). А программы вроде ark мне как-то не очень...

[NickLion]

GUI для архиватора/компрессора, IMHO, лишнее. Такую возможность надо просто встраивать в файловые менеджеры вроде krusader (она, кстати, есть). А программы вроде ark мне как-то не очень...

Кстати, не советую krusader'ом с архивами работать. Может я слишком критичен, но ещё во время KDE4.2 он у меня при распаковке иногда "забывал" некоторые файлы. Может исправился, не знаю. Уже отказался от такой фичи - крусэйдером пользуюсь, но архивы открываю арком.
Даже точно не помню, на всех типах архивов это было, или только определённых... Это происходило вообще не так уж часто, но неприятно.

[Flaming]

NickLion, как он может забывать файлы, если он сам ничего не запаковывает, а использует стороннюю программу? На неё всё и спихиваете.

[ultrashel]

мне нужен архиватор формата vfs