Сортировка файлов

[Vitaly79]

необходимо удалить из файла-1 строки, в которых есть хотя бы одна подстрока из файла-2
т.е. на каждую строку из 1 файла нужно прогонять регулярку всех строк из 2 файла
скриптом могу сделать но хотелось бы одной конвейерной командой
типа cat file-1 | sed... etc > out
возможно?

[Лис]

А если не sed, а grep --invert-match?

[Vitaly79]

Лис
ей Богу пусть grep лиш бы работало
соль в том как прогнать для каждой строки все другие строки из другого файла
вот например в sed есть команда 'r file' прочитать файл
а у меня тяму не хватает как сделать
perl скрипт могу забацать но думаю конвейер большой файл быстрее обработает

[elide]

ты спросил в 9 утра. уже 12. как бы медленно не работал скрипт на перл, за три часа он уже всяко обработал бы твои файлы. тратить несколько часов на решение, которое экономит несколько секунд на выполнении...... это крайне странное занятие, да.

[Vitaly79]

elide
ошибаешься
1) никуда не тороплюсь
2) задачка довольна интересна

[snake]

1) никуда не тороплюсь

В таком разе можно бы и C выучить и сконстролить для такой задачи бинарник. Кстати, тоже самый выход будет полезен, если вам эту процедуру нужно делать регулярно и/или в цикле по сто тыщ мульёнов раз.

Не охота си учить, возьмите хотя б freepascal (уж паскалю в свое время почти всех учили) Всяко быстрее перла будет.

[plumbum]

Код: Выделить всё

grep -ivE "`xargs -a dellist.txt | tr " " "|"`" source.txt

Недостаток: нельзя что бы в подстроках (файл dellist.txt) были пробелы и "|". Но они экранируются в соответствии с правилами регэкспов (к примеру пробел \\s).

Вроде работает. На всё это дело, вместе с чтением манов у меня ушло 10 минут.

[xorader]

"тематический флейм" <_<
Это пример, когда важен процесс, а не результат ?

[Vitaly79]

snake
СИ я как раз таки знаю и довольно неплохо
но под никсы тока на перле в основном программирую
в принципе идея хорошая по быстроте не уступит
но хотелось бы воспользоваться гибкими инструментами Unix
зачем велик ихобретать
и научиться ими работать, по sed что-то не нашел нужных примеров в интернете

plumbum
спасибо вам
буду пробовать

[sash-kan]

зачем велик ихобретать

↑

действительно, пусть другие их обретут (:
вот требуемый велик:

grep -vxf dellist.txt source.txt

[plumbum]

sash-kan, ндя.. Таки буду маны внимательнее читать
=)

[Vitaly79]

не все так просто оказывается
sash-kan ваша команда с лог-файлами 500(исходный) и 1(деллист) Мб зависает очень надолго
не выводя в stdout ни одной строки, через 30 минут памяти под grep довольно много выделилось
пробовал grep с опцией --line-buffered, не помогает

plumbum ваша команда выдала

bash: /bin/grep: Argument list too long

извиняюсь если не туда запостил
не нашел соответствующего раздела

[sash-kan]

500(исходный) и 1(деллист) Мб

↑

прочитал и чуть не поперхнулся.
конечно, тут надо потяжелее артиллерию подтягивать.
хотя бы perl.