bash: Удаление строк из файла

vodvorezlaya · Сообщение **vodvorezlaya** » 14.03.2008 12:30

Подскажите новичку.

необходимо вырезать в файле определенные строки.

как их вывести я разобрался(cat $FILE | grep -h $STR), а как удалить?

спасибо.

KonishchevDmitry · Сообщение **KonishchevDmitry** » 14.03.2008 12:38

cat "$FILE" | grep -v "$STR"

vodvorezlaya · Сообщение **vodvorezlaya** » 14.03.2008 12:47

KonishchevDmitry писал(а): ↑
14.03.2008 12:38
cat "$FILE" | grep -v "$STR"

Спасибо

allez · Сообщение **allez** » 14.03.2008 15:43

Если нужно внести изменения в сам файл, воспользуйтесь командой sed -i "/$STR/d" "$FILE".

vodvorezlaya · Сообщение **vodvorezlaya** » 17.03.2008 13:55

allez писал(а): ↑
14.03.2008 15:43
Если нужно внести изменения в сам файл, воспользуйтесь командой sed -i "/$STR/d" "$FILE".

Ок. Буду знать.

Но я вот так вношу:

cat "$FILE" | grep -v "$STR" > "$FILE"

))

nesk · Сообщение **nesk** » 17.03.2008 14:03

vodvorezlaya писал(а): ↑
17.03.2008 13:55
Но я вот так вношу:

cat "$FILE" | grep -v "$STR" > "$FILE"

))

Плохое решение, если этот файл будет большим (больше размера канала, больше 4к)!
То часть файла будет потеряна.

allez · Сообщение **allez** » 17.03.2008 14:34

Будет потеряна не часть, а весь файл, так как вначале он будет открыт на запись оператором перенаправления ">", а, соответственно, обнулен. Если же использовать ">>" вместо ">", то содержимое файла не потеряется, но и результат достигнут не будет, поскольку отфильтрованный вывод будет просто-напросто добавлен к изначальному тексту.

drBatty · Сообщение **drBatty** » 05.03.2010 22:15

vodvorezlaya писал(а): ↑
17.03.2008 13:55
Если нужно внести изменения в сам файл, воспользуйтесь командой sed -i "/$STR/d" "$FILE".

Ок. Буду знать.

на самом деле эта команда
1)создаёт временный файл.
2)записывает во временный файл исходный без некоторых строчек.
3)удаляет исходный.
4)переименовывает временный так, как был назван исходный.

ЗЫЖ потому можно так "редактировать" файлы "только для чтения".

Demonas666 · Сообщение **Demonas666** » 30.03.2010 20:27

А если немного усложнить задачку: удалить в файле только те строки, которые есть в другом файле?

drBatty · Сообщение **drBatty** » 30.03.2010 20:38

Demonas666 писал(а): ↑
30.03.2010 20:27
А если немного усложнить задачку: удалить в файле только те строки, которые есть в другом файле?

это сложнее. зависит от числа строк для удаления. если их 1-10, то можно тупо загрузить в буфер sed, если <100, можно посчитать CRC32 и искать их, а если больше...
у мну в учебнике есть похожая задача: я просматриваю лог файл, но только новые строчки (только события, которые были впервые, например - первая попытка взлома сервера, если такое есть, то я с лёгкостью найду все попытки)

Лог-файл из 2362 строк обработался за 410 секунд, что вполне приемлемо для моего CPU на 400MHz.

э... так вот... Медленно. Если файл большой, то проще использовать MySQL (ну так делаю я).

Сообщение **t.t** » 30.03.2010 20:42

grep -vF?

Сообщение **/dev/random** » 30.03.2010 20:43

Demonas666 писал(а): ↑
30.03.2010 20:27
А если немного усложнить задачку: удалить в файле только те строки, которые есть в другом файле?

Если допускается, что строки после этого будут идти не в прежнем порядке, а как результат обработки sort -u, то:

sort -u process.list substract.list | sort - substract.list | uniq -u | sort -o process.list

(для большого substract.list должно быть намного быстрее, чем grep -F, особенно если он уже отсортирован)

drBatty · Сообщение **drBatty** » 30.03.2010 20:53

Demonas666 писал(а): ↑
30.03.2010 20:27
удалить в файле только те строки, которые есть в другом файле?

да, для N строк можно выполнить N sed в цикле. Но это ваще жуткие тормоза.

Nazyvaemykh · Сообщение **Nazyvaemykh** » 30.03.2010 20:55

Еще можно использовать команду comm из coreutils (работает только с сортированными файлами).

drBatty · Сообщение **drBatty** » 30.03.2010 20:57

/dev/random писал(а): ↑
30.03.2010 20:43
Если допускается, что строки после этого будут идти не в прежнем порядке, а как результат обработки sort -u, то:

sort -u process.list substract.list | sort - substract.list | uniq -u | sort -o process.list

ну... если ещё и допустить, что в исходном файле все строки разные, то вообще просто (слить, отсортировать, и удалить дубли)

Сообщение **/dev/random** » 30.03.2010 21:00

drBatty писал(а): ↑
30.03.2010 20:57
ну... если ещё и допустить, что в исходном файле все строки разные, то вообще просто (слить, отсортировать, и удалить дубли)

Не совсем. Этот вариант покажет стороки которые есть только в одном (любом) файле. Мой - только в первом, как задано условием.

Demonas666 · Сообщение **Demonas666** » 30.03.2010 22:18

Видимо, в таком, казалось бы, довольно распространённом случае, нет стандартных решений, и оптимально - простенькая программа на си

/dev/random писал(а): ↑
30.03.2010 20:43
Если допускается, что строки после этого будут идти не в прежнем порядке, а как результат обработки sort -u, то:
sort -u process.list substract.list | sort - substract.list | uniq -u | sort -o process.list

Допускается

Случай гипотетический

Demonas666 · Сообщение **Demonas666** » 30.03.2010 22:24

drBatty писал(а): ↑
30.03.2010 20:57
ну... если ещё и допустить, что в исходном файле все строки разные, то вообще просто (слить, отсортировать, и удалить дубли)

А как удалить дубли чтобы попроще и "одним махом"? Т.е. за один проход.

Сообщение **/dev/random** » 30.03.2010 22:29

Demonas666 писал(а): ↑
30.03.2010 22:24
А как удалить дубли чтобы попроще и "одним махом"? Т.е. за один проход.

Никак. Прямо на диске, или же в памяти (подгрузив с диска один раз), но проходов будет множество.

drBatty · Сообщение **drBatty** » 30.03.2010 22:36

Demonas666 писал(а): ↑
30.03.2010 22:18
Видимо, в таком, казалось бы, довольно распространённом случае

это как минимум 2 случая:
1) исключаем немного строк - решение - sed
2) исключаем много строк. решение БД наверное... или программа на си, разной степени сложности (тут много можно наворотить вообще-то).

Сообщение **/dev/random** » 30.03.2010 22:45

drBatty писал(а): ↑
30.03.2010 22:36
это как минимум 2 случая:
1) исключаем немного строк - решение - sed

Тут лучше grep -vF, не придётся заморачиваться с экранированием символов, имеющих спец. значение для sed.

drBatty писал(а): ↑
30.03.2010 22:36
2) исключаем много строк. решение БД наверное... или программа на си, разной степени сложности (тут много можно наворотить вообще-то).

ИМХО, лучший вариант здесь - хеш-таблица. Сначала пробегаем вычитаемый файл, заполняя таблицу. А затем поточно обрабатываем вычитаемый файл, сравнивая его с таблицей. И на C ничего писать не надо, скрипт на Lua из нескольких строк здесь даст не более 2-3% потери производительности по сравнению с C.

Сообщение **sash-kan** » 30.03.2010 23:59

Demonas666 писал(а): ↑
30.03.2010 22:24
drBatty писал(а): ↑
30.03.2010 20:57
ну... если ещё и допустить, что в исходном файле все строки разные, то вообще просто (слить, отсортировать, и удалить дубли)

А как удалить дубли чтобы попроще и "одним махом"? Т.е. за один проход.

если файл можно отсортировать, то:
$ sort -u file >otherfile
если уже отсортирован, то:
$ uniq file >otherfile
если сортировать нельзя, за один проход gnu-утилитами — никак. за четыре:
$ nl file | sort -u -k 2 | sort | cut -f 2 >otherfile
смысл:
1. пронумеровать строки.
2. отсортировать по второму полю и удалить дубликаты.
3. восстановить сортировку по номерам строк.
4. удалить номера строк.

кто придумает короче?

Сообщение **/dev/random** » 31.03.2010 00:05

sash-kan писал(а): ↑
30.03.2010 23:59
если файл можно отсортировать, то:
$ sort -u file >otherfile
если уже отсортирован, то:
$ uniq file >otherfile
если сортировать нельзя, за один проход gnu-утилитами — никак. за четыре:
$ nl file | sort -u -k 2 | sort | cut -f 2 >otherfile
смысл:
1. пронумеровать строки.
2. отсортировать по второму полю и удалить дубликаты.
3. восстановить сортировку по номерам строк.
4. удалить номера строк.

кто придумает короче?

А разве под "дублями" имелись в виду не строки, присутствующие ещё и в другом файле?

drBatty · Сообщение **drBatty** » 31.03.2010 00:07

/dev/random писал(а): ↑
30.03.2010 22:45
Тут лучше grep -vF, не придётся заморачиваться с экранированием символов, имеющих спец. значение для sed.

я не про то...
что-то вроде

Код: Выделить всё

1{
x
s/.*/cat file2.txt/e
x
}
G
s/^([^\n]*)\n.*\1//

/dev/random писал(а): ↑
30.03.2010 22:45
ИМХО, лучший вариант здесь - хеш-таблица.

зависит от числа строк.
таблица в M ускоряет ровно в M раз. и жрёт памяти M чисел. Если строк много, то быстрее N*log(N), где N - число строк.

/dev/random писал(а): ↑
30.03.2010 22:45
скрипт на Lua из нескольких строк

ага. а в MySQL 1 команда SELECT.

drBatty · Сообщение **drBatty** » 31.03.2010 00:15

sash-kan писал(а): ↑
30.03.2010 23:59
если файл можно отсортировать, то:

это не "одним махом", а за O(M*N*log(N)) операций. здесь M длинна строк, а N их число. Операции обмена строк.
В принципе это кратчайший путь, быстрее нельзя. А для ускорения можно применить готовые 2-3 деревья. Я юзаю MySQL, если сортировать нельзя.

sash-kan писал(а): ↑
30.03.2010 23:59
$ nl file | sort -u -k 2 | sort | cut -f 2 >otherfile

это будет работать, только не очень быстро - тут две сортировки. (а если строки длинные - то это будет совсем медленно)

Сообщение **/dev/random** » 31.03.2010 00:25

drBatty писал(а): ↑
31.03.2010 00:07
зависит от числа строк.
таблица в M ускоряет ровно в M раз. и жрёт памяти M чисел. Если строк много, то быстрее N*log(N), где N - число строк.

Когда вы в последний раз в реальной жизни видели статические хеш-таблицы? Сейчас в ходу динамические, которые всегда имеют ровно столько строк, сколько в них записано значений.

drBatty писал(а): ↑
31.03.2010 00:07
ага. а в MySQL 1 команда SELECT.

lua -e 'a={}; for l in io.lines("exclude.list") do a[l]=true end; for l in io.stdin:lines() do if not a[l] then print(l) end end'

Поточно обрабатывает stdin, исключая из него всё, что содержится в файле exclude.list. Быстрее вряд ли кто сделает. И не "портит" порядок строк.

Demonas666 · Сообщение **Demonas666** » 31.03.2010 04:47

sash-kan писал(а): ↑
30.03.2010 23:59
если файл можно отсортировать, то:
$ sort -u file >otherfile
если уже отсортирован, то:
$ uniq file >otherfile
если сортировать нельзя, за один проход gnu-утилитами — никак. за четыре:
$ nl file | sort -u -k 2 | sort | cut -f 2 >otherfile
смысл:
1. пронумеровать строки.
2. отсортировать по второму полю и удалить дубликаты.
3. восстановить сортировку по номерам строк.
4. удалить номера строк.

кто придумает короче?

тут имелось ввиду другое... Не сделать из дублей "не дубли", а полностью удалить те строки, которые повторяются. Т. е. удалить обе строки.

Demonas666 · Сообщение **Demonas666** » 31.03.2010 05:00

/dev/random писал(а): ↑
31.03.2010 00:25
lua -e 'a={}; for l in io.lines("exclude.list") do a[l]=true end; for l in io.stdin:lines() do if not a[l] then print(l) end end'
Поточно обрабатывает stdin, исключая из него всё, что содержится в файле exclude.list. Быстрее вряд ли кто сделает. И не "портит" порядок строк.

lua я не знаю... мне проще на си

Demonas666 · Сообщение **Demonas666** » 31.03.2010 05:07

t.t писал(а): ↑
30.03.2010 20:42
grep -vF?

Не хотит. Хотя, если честно, не понимаю почему. Пробую так:
cat src_ | grep -vF pat_
Выводит весь src_ , включая и строки, имеющиеся в pat_

Сообщение **/dev/random** » 31.03.2010 05:10

Demonas666 писал(а): ↑
31.03.2010 05:07
Не хотит. Хотя, если честно, не понимаю почему. Пробую так:
cat src_ | grep -vF pat_
Выводит весь src_ , включая и строки, имеющиеся в pat_

man grep

unixforum.org

bash: Удаление строк из файла

bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла

Re: bash: Удаление строк из файла