удаление файлов, распределение памяти и ресурсов ОС [Решено] (безопасность_0)

Для новичков как вообще в Linux, так и в конкретной теме, к которой относится вопрос.

Модератор: Bizdelnick

igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Всем привет!

Интересует вопрос о удалении файлов/каталогов.

У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

srm file0 ;

srm -r каталог ;

Т.О. ипользую ГСЧ + srm ;

Всё ради большей безопасности.

Все диски шифрованные.

Дальше "гашу" X'ы ; sudo memtester 64G 64 ; - например ;

Отключаю и подключаю swap разделы ( использую zram + vram ) ..

А Вы как делаете?
Спасибо сказали:
Аватара пользователя
anonymous.ru
Сообщения: 614

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение anonymous.ru »

igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

srm file0 ;

srm -r каталог ;

Т.О. ипользую ГСЧ + srm ;

А просто srm -m file0
Тебе мало что он: Remove a file after seven passes of overwriting with random data
Семь раз, Карл! Семь!!

Я ничего подобного не делаю :)
:drinks:
Спасибо сказали:
NickLion
Сообщения: 3408
Статус: аватар-невидимка
ОС: openSUSE Tumbleweed x86_64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение NickLion »

igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

1. Можно задавать bs и count, а не ждать.
2. А вы уверены, что ФС и контроллер запишут на то же место? SSD например будет писать в другие блоки. Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Bizdelnick »

Я по старинке использую shred: shred -zu file, find directory -type f -exec shred -zu {} +. Если, конечно, речь о чём-то, за что стоит переживать. На подлежащие утилизации диски делаю dd из /dev/zero.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Bizdelnick »

igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

NickLion писал(а):
20.10.2017 20:55
igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

1. Можно задавать bs и count, а не ждать.
2. А вы уверены, что ФС и контроллер запишут на то же место? SSD например будет писать в другие блоки. Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.


У меня диск классика/механика не SSD ; везде ext4 - фс


Bizdelnick писал(а):
20.10.2017 21:17
igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.


К сожалению, sync после dd не делаю. Так sync+dd только для записи на всё устройство/раздел?? А не мелких файлов??






Только srm - по времени дольше, чем ГСЧ+srm

Или srm -m - нормально ( быстро удаляет? )



Bizdelnick писал(а):
20.10.2017 21:05
Я по старинке использую shred: shred -zu file, find directory -type f -exec shred -zu {} +. Если, конечно, речь о чём-то, за что стоит переживать. На подлежащие утилизации диски делаю dd из /dev/zero.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.


Нужно взять на вооружение!
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

anonymous.ru писал(а):
20.10.2017 20:49
igor@igor писал(а):
20.10.2017 20:37
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;

dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;

srm file0 ;

srm -r каталог ;

Т.О. ипользую ГСЧ + srm ;

А просто srm -m file0
Тебе мало что он: Remove a file after seven passes of overwriting with random data
Семь раз, Карл! Семь!!

Я ничего подобного не делаю :)


Нет srm -m

Есть srm -h

Syntax: srm [-dflrvz] file1 file2 etc.

Options:
-d ignore the two dot special files "." and "..".
-f fast (and insecure mode): no /dev/urandom, no synchronize mode.
-l lessens the security (use twice for total insecure mode).
-r recursive mode, deletes all subdirectories.
-v is verbose mode.
-z last wipe writes zeros instead of random data.

srm does a secure overwrite/rename/delete of the target file(s).
Default is secure mode (38 writes).

Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Ко всему напишу:

umount /tmp ,

srm -r .cache .local .nv ; - и т.д. - без X'ов ( кроме .config .profile. .bashrc .bashlogout и др. важных настроек )

memtester 64G 64 ( по "вкусу" ) - [ чтобы "наверняка" делал: memtester 1024G 1024 , хотя у меня всего 6GB ОЗУ ]

отключаю swap

mount /tmp , [ использую tmpfs ; с опциями монтирования: -o rw,noexec,nodev,nosuid ]

/etc/init.d/x11-common restart
/etc/init.d/nvidia-kernel restart

+ запуск/перезапуск нужных служб

подключаю swap (модули zram и vram)

Были где-то скрипты для выполнения данной процедуры ( если нужно найду, и выложу )

Даже swap на модулях шифровал - но что-то пошло не так - и от этой идеи отказался.
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Если, что не так написал, то исправлю.
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Трюк с памятью можно провернуть и на "горячую", т.е. X'ы не "гасить" [ вдруг памяти будет не хватать ] -так делал, но только с X'ами /tmp не удасться отмонтировать.
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

[ три раза сделал memtester 64G 64 ]







Вложения
minitest_0.odt
(19.28 КБ) 5 скачиваний
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Сделал у себя - всё в порядке.

Минитесты ( прикрепил файл ).
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Отключил Swap

Вложения
minitest_1.odt
(11.04 КБ) 3 скачивания
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

На "горячую":

sudo /etc/init.d/x11-common restart
sudo /etc/init.d/nvidia-kernel restart
sudo /etc/init.d/boinc-client restart

Подключил swap



Проблем нет, пока..
Вложения
minitest3.odt
(10.64 КБ) 2 скачивания
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Institut »

Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.

Да, если снимки btrfs создаются принудительно. (Но журналирование при записи останется)
А Вы как делаете?
Всегда считал, что shred -u -z -n 20 (чило в зависимости от размера файла) отправит файл в космос. Или это уже не так и я что-то пропустил?

Bizdelnick
1.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
А обясните пожалуйста почему так?
2.
Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.
Можно как-то поподробнее об этом рассказать?


igor@igor
Отключил Swap Подключил swap
А не проще тогда зашифровать swap случайным ключом (LUKS)?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Bizdelnick »

igor@igor писал(а):
21.10.2017 00:06
К сожалению, sync после dd не делаю. Так sync+dd только для записи на всё устройство/раздел?? А не мелких файлов??

Если работаете напрямую с блочным устройством, то sync не нужен, поскольку все данные сразу пишутся на диск. Если же работаете с файловой системой, она для ускорения работы буферизует изменения. То есть Вы можете переписать файл dd, но изменения будут ещё только в ОЗУ. Потом Вы удалите файл, и файловая система просто отбросит этот буфер, так и не записав его на диск: зачем это делать, если файл всё равно удалён? Команда sync принудительно записывает все изменения на диск, поэтому если вызвать её после dd, содержимое файла точно будет перезаписано.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Bizdelnick »

Institut писал(а):
21.10.2017 10:46
Bizdelnick
1.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
А обясните пожалуйста почему так?

SSD оперирует большими блоками, которые перезаписываются целиком, причём перезапись блока — довольно медленная операция, поскольку сначала должна быть произведена его очистка. Если на SSD есть чистые блоки, при перезаписи файла (точнее области на диске, потому что про файлы SSD ничего не знает) будут использоваться они, а очистка блоков, хранивших содержимое файла раньше, будет отложена на потом. Как это работает в каждом конкретном случае — зависит от прошивки устройства и пользователем никак не контролируется. Но так или иначе гарантии, что данные будут зачищены, дать нельзя.
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Institut »

SSD оперирует большими блоками, которые перезаписываются целиком, причём перезапись блока — довольно медленная операция, поскольку сначала должна быть произведена его очистка. Если на SSD есть чистые блоки, при перезаписи файла (точнее области на диске, потому что про файлы SSD ничего не знает) будут использоваться они, а очистка блоков, хранивших содержимое файла раньше, будет отложена на потом. Как это работает в каждом конкретном случае — зависит от прошивки устройства и пользователем никак не контролируется. Но так или иначе гарантии, что данные будут зачищены, дать нельзя.

А если , как вариант, потом на 95% оставшегося свободного места записывать один файл большой нулями например, то тогда должна произойти ТОРИТИЧЕСКИ очстка блоков?
Я правильно понимаю?
Spoiler
sync после dd - если не тяжело, обясните пожалуйста,как это делать?
Спасибо сказали:
NickLion
Сообщения: 3408
Статус: аватар-невидимка
ОС: openSUSE Tumbleweed x86_64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение NickLion »

Bizdelnick писал(а):
21.10.2017 11:47
Если работаете напрямую с блочным устройством, то sync не нужен, поскольку все данные сразу пишутся на диск. Если же работаете с файловой системой, она для ускорения работы буферизует изменения.

Вроде можно dd указать direct для такого, разве не то же самое (по сути) будет, что вызвать sync после dd?

По SSD добавлю, что выбор нового блока используется ещё и для реализации более равномерного распредления перезаписей блоков (число которых ограничено).

Institut писал(а):
21.10.2017 12:08
А если , как вариант, потом на 95% оставшегося свободного места записывать один файл большой нулями например, то тогда должна произойти ТОРИТИЧЕСКИ очстка блоков?
Я правильно понимаю?
Spoiler
sync после dd - если не тяжело, обясните пожалуйста,как это делать?

Можно, но только
1) не 0, во многих SSD есть оптимизация для 0 блоков;
2) нужно не забыть ещё и про резервные блоки, как хитро они используются — никто не знает, кроме авторов контроллера;
3) это долго;
4) всё равно нет гарантии, что даже после 2-х кратного повтора будет стёрт имеено тот блок, который нужен.

PS
dd oflag=direct if=... of=... или dd if=... of=... ; sync /dev/xxx можно и не укзывать /dev/xxx тогда все устройства будут синхронизированы.
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Institut »

не 0, во многих SSD есть оптимизация для 0 блоков;

Ну ладно, запишу случайными данными.
нужно не забыть ещё и про резервные блоки, как хитро они используются — никто не знает, кроме авторов контроллера;

Вроде как система до них добраться не может.
это долго;
Это понятно
всё равно нет гарантии, что даже после 2-х кратного повтора будет стёрт имеено тот блок, который нужен.
А вот это наверное и есть ГЛАВНАЯ проблемаа.
Но так например, записать 95%, стереть, сделать трим, потом опять записать, опять стереть, опять трим. Вопро только поможет-ли?
Спасибо сказали:
NickLion
Сообщения: 3408
Статус: аватар-невидимка
ОС: openSUSE Tumbleweed x86_64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение NickLion »

Institut писал(а):
21.10.2017 12:30
Но так например, записать 95%, стереть, сделать трим, потом опять записать, опять стереть, опять трим. Вопро только поможет-ли?

Скорее всего да, но 100% гарантии никто не даст.
Спасибо сказали:
Institut
Сообщения: 281
ОС: mint

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение Institut »

Скорее всего да, но 100% гарантии никто не даст.

А если шифрануть раздел, на него бтрфс, потом запись 95%, трим, удалить записанный файл, дефрагментировать раздел, и повторить ещё раз?
А лучше две дефрагментации - после создания файла и после его удаления. Тогда блоки теритечески будут очищаться не самим контролером ссд,
а файловой системой, что наверное надежнее.
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение devilr »

... после всего этого - сжечь!
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
NickLion
Сообщения: 3408
Статус: аватар-невидимка
ОС: openSUSE Tumbleweed x86_64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение NickLion »

Institut писал(а):
21.10.2017 12:44
Тогда блоки теритечески будут очищаться не самим контролером ссд, а файловой системой, что наверное надежнее.

Компьютер не имеет доступа к физическим блокам, с ними работает только контроллер. Номер блока, который отправляется по SATA или PCIe — это логический номер, а контроллер потом его отображает в физичский. HDD работает так же, но там это используется обычно только для сокрытия bad-блоков, т.к. физическая рандомизация в случае HDD приводит к катастрофическому снижению скорости логического линейного чтения. В случае SSD падения нет, поэтому есть возможность перераспределения.

Так что единственно полной очисткой будет отпаять схемы памяти и очистить их, если знать как, и если после этого заработает диск. Ну, или сжечь.

ЕМНИП, где-то встречал, что были какие-то SSD с отдельной функцией полной очистки. Но полной и всего диска. И некоторые после этого окирпичивались. Может сейчас это более распространённая и безопасная функция, не интересовался.
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

"А не проще тогда зашифровать swap случайным ключом (LUKS)? " - так делал, но сейчас у меня на hdd нет никаких swap разделов, только модули: zram и vram.

Хотя vram может и лишнее, но не "повредит".

Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Был и без случайного ключа swap раздел - полное шифрование (ОС + данные) + LVM (один из логических томов отдал под swap) - можно не паниковать. [ Но медленнее - такая схема ].

Хотел еще использовать динамический swap, но отказался.

Лучше модулей решения не нашёл.

Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Ксати разделы на zram (если их несколько) можно форматировать [ext2,ext3,ext4]-например. И в теории, ускорить работу VM's например. (поместив на раздел образ диска VM)

Но так не делал.

Решил исп. только для разделов swap.
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

Ещё хотел написать про: распределение ресурсов ОС - в BIOS всё по автомату, т.е. вольтаж, тайминги памяти, IRQ, частота gpu, и т.д., только частота cpu фиксированная => "ОСЬ должна рулить". А дальше в самой ОС можно "крутить" как угодно (пример: разогнать видео-плату и т.д.)- т.о. не нарушил стабильность системы. [Так как у всех какое железо мне неизвестно, "манипуляции" делайте на свой страх и риск.]
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

И => "С железа начинается Родина!"
Спасибо сказали:
igor@igor
Сообщения: 1374
ОС: Debian GNU/Linux, wheezy-amd64

Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]

Сообщение igor@igor »

+ в BIOS все энергосберегающие режимы: такие как EIST и т.д. "вырубил". Но защиту от перегрева процессора оставил=70C по Цельсию.

Обороты вентиляторов выставил на максимум.
Спасибо сказали:
Ответить