удаление файлов, распределение памяти и ресурсов ОС [Решено] (безопасность_0)
Модератор: Bizdelnick
удаление файлов, распределение памяти и ресурсов ОС [Решено]
Всем привет!
Интересует вопрос о удалении файлов/каталогов.
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;
dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;
srm file0 ;
srm -r каталог ;
Т.О. ипользую ГСЧ + srm ;
Всё ради большей безопасности.
Все диски шифрованные.
Дальше "гашу" X'ы ; sudo memtester 64G 64 ; - например ;
Отключаю и подключаю swap разделы ( использую zram + vram ) ..
А Вы как делаете?
Интересует вопрос о удалении файлов/каталогов.
У себя делаю: dd if=/dev/urandom of=file0 ( получаю равный или в два раза больше, например ; ) ;
dd if=/dev/random of=file0 (понизил в размере => жду, чтобы получить хотябы несколько KB ) ;
srm file0 ;
srm -r каталог ;
Т.О. ипользую ГСЧ + srm ;
Всё ради большей безопасности.
Все диски шифрованные.
Дальше "гашу" X'ы ; sudo memtester 64G 64 ; - например ;
Отключаю и подключаю swap разделы ( использую zram + vram ) ..
А Вы как делаете?
- anonymous.ru
- Сообщения: 614
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
А просто srm -m file0
Тебе мало что он: Remove a file after seven passes of overwriting with random data
Семь раз, Карл! Семь!!
Я ничего подобного не делаю
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
1. Можно задавать bs и count, а не ждать.
2. А вы уверены, что ФС и контроллер запишут на то же место? SSD например будет писать в другие блоки. Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.
- Bizdelnick
- Модератор
- Сообщения: 20752
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Я по старинке использую shred: shred -zu file, find directory -type f -exec shred -zu {} +. Если, конечно, речь о чём-то, за что стоит переживать. На подлежащие утилизации диски делаю dd из /dev/zero.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
Спасибо сказали:
- Bizdelnick
- Модератор
- Сообщения: 20752
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
NickLion писал(а): ↑20.10.2017 20:55
1. Можно задавать bs и count, а не ждать.
2. А вы уверены, что ФС и контроллер запишут на то же место? SSD например будет писать в другие блоки. Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.
У меня диск классика/механика не SSD ; везде ext4 - фс
Bizdelnick писал(а): ↑20.10.2017 21:17
Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.
К сожалению, sync после dd не делаю. Так sync+dd только для записи на всё устройство/раздел?? А не мелких файлов??
Только srm - по времени дольше, чем ГСЧ+srm
Или srm -m - нормально ( быстро удаляет? )
Bizdelnick писал(а): ↑20.10.2017 21:05Я по старинке использую shred: shred -zu file, find directory -type f -exec shred -zu {} +. Если, конечно, речь о чём-то, за что стоит переживать. На подлежащие утилизации диски делаю dd из /dev/zero.
Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
Нужно взять на вооружение!
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
anonymous.ru писал(а): ↑20.10.2017 20:49
А просто srm -m file0
Тебе мало что он: Remove a file after seven passes of overwriting with random data
Семь раз, Карл! Семь!!
Я ничего подобного не делаю
Нет srm -m
Есть srm -h
Syntax: srm [-dflrvz] file1 file2 etc.
Options:
-d ignore the two dot special files "." and "..".
-f fast (and insecure mode): no /dev/urandom, no synchronize mode.
-l lessens the security (use twice for total insecure mode).
-r recursive mode, deletes all subdirectories.
-v is verbose mode.
-z last wipe writes zeros instead of random data.
srm does a secure overwrite/rename/delete of the target file(s).
Default is secure mode (38 writes).
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Ко всему напишу:
umount /tmp ,
srm -r .cache .local .nv ; - и т.д. - без X'ов ( кроме .config .profile. .bashrc .bashlogout и др. важных настроек )
memtester 64G 64 ( по "вкусу" ) - [ чтобы "наверняка" делал: memtester 1024G 1024 , хотя у меня всего 6GB ОЗУ ]
отключаю swap
mount /tmp , [ использую tmpfs ; с опциями монтирования: -o rw,noexec,nodev,nosuid ]
/etc/init.d/x11-common restart
/etc/init.d/nvidia-kernel restart
+ запуск/перезапуск нужных служб
подключаю swap (модули zram и vram)
Были где-то скрипты для выполнения данной процедуры ( если нужно найду, и выложу )
Даже swap на модулях шифровал - но что-то пошло не так - и от этой идеи отказался.
umount /tmp ,
srm -r .cache .local .nv ; - и т.д. - без X'ов ( кроме .config .profile. .bashrc .bashlogout и др. важных настроек )
memtester 64G 64 ( по "вкусу" ) - [ чтобы "наверняка" делал: memtester 1024G 1024 , хотя у меня всего 6GB ОЗУ ]
отключаю swap
mount /tmp , [ использую tmpfs ; с опциями монтирования: -o rw,noexec,nodev,nosuid ]
/etc/init.d/x11-common restart
/etc/init.d/nvidia-kernel restart
+ запуск/перезапуск нужных служб
подключаю swap (модули zram и vram)
Были где-то скрипты для выполнения данной процедуры ( если нужно найду, и выложу )
Даже swap на модулях шифровал - но что-то пошло не так - и от этой идеи отказался.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Если, что не так написал, то исправлю.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Трюк с памятью можно провернуть и на "горячую", т.е. X'ы не "гасить" [ вдруг памяти будет не хватать ] -так делал, но только с X'ами /tmp не удасться отмонтировать.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
[ три раза сделал memtester 64G 64 ]
- Вложения
-
- minitest_0.odt
- (19.28 КБ) 5 скачиваний
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Сделал у себя - всё в порядке.
Минитесты ( прикрепил файл ).
Минитесты ( прикрепил файл ).
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Отключил Swap
- Вложения
-
- minitest_1.odt
- (11.04 КБ) 3 скачивания
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
На "горячую":
sudo /etc/init.d/x11-common restart
sudo /etc/init.d/nvidia-kernel restart
sudo /etc/init.d/boinc-client restart
Подключил swap
Проблем нет, пока..
sudo /etc/init.d/x11-common restart
sudo /etc/init.d/nvidia-kernel restart
sudo /etc/init.d/boinc-client restart
Подключил swap
Проблем нет, пока..
- Вложения
-
- minitest3.odt
- (10.64 КБ) 2 скачивания
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Если используется что-то вроде btrfs или другая с поддержкой snapshot'ов, то тоже запись будет произведена в другие блоки.
Да, если снимки btrfs создаются принудительно. (Но журналирование при записи останется)
Всегда считал, что shred -u -z -n 20 (чило в зависимости от размера файла) отправит файл в космос. Или это уже не так и я что-то пропустил?А Вы как делаете?
Bizdelnick
1.
А обясните пожалуйста почему так?Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
2.
Можно как-то поподробнее об этом рассказать?Кстати, sync после dd делать не забываете? А то, может, на деле только с буфером файловой системы работаете, а до самого диска ничего не доходит.
igor@igor
А не проще тогда зашифровать swap случайным ключом (LUKS)?Отключил Swap Подключил swap
- Bizdelnick
- Модератор
- Сообщения: 20752
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Если работаете напрямую с блочным устройством, то sync не нужен, поскольку все данные сразу пишутся на диск. Если же работаете с файловой системой, она для ускорения работы буферизует изменения. То есть Вы можете переписать файл dd, но изменения будут ещё только в ОЗУ. Потом Вы удалите файл, и файловая система просто отбросит этот буфер, так и не записав его на диск: зачем это делать, если файл всё равно удалён? Команда sync принудительно записывает все изменения на диск, поэтому если вызвать её после dd, содержимое файла точно будет перезаписано.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
- Bizdelnick
- Модератор
- Сообщения: 20752
- Статус: nulla salus bello
- ОС: Debian GNU/Linux
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Institut писал(а): ↑21.10.2017 10:46Bizdelnick
1.А обясните пожалуйста почему так?Да, надо помнить, что все хитрые способы затирания файлов не работают для SSD.
SSD оперирует большими блоками, которые перезаписываются целиком, причём перезапись блока — довольно медленная операция, поскольку сначала должна быть произведена его очистка. Если на SSD есть чистые блоки, при перезаписи файла (точнее области на диске, потому что про файлы SSD ничего не знает) будут использоваться они, а очистка блоков, хранивших содержимое файла раньше, будет отложена на потом. Как это работает в каждом конкретном случае — зависит от прошивки устройства и пользователем никак не контролируется. Но так или иначе гарантии, что данные будут зачищены, дать нельзя.
Пишите правильно:
в консоли вку́пе (с чем-либо) в общем вообще | в течение (часа) новичок нюанс по умолчанию | приемлемо проблема пробовать трафик |
Спасибо сказали:
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
SSD оперирует большими блоками, которые перезаписываются целиком, причём перезапись блока — довольно медленная операция, поскольку сначала должна быть произведена его очистка. Если на SSD есть чистые блоки, при перезаписи файла (точнее области на диске, потому что про файлы SSD ничего не знает) будут использоваться они, а очистка блоков, хранивших содержимое файла раньше, будет отложена на потом. Как это работает в каждом конкретном случае — зависит от прошивки устройства и пользователем никак не контролируется. Но так или иначе гарантии, что данные будут зачищены, дать нельзя.
А если , как вариант, потом на 95% оставшегося свободного места записывать один файл большой нулями например, то тогда должна произойти ТОРИТИЧЕСКИ очстка блоков?
Я правильно понимаю?
Spoiler
sync после dd - если не тяжело, обясните пожалуйста,как это делать?
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Bizdelnick писал(а): ↑21.10.2017 11:47Если работаете напрямую с блочным устройством, то sync не нужен, поскольку все данные сразу пишутся на диск. Если же работаете с файловой системой, она для ускорения работы буферизует изменения.
Вроде можно dd указать direct для такого, разве не то же самое (по сути) будет, что вызвать sync после dd?
По SSD добавлю, что выбор нового блока используется ещё и для реализации более равномерного распредления перезаписей блоков (число которых ограничено).
Можно, но только
1) не 0, во многих SSD есть оптимизация для 0 блоков;
2) нужно не забыть ещё и про резервные блоки, как хитро они используются — никто не знает, кроме авторов контроллера;
3) это долго;
4) всё равно нет гарантии, что даже после 2-х кратного повтора будет стёрт имеено тот блок, который нужен.
PS
dd oflag=direct if=... of=... или dd if=... of=... ; sync /dev/xxx можно и не укзывать /dev/xxx тогда все устройства будут синхронизированы.
Спасибо сказали:
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
не 0, во многих SSD есть оптимизация для 0 блоков;
Ну ладно, запишу случайными данными.
нужно не забыть ещё и про резервные блоки, как хитро они используются — никто не знает, кроме авторов контроллера;
Вроде как система до них добраться не может.
Это понятноэто долго;
А вот это наверное и есть ГЛАВНАЯ проблемаа.всё равно нет гарантии, что даже после 2-х кратного повтора будет стёрт имеено тот блок, который нужен.
Но так например, записать 95%, стереть, сделать трим, потом опять записать, опять стереть, опять трим. Вопро только поможет-ли?
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Скорее всего да, но 100% гарантии никто не даст.
А если шифрануть раздел, на него бтрфс, потом запись 95%, трим, удалить записанный файл, дефрагментировать раздел, и повторить ещё раз?
А лучше две дефрагментации - после создания файла и после его удаления. Тогда блоки теритечески будут очищаться не самим контролером ссд,
а файловой системой, что наверное надежнее.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
... после всего этого - сжечь!
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Компьютер не имеет доступа к физическим блокам, с ними работает только контроллер. Номер блока, который отправляется по SATA или PCIe — это логический номер, а контроллер потом его отображает в физичский. HDD работает так же, но там это используется обычно только для сокрытия bad-блоков, т.к. физическая рандомизация в случае HDD приводит к катастрофическому снижению скорости логического линейного чтения. В случае SSD падения нет, поэтому есть возможность перераспределения.
Так что единственно полной очисткой будет отпаять схемы памяти и очистить их, если знать как, и если после этого заработает диск. Ну, или сжечь.
ЕМНИП, где-то встречал, что были какие-то SSD с отдельной функцией полной очистки. Но полной и всего диска. И некоторые после этого окирпичивались. Может сейчас это более распространённая и безопасная функция, не интересовался.
Спасибо сказали:
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
"А не проще тогда зашифровать swap случайным ключом (LUKS)? " - так делал, но сейчас у меня на hdd нет никаких swap разделов, только модули: zram и vram.
Хотя vram может и лишнее, но не "повредит".
Хотя vram может и лишнее, но не "повредит".
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Был и без случайного ключа swap раздел - полное шифрование (ОС + данные) + LVM (один из логических томов отдал под swap) - можно не паниковать. [ Но медленнее - такая схема ].
Хотел еще использовать динамический swap, но отказался.
Лучше модулей решения не нашёл.
Хотел еще использовать динамический swap, но отказался.
Лучше модулей решения не нашёл.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Ксати разделы на zram (если их несколько) можно форматировать [ext2,ext3,ext4]-например. И в теории, ускорить работу VM's например. (поместив на раздел образ диска VM)
Но так не делал.
Решил исп. только для разделов swap.
Но так не делал.
Решил исп. только для разделов swap.
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
Ещё хотел написать про: распределение ресурсов ОС - в BIOS всё по автомату, т.е. вольтаж, тайминги памяти, IRQ, частота gpu, и т.д., только частота cpu фиксированная => "ОСЬ должна рулить". А дальше в самой ОС можно "крутить" как угодно (пример: разогнать видео-плату и т.д.)- т.о. не нарушил стабильность системы. [Так как у всех какое железо мне неизвестно, "манипуляции" делайте на свой страх и риск.]
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
И => "С железа начинается Родина!"
Re: удаление файлов, распределение памяти и ресурсов ОС [Решено]
+ в BIOS все энергосберегающие режимы: такие как EIST и т.д. "вырубил". Но защиту от перегрева процессора оставил=70C по Цельсию.
Обороты вентиляторов выставил на максимум.
Обороты вентиляторов выставил на максимум.