посмотреть сколько памяти занимает tmpfs

Sabayon, Calculate, Funtoo, Exherbo

Модератор: /dev/random

Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

ускорения ради и из любви к экспериментам зафигулил базу установленных пакетов (/var/db), дерево portage (/usr/portage) и профильные каталоги (~/.config, ~/.kde4, ~/.local, ~/.mozilla) в tmpfs
по моим подсчётам, это всё должно отожрать гигабайта полтора памяти, но ни в системном мониторе kde, ни в top это не показывается
какая команда выводит именно ту и только ту память, что занимает tmpfs?
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

Samae1L писал(а):
08.01.2011 15:27
какая команда выводит именно ту и только ту память, что занимает tmpfs?
df
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

о, точно, спасибо
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

всё, дошло уже
выспаться мне надо -))
удалите это сообщение, пожалуйста
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

Я бы сделал нечто подобное:

Код: Выделить всё

tmp='/tmp/mnt'
mount -t tmpfs none $tmp
cp -ar /var/db/* $tmp/
mount --move $tmp /var/db


Аналогично и при шатдауне:

Код: Выделить всё

tmp='/tmp/mnt'
mount --move /var/db $tmp
rm /var/db/* # тут нужен бекап, который будет храниться до те пор, пока не отработает следующая строка
cp -ar $tmp/ /var/db/*
umount $tmp


Для $HOME вообще можно использовать PAM, который будет подготавливать каталоги.
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5426
ОС: Gentoo

Re: посмотреть сколько памяти занимает tmpfs

Сообщение /dev/random »

Samae1L, serzh-z, ужас. Хранить в tmpfs данные, не являющиеся временными... Не хотелось бы в случае сбоя питания или кернел паники получить несоответствие между базой пакетов и реальным содержимым диска (т.е. проще говоря, хлам в системе)
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

/dev/random
А с чего ты взял, что я там храню данные? /var/db в tmpfs - это вообще нонсенс. Но я думаю, что автор прекрасно осознаёт риск. Это уже его дело - где их хранить.
Спасибо сказали:
Аватара пользователя
megabaks
Сообщения: 697
ОС: Gentoo ~x86

Re: посмотреть сколько памяти занимает tmpfs

Сообщение megabaks »

/var/db в tmpfs - это вообще нонсенс
люто-бешено плюсую
если уж и хранить, то /var/cache/edb/ !
но и то - при подсчёте зависимостей ввод-вывод далеко не самое узкое место...
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

/dev/random писал(а):
08.01.2011 16:00
Samae1L, serzh-z, ужас. Хранить в tmpfs данные, не являющиеся временными... Не хотелось бы в случае сбоя питания или кернел паники получить несоответствие между базой пакетов и реальным содержимым диска (т.е. проще говоря, хлам в системе)


данные, вынесенные в tmpfs скриптами архивируются каждый час, дерево портежей - каждый день
так что если что - система нормально восстанавливается
забыл упомянуть, что я не выключаю компьютер, просто отправляют его в suspend

megabaks писал(а):
08.01.2011 17:31
при подсчёте зависимостей ввод-вывод далеко не самое узкое место...


да, я заметил что теперь тормозит процессор -))

я сейчас подумываю вынести в tmpfs каталоги /lib32 и /lib64 - к ним ведь частое обращение? было бы гигабайт двенадцать оперативки, можно было бы весь корень вынести
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5426
ОС: Gentoo

Re: посмотреть сколько памяти занимает tmpfs

Сообщение /dev/random »

Samae1L писал(а):
08.01.2011 18:35
я сейчас подумываю вынести в tmpfs каталоги /lib32 и /lib64 - к ним ведь частое обращение?

Как это ни парадоксально, нет. Основная масса приложений использует один и тот же небольшой набор библиотек, который из файлового кэша просто не вылезает. А остальные используются редко.
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

/dev/random писал(а):
08.01.2011 18:41
Samae1L писал(а):
08.01.2011 18:35
я сейчас подумываю вынести в tmpfs каталоги /lib32 и /lib64 - к ним ведь частое обращение?

Как это ни парадоксально, нет. Основная масса приложений использует один и тот же небольшой набор библиотек, который из файлового кэша просто не вылезает. А остальные используются редко.


может, /etc?

хотя, это не выйдет
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

Бедные оптимизаторы... Они на оптимизацию тратят больше сил, времени и денег, чем получаю выигрыша в итоге. =))
Спасибо сказали:
Аватара пользователя
KiWi
Бывший модератор
Сообщения: 2521
Статус: статус, статус, статус

Re: посмотреть сколько памяти занимает tmpfs

Сообщение KiWi »

Samae1L писал(а):
08.01.2011 18:35
я сейчас подумываю вынести в tmpfs каталоги /lib32 и /lib64 - к ним ведь частое обращение? было бы гигабайт двенадцать оперативки, можно было бы весь корень вынести

Добавьте оперативки в систему, а дальше она сама разберётся и запихает нужное в кеш)
Спасибо сказали:
Аватара пользователя
megabaks
Сообщения: 697
ОС: Gentoo ~x86

Re: посмотреть сколько памяти занимает tmpfs

Сообщение megabaks »

Код: Выделить всё

du -sh /usr/lib/
2,1G    /usr/lib/
а если это всё в сквош запихать-пожать...
да - это даст профит только при запуске софта, но отнимет место у кэша - так что палка о двух концах...

serzh-z писал(а):
08.01.2011 18:57
Бедные оптимизаторы... Они на оптимизацию тратят больше сил, времени и денег, чем получаю выигрыша в итоге. =))

каждый сходит с ума по-своему :)
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

serzh-z писал(а):
08.01.2011 15:53
Я бы сделал нечто подобное:

Код: Выделить всё

tmp='/tmp/mnt'
mount -t tmpfs none $tmp
cp -ar /var/db/* $tmp/
mount --move $tmp /var/db


Аналогично и при шатдауне:

Код: Выделить всё

tmp='/tmp/mnt'
mount --move /var/db $tmp
rm /var/db/* # тут нужен бекап, который будет храниться до те пор, пока не отработает следующая строка
cp -ar $tmp/ /var/db/*
umount $tmp


Для $HOME вообще можно использовать PAM, который будет подготавливать каталоги.


это хорошо, но не страхует на случай внезапной пропажи электричества или просто скачка напруги -))
я, пожалуй, напишу скрипт для проверки наличия файлов в вынесенных каталогах и засуну его в загрузку, чтобы автоматом восстанавливал потерянные данные, если что
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

Samae1L писал(а):
09.01.2011 08:54
это хорошо, но не страхует на случай внезапной пропажи электричества или просто скачка напруги -))
Интересно, а как ПО вообще может застраховать от внезапной пропажи электричества? ИПБ поможет.
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

serzh-z писал(а):
09.01.2011 11:28
Samae1L писал(а):
09.01.2011 08:54
это хорошо, но не страхует на случай внезапной пропажи электричества или просто скачка напруги -))
Интересно, а как ПО вообще может застраховать от внезапной пропажи электричества? ИПБ поможет.


не от самой пропажи электричества, а от потери данных от пропажи электричества
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
Иван Шихалев
Сообщения: 167
Статус: принципиальный дилетант
ОС: Gentoo Linux

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Иван Шихалев »

Samae1L писал(а):
09.01.2011 08:54
я, пожалуй, напишу скрипт для проверки наличия файлов в вынесенных каталогах и засуну его в загрузку


Т.е. дополнительный процесс, занимающий память, время процессора и обращения к дискам ради ускорения того, что в штатном режиме используется редко — это теперь называется оптимизация?
Иван Шихалев
shikhalev.org
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

Иван Шихалев писал(а):
09.01.2011 11:58
Samae1L писал(а):
09.01.2011 08:54
я, пожалуй, напишу скрипт для проверки наличия файлов в вынесенных каталогах и засуну его в загрузку


Т.е. дополнительный процесс, занимающий память, время процессора и обращения к дискам ради ускорения того, что в штатном режиме используется редко — это теперь называется оптимизация?


какой ещё процесс? какую память и время процессора он будет занимать?
и вы хотите сказать, что каталог ~/.kde4 используется редко? уж про ~/.mozilla я вообще молчу
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
Иван Шихалев
Сообщения: 167
Статус: принципиальный дилетант
ОС: Gentoo Linux

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Иван Шихалев »

Процесс, который будет мониторить файлы.
А редко используется /var/db — я его имел в виду.
Иван Шихалев
shikhalev.org
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

Иван Шихалев писал(а):
09.01.2011 15:45
Процесс, который будет мониторить файлы.


никакого процесса не будет, только скрипт, проверяющий наличие файлов при загрузке

А редко используется /var/db — я его имел в виду.


у меня он часто используется
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
KiWi
Бывший модератор
Сообщения: 2521
Статус: статус, статус, статус

Re: посмотреть сколько памяти занимает tmpfs

Сообщение KiWi »

Samae1L писал(а):
09.01.2011 14:34
и вы хотите сказать, что каталог ~/.kde4 используется редко? уж про ~/.mozilla я вообще молчу

Это неправильный.

Правильный: вы хотите сказать, что директория ~/.kde4 редко читается с диска?

При наличии свободной оперативной памяти и частых обращениях -- да, он редко читается с диска.
Спасибо сказали:
Аватара пользователя
megabaks
Сообщения: 697
ОС: Gentoo ~x86

Re: посмотреть сколько памяти занимает tmpfs

Сообщение megabaks »

скажу даже больше - kde4 читается только при запуске софта - впрочем как и /usr/*
Спасибо сказали:
Аватара пользователя
KiWi
Бывший модератор
Сообщения: 2521
Статус: статус, статус, статус

Re: посмотреть сколько памяти занимает tmpfs

Сообщение KiWi »

Samae1L писал(а):
09.01.2011 08:54
я, пожалуй, напишу скрипт для проверки наличия файлов в вынесенных каталогах и засуну его в загрузку, чтобы автоматом восстанавливал потерянные данные, если что

Зачем? У вас кто-то постоянно читает с диска так, что тот не успевает?
Взгляните на тот же dstat сначала -- там чтения с диска будут исчисляться килобайтами. Да и процессор, скорее всего, не занят полностью iowaitами.

P.S.: держать что-либо в tmpfs имеет смысл только в том случае, когда там данные, к которым могут редко обращаться, но их нужно сильно быстро отдавать(микросекунды), и их нестрашно потерять.
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

KiWi писал(а):
09.01.2011 22:16
При наличии свободной оперативной памяти и частых обращениях -- да, он редко читается с диска.


значит, никакой разницы нет, мой способ лишь гарантирует, что этот каталог будет всегда в памяти
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
megabaks
Сообщения: 697
ОС: Gentoo ~x86

Re: посмотреть сколько памяти занимает tmpfs

Сообщение megabaks »

мой способ лишь гарантирует, что этот каталог будет всегда в памяти
если есть своп, то не гарантирует
Спасибо сказали:
Аватара пользователя
Samae1L
Сообщения: 301
ОС: Gentoo x86_64

Re: посмотреть сколько памяти занимает tmpfs

Сообщение Samae1L »

а вот если засунуть в tmpfs каталог ~/.thumbnails...

megabaks писал(а):
10.01.2011 14:31
мой способ лишь гарантирует, что этот каталог будет всегда в памяти
если есть своп, то не гарантирует


о, спасибо, что напомнил, я его всё забываю вырубить
Всего лишь проекция ненужного маленького человечка, влачащая бессмысленное существование в Сети.
Спасибо сказали:
Аватара пользователя
KiWi
Бывший модератор
Сообщения: 2521
Статус: статус, статус, статус

Re: посмотреть сколько памяти занимает tmpfs

Сообщение KiWi »

Samae1L писал(а):
10.01.2011 14:30
значит, никакой разницы нет, мой способ лишь гарантирует, что этот каталог будет всегда в памяти

Он гарантирует лишь то, что вы запросто потеряете записанные туда данные.
А, и ещё одна гарантия -- та память, которая теоретически могла пойти приложения -- будет занята tmpfs.
И созданием архивов диск насиловать будут ещё больше -- вместо постоянных 100kbps, будут всплески по 100mbps.

tmpfs вместе с отключенным swapом -- прощай система или привет OOM.

А судя по посту про отключение swap -- не вижу смысла продолжать разговор с человеком, который добровольно отстреливать себе обе ноги.

P.S.: вообще, был ровно 1 раз, когда использовал tmpfs -- потому что nginx не умеет, как squid, держать гибридный кеш(на диске и в памяти) -- там был целый 1ГБ на системе с 24ГБ(постоянно занято ~12ГБ). И то там были опасения по поводу необходимости этой процедуры.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu

Re: посмотреть сколько памяти занимает tmpfs

Сообщение serzh-z »

KiWi писал(а):
10.01.2011 16:51
tmpfs вместе с отключенным swapом -- прощай система или привет OOM.
Причём, это *очень* распространённая ситуация. В Gentoo монтировал /var/tmp/paludis как tmpfs и при сборке OOo, chromium и т.д., если забывал смонтировать дополнительный своп или забывал увеличить размер tmpfs для /var/tmp/paludis до 8-10 Гб, то стабильно получал одно из следующего:

- сборка валилась из-за нехватки места в /var/tmp/paludis
- OOM убивал иксы вместе со всем открытым софтом
- всё начинало так свопится и тормозить, что не мог даже прервать сборку или даже просто переключиться в консоль - так и сидел курил до конца сборки или до тех пор пока не одумается OOM =)
Спасибо сказали:
liaonau
Сообщения: 390
ОС: gentoo

Re: посмотреть сколько памяти занимает tmpfs

Сообщение liaonau »

В tmpfs дома, кроме как /tmp, еще можно держать одну из веток aufs для /usr/portage, который сам в squashfs.
Хм. Подумал, что может имеет смысл и /var/db держать в squashfs и подключать веткой к aufs? Тоже — много мелких файлов, как и в /usr/portage.
А вообще этот метод с cp -r при загрузке сильно напоминает гентушный livecd. Может вы к нему и придете ☺?
Спасибо сказали: