Сжатие своих(-/-его) скриптов(-/-а) по коду (через замену(-/-ы) переменных)

Здесь можно поговорить о чём угодно и сколько угодно.

Модератор: Модераторы разделов

igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

yoricI писал:
18.12.2023 18:50
Азачем это?
А вот пример, который я пиводил:
у user0 есть данные в 1ГБ
tar cpJf files.tar.xz files
cp files.tar.xz /tmp2/tmp00

user1 :
cp /tmp2/tmp00/files.tar.xz ~
tar xpJf files.tar.xz

Т.О. в домашней директории пользователя user1 появляется каталог files
...

гиг в /tmp "не впихнёшь"

Код: Выделить всё


20xxxxxx Ver. 0. Скрипт df_h_grep_tmp_0.sh для проcмотра, созданных или удалённых, областей памяти

none0                              512M         272K  512M            1% /tmp
none2                              256M            0  256M            0% /tmp2
none3                              256M            0  256M            0% /tmp3
none_tmp000                        3,9G            0  3,9G            0% /tmp2/tmp000
none_tmp08                         3,9G            0  3,9G            0% /tmp2/tmp08
none_00                            3,9G            0  3,9G            0% /tmp2/tmp00
none_01                            3,9G            0  3,9G            0% /tmp2/tmp01
none_02                            3,9G            0  3,9G            0% /tmp2/tmp02
none_03                            3,9G            0  3,9G            0% /tmp2/tmp03
none_04                            3,9G            0  3,9G            0% /tmp2/tmp04
none_05                            3,9G            0  3,9G            0% /tmp2/tmp05
none_06                            3,9G            0  3,9G            0% /tmp2/tmp06
none_07                            3,9G            0  3,9G            0% /tmp2/tmp07
none_88                            3,9G            0  3,9G            0% /tmp2/tmp88
none_09                            3,9G            0  3,9G            0% /tmp2/tmp09
none_100                           3,9G            0  3,9G            0% /tmp2/tmp100
none_69                             50G            0   50G            0% /tmp3/tmp_69

Спасибо сказали:
Аватара пользователя
yoricI
Сообщения: 2559
ОС: gentoo fluxbox

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение yoricI »

А можно словами? А то ориентироваться в этих tmpxx не получается.
igor@igor писал:
18.12.2023 19:17
у user0 есть данные в 1ГБ
Фильм? Коллеция музыки? Общее слово "ДАННЫЕ" звучит расплывчато, можно конкретнее?
igor@igor писал:
18.12.2023 19:17
Т.О. в домашней директории пользователя user1 появляется каталог files
Зачем? И есть ведь другие готовые не такие замудрённые способы для этого?
igor@igor писал:
18.12.2023 19:17
гиг в /tmp "не впихнёшь"
Это ошибка так говорить, запросто впихнёшь. ТМП ТМП рознь. Даже в листинге /tmp=4Gb, и даже 50 Гб есть. Откуда 50 возьмётся?

Всё не пойму тайного смысла Ваших манипуляций. Ну сидели на 4Гб, и то можно было без этих ухищрений, а теперь то сколько памяти у Вас? Прошу ответить на все вопросы без исключения.
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

Ещё прим-ие областей памяти:
каталог /tmp примонтирован без прав выполнения, а каталог /tmp2/tmp00 с правами выполнения:

Код: Выделить всё

20xxxxxx Ver. 0. Скрипт mount_0.sh для просмотра примонтированных каталогов

none0 on /tmp type tmpfs (rw,nosuid,nodev,noexec,relatime,size=524288k)
none2 on /tmp2 type tmpfs (rw,nosuid,nodev,noexec,relatime,size=262144k)
none3 on /tmp3 type tmpfs (rw,nosuid,nodev,noexec,relatime,size=262144k)
none_tmp000 on /tmp2/tmp000 type tmpfs (rw,relatime)
none_tmp08 on /tmp2/tmp08 type tmpfs (rw,relatime)
none_00 on /tmp2/tmp00 type tmpfs (rw,relatime)
none_01 on /tmp2/tmp01 type tmpfs (rw,relatime)
none_02 on /tmp2/tmp02 type tmpfs (rw,relatime)
none_03 on /tmp2/tmp03 type tmpfs (rw,relatime)
none_04 on /tmp2/tmp04 type tmpfs (rw,relatime)
none_05 on /tmp2/tmp05 type tmpfs (rw,relatime)
none_06 on /tmp2/tmp06 type tmpfs (rw,relatime)
none_07 on /tmp2/tmp07 type tmpfs (rw,relatime)
none_88 on /tmp2/tmp88 type tmpfs (rw,relatime)
none_09 on /tmp2/tmp09 type tmpfs (rw,relatime)
none_100 on /tmp2/tmp100 type tmpfs (rw,relatime)
none_69 on /tmp3/tmp_69 type tmpfs (rw,relatime,size=52428800k)
Спасибо сказали:
Аватара пользователя
RusWolf
Сообщения: 608
ОС: Arch Linux x64 на BTRFS

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение RusWolf »

igor@igor писал:
18.12.2023 17:30
У меня весь диск зашифрован...
У меня то же, btrfs в LUKS1.
igor@igor писал:
18.12.2023 17:30
Осуществляю "прямой" доступ к swap разлелу через tmpfs - т.е.через области памяти:
Этот сумбур, мне не понятен.
Сама tmpfs и так находится в озу по умолчанию.
zram - это блочное устройство в озу, swap в zram соответственно в озу по умолчанию.
zswap - модуль ядра который сразу сжимает не нужные страницы озу, без прокладки в виде zram.
igor@igor писал:
18.12.2023 17:30
В общем, "падалв" ОС у меня, с использованием zswap.
За сколько лет, когда в арче модуль zswap стал включён по умолчанию, еще не разу не падала система.
Добавлено (19:57):
yoricI писал:
18.12.2023 19:44
Зачем? И есть ведь другие готовые не такие замудрённые способы для этого?
Я то же немного в шоке, зачем весь этот цирк с tmpfs, когда просто сделал общую папку с правами доступа user1 и user2, и записывай туда файлы сотнями гигов, если позволяет пространство накопителя.
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

yoricI писал:
18.12.2023 19:44
Фильм? Коллеция музыки? Общее слово "ДАННЫЕ" звучит расплывчато, можно конкретнее?
Неважно чего именно.
Хорошо. Пусть, будет фильм особой важности.
Добавлено (20:07):
yoricI писал:
18.12.2023 19:44
Зачем? И есть ведь другие готовые не такие замудрённые способы для этого?

А свои "костыли" поинтереснее будут. :)
Добавлено (20:28):
yoricI писал:
18.12.2023 19:44
Это ошибка так говорить, запросто впихнёшь. ТМП ТМП рознь. Даже в листинге /tmp=4Gb, и даже 50 Гб есть. Откуда 50 возьмётся?
Не впихнёшь 1GB в /tmp = 512MB
Впихнёшь 1GB в /tmp2/tmp00 = 3.9 GB

Оттуда 50 GB возьмётся:

Код: Выделить всё

#!/bin/sh
#20xxxxxx Ver. 0. Скрипт for_obl_ram_sm_big.sh для создания большой области памяти

#cd /tmp/

mkdir tmp_69

mount -t tmpfs -o size=51200M none_69 tmp_69

Спасибо сказали:
Аватара пользователя
yoricI
Сообщения: 2559
ОС: gentoo fluxbox

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение yoricI »

RusWolf писал:
18.12.2023 19:52
Я то же немного в шоке, зачем весь этот цирк с tmpfs
Похоже, один глупец может задать столько вопросов, или даже один, что тысяча мудрецов не ответят))
igor@igor писал:
18.12.2023 20:00
А свои "костыли" поинтереснее будут
Поставить всех на свои костыли? Нет уж, ковыляйте в одиночку)) Мы пойдём прямым путём
Спасибо сказали:
Аватара пользователя
RusWolf
Сообщения: 608
ОС: Arch Linux x64 на BTRFS

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение RusWolf »

igor@igor писал:
18.12.2023 20:00
Не впихнёшь 1GB в /tmp = 512MB
Что-то я уже совсем потерялся, в сумбуре мыслей.
Кто-то мешает сразу сделать /tmp = 4GB ?

Код: Выделить всё

Файловая система Размер Использовано  Дост Использовано% Cмонтировано в
tmpfs               12G         856K   12G            1% /tmp
Последний раз редактировалось RusWolf 18.12.2023 21:06, всего редактировалось 1 раз.
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

RusWolf писал:
18.12.2023 19:52
У меня то же, btrfs в LUKS1.
Отлично..!
Добавлено (22:00):
RusWolf писал:
18.12.2023 20:53
то-то я уже совсем потерялся, в сумбуре мыслей.
Кто-то мешает сразу сделать /tmp = 4GB ?
Лимитирование. В смысле, ограние. Ведь память ОЗУ не "резиновая!"
...
Добавлено (22:03):
yoricI писал:
18.12.2023 20:32
Похоже, один глупец может задать столько вопросов, или даже один, что тысяча мудрецов не ответят))

:)
Добавлено (22:26):
RusWolf писал:
18.12.2023 19:52
Я то же немного в шоке, зачем весь этот цирк с tmpfs, когда просто сделал общую папку с правами доступа user1 и user2, и записывай туда файлы сотнями гигов, если позволяет пространство накопителя.
Не интересно! :)
Добавлено (22:30):
yoricI писал:
18.12.2023 20:32
Поставить всех на свои костыли? Нет уж, ковыляйте в одиночку)) Мы пойдём прямым путём
:)
Добавлено (22:46):
RusWolf писал:
18.12.2023 19:52
За сколько лет, когда в арче модуль zswap стал включён по умолчанию, еще не разу не падала система.
Может быть я не прав про zswap
Давно его щупал.
...
Спасибо сказали:
Аватара пользователя
UnixNoob
Сообщения: 1447
ОС: Slackware

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение UnixNoob »

Мы уже 3 или 4 раз, на форуме, все сжали, не устали?
Пусть человек в bash-скриптинге тренируется, может оно ему потом где еще пригодится. 😁
"Однажды один очень мудрый человек… ничего не сказал. Времена были опасные, да и собеседники ненадёжные"
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

UnixNoob писал:
19.12.2023 10:16
Мы уже 3 или 4 раз, на форуме, все сжали, не устали?
Нет...
...
:)
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

UnixNoob писал:
19.12.2023 10:16
Пусть человек в bash-скриптинге тренируется, может оно ему потом где еще пригодится. 😁
Очень даже пригодилось... И пригождаетя...
Элементарно, я код лучше пишу. В смысле, правильнее... Например, не
cd ~/dir
А
cd "$HOME/dir"
и т.д., и т.п.
И sheell'ом свой код проверяю на всякий...

Свой скрипт выбора ПО ...нужно "подпилить"
...

Когда студентом был, написал свой скрипт автокомпиляции исходного кода [для научной работы] :
g++ source.cpp -o source.bin

И всё на областях памяти.., в смысле, софт запускал. Например:
/tmp/tmp4/source.bin
И дальше .., происходил процесс выполнения ПО...
...

Да много где ещё можно применить идеи к другим скриптам.
Саму "поделку" [мою] можно к сжатию памяти применить [небольшой прирост]
+ К уничтожению ВАЖНОЙ информации, видео, например:
сp video /tmp/tmp69
cd /tmp/tmp69
srm video
umount /tmp/tmp69
rm -r tmp69

Всё..!
:) :) :)
Последний раз редактировалось igor@igor 22.12.2023 16:38, всего редактировалось 1 раз.
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

Вообще-то, можно было и на одних скриптах научную работу "выхлопы запилить" , в смысле, вывод научных результатов...
Но я пошёл ИНЫМ ПУТЁМ:

1. Написал ПО на c++ (заполняются массивы данных - решение систем ДУ) [консольный вариант правда]

2. Написал скрипты: для построения Фазовых и Кинетических Портретов {ФП и КП}
...

Таким образом, решение систем ДУ пишется в массивы данных, а с помощью gnuplot и скриптов строятся ФП, КП ...
...


Причём, не только научная работа, но и лабораторные работы, которые с нас преподаватели требовали выполнить можно. Также посроены на принципе разделения.
[Только в лабах системы ДУ другие]

То есть, данные отдельно,
"Графика" - отдельно!
Фактически у меня нет графики, ибо [графики строятся поточечно] c помощью gnuplot из массивов данных...

Место c++ можно использовать любой другой ЯП ["на вкус и цвет..!" :)]

+ Моя "поделка" с областями памяти: защиту от неправильного ввода можно взять...

!НО есть небольшой нюанс:
больше госпожа научный руководитель меня "не любит!" , к сожалению. В смысле, я ей больше не интересен. Так как, защиту научной работы прошёл (приблизительно год назад как и ВУЗ закончил в статусе бакалавра)...
А в магистратуре, меня принимать не хочет, к сожалению. Ибо, со здоровьем у неё проблемы, к сожалению. А со зоровьем не шутят..!
...
В принципе, для прокачки своих знаний можно и нужно свои скрипты изменять, создавать новые как и программы.
...
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

Всем привет!
Признаю, что сжатие памяти в основном, происходит из-за модуля zram

А vram , tmpfs , swap - дают небольшой "прирост" к сжатию ОЗУ

...
Добавлено (23:21):
Вспомнил:
ОС зависла у меня "капитально / намертво" тогда, когда
я "бензин с алкоголем" смешал..! :)
В смысле, модули..: zram и zswap
решил вместе использовать [такая вот "утопическая идея!" :)]

Поэтому, нужно выбирать что-то одно:
"либо пить, либо курить!" :)
В смысле, конкретный модуль:
либо zram , либо zswap

И будет счастье...
...
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

Выходит zswap лучше использовать?
...
Добавлено (01:15):
Я давным-давно как сделал:

Всё на zram модулях, в смысле, swap располагался на zramxx разделах...
...
Ведь swapxx нужен для гибернации в основном...

ПОЭТОМУ, у меня swap раздела на диcке, одно время вообще не было...

И как говорится:
"Полёт нормальный!"

Но позже, создал снова, swap раздел на HDD [аж ~ 80-100GB - с огромным запасом!] "от греха и вреда!"

Вот так сурово!
Конкретно!
...
:)
Последний раз редактировалось igor@igor 22.12.2023 16:28, всего редактировалось 1 раз.
Спасибо сказали:
countmein
Сообщения: 56

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение countmein »

igor@igor писал:
21.12.2023 00:22
Выходит zswap лучше использовать?
Проверять надо. Например, в ситуации, где без сжатия идёт свопинг, попробовать сначала одно, потом другое и смотреть, насколько уменьшился свопинг и насколько выросла загрузка процессора в каждом случае. Вы энтузиаст этой темы, новатор и застрельщик, вам и карты в руки.
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

countmein писал:
22.12.2023 16:12
Проверять надо. Например, в ситуации, где без сжатия идёт свопинг, попробовать сначала одно, потом другое и смотреть, насколько уменьшился свопинг и насколько выросла загрузка процессора в каждом случае.
Логично про проверку вообще-то...
Нужен и важен конкретный результат: [нужно понять] В ЧЁМ ВЫИГРЫШ!? -
...
Какой модуль использовать?
...
А не "пальцем в небо!" - Этот модуль лучше / хуже...
...
Добавлено (17:04):
countmein писал:
22.12.2023 16:12
Вы энтузиаст этой темы, новатор и застрельщик, вам и карты в руки.
Спасибо!
:) :) :)
Спасибо сказали:
Аватара пользователя
RusWolf
Сообщения: 608
ОС: Arch Linux x64 на BTRFS

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение RusWolf »

igor@igor писал:
22.12.2023 17:00
Логично про проверку вообще-то...
igor@igor писал:
22.12.2023 17:00
А не "пальцем в небо!" - Этот модуль лучше / хуже...
Кто-то запрещает, провести эту самую проверку? :)
Спасибо сказали:
igor@igor
Сообщения: 1381
ОС: Debian GNU/Linux, wheezy-amd64

Re: Сжатие своих(-/-его) скриптов(-/-а) по коду

Сообщение igor@igor »

RusWolf писал:
23.12.2023 14:43
Кто-то запрещает, провести эту самую проверку? :)
Никто.
Дело в том, что я давным-давно zswap "щупал" и не "пошёл" ;
zram - "полёт нормальный!" :)
Т.е. лучше, чем zswap.
Поэтому, zram выбрал.

Этот выбор, опять-таки "на пальцах" без цифр!
...
Спасибо сказали: