На самом деле это единственный раздел про unix на этом форуме
Модераторы: /dev/random , Модераторы разделов
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 13:12
Здрасти, с помощью скрипта:
Код:
#! /bin/bash
# -*- coding: utf-8 -*-#
wget -q --load-cookies=/tmp/cookies.txt "http://spaces.ru/forums/?sid=&cid=1153" -O - | grep -o '<div class="even">.*</div>'
Получаю:
Код:
<div class="even"><a href="http://spaces.ru/forums/?sid=;f=137814">~Новости~</a> <span style="color: #000000; font-size: small">[7]</span> <br/><span style="font-size:small;color:#666666">Руководит Администрация</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=104229">~Знакомство~</a> <span style="color: #000000; font-size: small">[321]</span> <span style="color:green">(+1)</span> <br/><span style="font-size:small;color:#666666">Знакомимся с другими участниками.</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=11867">~Counter_Strike~</a> <span style="color: #000000; font-size: small">[61]</span> <span style="color:green">(+7)</span> <br/><span style="font-size:small;color:#666666">Общие вопросы и помощь.</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=140123">~Полезное~</a> <span style="color: #000000; font-size: small">[48]</span> <br/><span style="font-size:small;color:#666666">Полезное для CS 1.6</span><br/></div><div class="
even"><a href="http://spaces.ru/forums/?sid=;f=408291">~Киберспорт~</a> <span style="color: #000000; font-size: small">[54]</span> <br/><span style="font-size:small;color:#666666">Новости киберспорта</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=11794">~Опросы~</a> <span style="color: #000000; font-size: small">[24]</span> <span style="color:green">(+1)</span> <br/><span style="font-size:small;color:#666666">Отвечаем на опросы</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=285302">~Кланбар~</a> <span style="color: #000000; font-size: small">[114]</span> <span style="color:green">(+3)</span> <br/><span style="font-size:small;color:#666666">Забиваем CW/Набор в Clan.</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=11804">~Темы по интересам.~</a> <span style="color: #000000; font-size: small">[97]</span> <br/><span style="font-size:small;color:#666666">Общий форум/Разные темы.</span><br/></div><div class="even"><a href="http://
spaces.ru/forums/?sid=;f=104221">~Об сообществе~</a> <span style="color: #000000; font-size: small">[7]</span> <br/><span style="font-size:small;color:#666666">Форум нашего сообщества</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=1083908">~Технический раздел~</a> <span style="color: #000000; font-size: small">[2]</span> <br/><span style="font-size:small;color:#666666">Жалобы и предложения</span><br/></div><div class="even"><a href="http://spaces.ru/forums/?sid=;f=11801">~Архив~</a> <span style="color: #000000; font-size: small">[1098]</span> <span style="color:green">(+5)</span> <br/><span style="font-size:small;color:#666666">Ненужные или неактуальные темы.</span><br/></div>
Как можно разобрать и вывести, о наличии новых тем т.е просто Знакомство (+1) в текстовый файл, но чтобы другие где нет новых тем не выводить?! К примеру: :
<div class="even"><a href="http://spaces.ru/forums/?sid=;f=104229">~Знакомство~</a> в разделе Знакомство, где <span style="color: #000000; font-size: small">[321]</span> уже есть 321 тема, появилась новая <span style="color:green">(+1)</span>
Подскажите пожалуйста.
/dev/random
Администратор
Сообщения: 5405ОС: Gentoo
Сообщение /dev/random 16.09.2012 13:18
Попробуйте утилиту html2 из пакета xml2
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 13:26
/dev/random писал(а): ↑ 16.09.2012 13:18
Попробуйте утилиту html2 из пакета xml2
Хорошо, сейчас собираю пакет
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 13:45
/dev/random писал(а): ↑ 16.09.2012 13:18
Попробуйте утилиту html2 из пакета xml2
А как ее использовать?! man говорит, что справчных страниц нет, да и в гугле что-то не нашел......
/dev/random
Администратор
Сообщения: 5405ОС: Gentoo
Сообщение /dev/random 16.09.2012 13:52
kraz5 писал(а): ↑ 16.09.2012 13:45
/dev/random писал(а): ↑ 16.09.2012 13:18
Попробуйте утилиту html2 из пакета xml2
А как ее использовать?! man говорит, что справчных страниц нет, да и в гугле что-то не нашел......
Скормите ей html на stdin, она сконвертирует его в легко грепаемый формат.
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 15:08
/dev/random писал(а): ↑ 16.09.2012 13:52
kraz5 писал(а): ↑ 16.09.2012 13:45
/dev/random писал(а): ↑ 16.09.2012 13:18
Попробуйте утилиту html2 из пакета xml2
А как ее использовать?! man говорит, что справчных страниц нет, да и в гугле что-то не нашел......
Скормите ей html на stdin, она сконвертирует его в легко грепаемый формат.
Хорошо, но не понимает русский язык. Может ему нужно указывать как-то кодировку?!
Spoiler /?xml=version="1.0" encoding="utf-8"?
/dev/random
Администратор
Сообщения: 5405ОС: Gentoo
Сообщение /dev/random 16.09.2012 15:28
Мда, он ожидает, что в html будет <meta http-equiv="Content-Type" ...> с указанием кодировки, и в противном случае считает, что это latin1. Боюсь, что передать ему кодировку другим способом нельзя. Попробуйте вместо этого поставить _после_ вызова этой утилиты пайп "| iconv -t latin1". Это должно перевести текст обратно в ту кодировку, которая использовалась в html.
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 15:44
/dev/random писал(а): ↑ 16.09.2012 15:28
Мда, он ожидает, что в html будет <meta http-equiv="Content-Type" ...> с указанием кодировки, и в противном случае считает, что это latin1. Боюсь, что передать ему кодировку другим способом нельзя. Попробуйте вместо этого поставить _после_ вызова этой утилиты пайп "| iconv -t latin1". Это должно перевести текст обратно в ту кодировку, которая использовалась в html.
О, спасибо за наводку, теперь на русском. Теперь думаю пройтись с помощью grep а потом *откусить* теги. Ну, /html/body, /html/body/div/div с помощью sed
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 16.09.2012 22:31
Блин, что-то у меня загвоздка случилась!
Код: Выделить всё
#! /bin/bash
# -*- coding: utf-8 -*-#
wget -q --load-cookies=/tmp/cookies.txt "http://spaces.ru/forums/?sid=&cid=1153" -O - | grep -o '<div class="even">.*</div>' | html2 | iconv -t latin1 | grep -o '/html/body/div/a=.*'
Получаю:
Код: Выделить всё
/html/body/div/a=~Новости~
/html/body/div/a=~Знакомство~
/html/body/div/a=~Counter_Strike~
/html/body/div/a=~Полезное~
/html/body/div/a=~Киберспорт~
/html/body/div/a=~Опросы~
/html/body/div/a=~Кланбар~
/html/body/div/a=~Темы по интересам.~
/html/body/div/a=~Об сообществе~
/html/body/div/a=~Технический раздел~
/html/body/div/a=~Архив~
А если добавляю | grep "/html/body/div/span=(.*)" Получаю ошибку, что я не правильно указываю?!
/dev/random
Администратор
Сообщения: 5405ОС: Gentoo
Сообщение /dev/random 17.09.2012 06:38
Проще всего так:
... | html2 | iconv -t latin1 | grep -B6 'span=(.*)' | grep /a=
(если вы уверены, что структура всегда будет такой, и между <a> и искомым <span> никто ничего не добавит и не уберёт)
kraz5
Сообщения: 73ОС: calculate linux
Сообщение kraz5 17.09.2012 20:20
/dev/random писал(а): ↑ 17.09.2012 06:38
Проще всего так:
... | html2 | iconv -t latin1 | grep -B6 'span=(.*)' | grep /a=
(если вы уверены, что структура всегда будет такой, и между <a> и искомым <span> никто ничего не добавит и не уберёт)
Пока что структура такая. Спасибо
