Модераторы: /dev/random, Модераторы разделов
Код: Выделить всё
<html>
<body>
<!-- some unnececcary text
<b>Old Header</b>
-->
<b>TrueЪ</b> text
<!--script>
function a(){}
</script-->
</body>
</html>
Код: Выделить всё
:l
s/<[^>]*>/ /
t l
/dev/random писал(а): ↑27.05.2010 21:29А sed вполне turing-complete, на нём при желании что угодно можно написать
А вот в RegExp такого не получится сделать (PCRE - уже не regular). /dev/random писал(а): ↑27.05.2010 21:29sed и re - это немножко разные вещи. Никаких циклов в re нет.
Код: Выделить всё
$ sed ':b;bb'
такой классический пример уже приводили:
Код: Выделить всё
<img src='blabla' alt='--"a>b"--'>
Тут, собвственное, в чём вопрос... Если нужно распрсить какой-то конкретный набор страниц, то sed таки да отлично справится. Впрочем, как и sgrep, и pcregrep. А если ставить задачу парсинга _любого_ html-я, в том числе и любого невалидного (но понимаемого браузерами), то это в каждом из этих случаев задачка та ещё. Как минимум потому, что все варианты, которые теоретически нужно перебрать, заранее никому даже в голову не придут.sash-kan писал(а): ↑28.05.2010 03:34такой классический пример уже приводили:?Код: Выделить всё
<img src='blabla' alt='--"a>b"--'>
sash-kan писал(а): ↑28.05.2010 03:34такой классический пример уже приводили:
Код: Выделить всё
<img src='blabla' alt='--"a>b"--'>
ну, в принципе более или менее имеет. библиотечки всякие не зря народ пишет.
ZyX писал(а): ↑31.05.2010 19:48Но в обоих случаях вместо падения или хотя бы заявления об ошибке будет что-то отображено, пусть даже и белый экран. Значит страница корректна с точки зрения программы. То, что вы ожидали увидеть не белый экран всего лишь означает, что отображение страницы некорректно с вашей точки зрения.
Код: Выделить всё
#include <QtGui/QApplication>
#include "mainwindow.h"
#include <QWebPage>
#include <QWebFrame>
#include <QFile>
#include <QTextStream>
int main(int argc, char *argv[])
{
QApplication a(argc, argv);
QWebPage wp;
QFile file( "test.html" );
file.open( QIODevice::ReadOnly );
QTextStream html( &file );
wp.mainFrame()->setHtml( html.readAll() );
file.close();
QFile fout( "test.txt" );
fout.open( QIODevice::WriteOnly );
QTextStream out( &fout );
out << wp.currentFrame()->toPlainText();
fout.close();
return 0;//a.exec();
}drBatty писал(а): ↑31.05.2010 20:10ZyX писал(а): ↑31.05.2010 19:48Но в обоих случаях вместо падения или хотя бы заявления об ошибке будет что-то отображено, пусть даже и белый экран. Значит страница корректна с точки зрения программы. То, что вы ожидали увидеть не белый экран всего лишь означает, что отображение страницы некорректно с вашей точки зрения.
ну уберу я проверку ошибок из скрипта, будет "по вашему" работать, выдаст пустую строку на страничке с текстом. Это лучше? Зачем мне ваша корректность? Мне результат нужен, или сообщение о том, что результат не достигнут. Неверный результат мне не нужен (когда текст есть, а его не видно и он не выдирается).
drBatty писал(а): ↑01.06.2010 03:28
пихать Qt в скрипты/программы, которые работают в глубине системы, считаю по меньшей мере неразумным. Qt это отличная идея, но вовсе не для этого случая. Кстати, про Qt, а на нём уже написали браузер? А то всё равно в памяти висит, так пусть хоть странички показывает... Ведь может-же (судя по вашему примеру).
Тут граблей - целый вагон. Начать с того, что QtWebKit (который, собственно, и использовался) нормально работает только в GUI окружении. Думаю, видно по заголовкам. Без иксов уже не полезет, наверное. Я просто к тому, что специализированные решения уже учитывают множество вариантов, специфичных вещей. И написание транслятора займёт намного меньше сил, времени, будет работать не хуже придуманных регекспов, и работать быстрее. Чтобы обработать так, как самому хочется, а не так, как автор готового парсера решил. drBatty, поправьте, если неверно Вас понял.
А вот уж зачем для чисто текстовой задачи тянуть целую qt и правда непонятно. Тем более, что есть готовая программа, которую, кажется, здесь уже даже упоминали: html2text.NickLion писал(а): ↑31.05.2010 22:12А использую предназначенные для этого либы получится что-то вроде:
Код: Выделить всё
#include <QtGui/QApplication> #include "mainwindow.h" #include <QWebPage> #include <QWebFrame> #include <QFile> #include <QTextStream> [...]
А konqueror разве не браузер? Или интересует на чистом qt? Навскидку, arora есть.
Да, в Debian, по крайней мере, больше ничего и нет, похоже:
Shell
tt:~$ aptitude -F%p search ~Guitoolkit::qt~Gweb::browser
arora
konq-plugins
konqueror Код: Выделить всё
tt:~$ LC_ALL=C aptitude search ~Dlibqt~d'"web *browser"' | grep browser
p arora - simple cross platform web browser
p konqueror - KDE 4's advanced file manager, web browser
p rekonq - KDE web browser based on Webkitt.t писал(а): ↑01.06.2010 08:56А вот уж зачем для чисто текстовой задачи тянуть целую qt и правда непонятно. Тем более, что есть готовая программа, которую, кажется, здесь уже даже упоминали: html2text.NickLion писал(а): ↑31.05.2010 22:12А использую предназначенные для этого либы получится что-то вроде:
Код: Выделить всё
#include <QtGui/QApplication> #include "mainwindow.h" #include <QWebPage> #include <QWebFrame> #include <QFile> #include <QTextStream> [...]
Я не знаю точно, что за КА упоминает NickLion, пусть он сам об этом расскажет, но вообще, пример КА — процессор. Регексп явно с этим не сравнится :)
Так я вот тоже это понять пытаюсь... (: