Агенты в среде Linux® (В этой статье показано, как в среде Linux® создаются агенты типа spide)

[developerWorks]

В этой статье показано, как в среде Linux® создаются агенты типа spider и scraper, позволяющие просмотреть какой-либо Web-сайт и собрать нужную информацию (в данном случае – данные о курсовой стоимости акций).

Паук (spider) – это программа, "ползающая" по Интернету определенным образом и с определенной целью. Цель может состоять в сборе информации или в понимании структуры какого-либо Web-сайта и его полезности. На применении пауков основаны современные поисковые машины, такие как Google и AltaVista. Такие пауки автоматически извлекают данные из Web-сайта и передают их другим приложениям, которые индексируют контент этого Web-сайта с целью формирования наилучшего набора поисковых терминов.

"Web-скребок" (Web scraper) – это агент, который действует аналогично Web-паукам, но более интересен с юридической точки зрения. Scraper – это разновидность паука, которая нацелена на работу с определенным Интернет-контентом, например, с данными о стоимости продуктов или услуг. Один из вариантов применения scraper-агентов – т.н. конкурентное ценообразование, т. е. выявление существующих на рынке цен на определенную категорию товаров с целью установления соответствующих цен на собственную продукцию. Кроме того, scraper способен объединять данные из нескольких источников в Интернете и предоставлять эту итоговую информацию пользователю.

[vinny]

developerWorks
вы не спам-робот и за свои посты отвечаете, т.е. хочу вас попросить... более внимательно относиться к тематике разделов, так как по оставленной вами ссылке "новостного мяса", увы совсем нет. без обид, если данная тема будет удалена или перенесена в другой раздел.

[Virun]

И чо? Я бы очень удивился если бы таких приложений не было бы в лине.

[developerWorks]

developerWorks
вы не спам-робот и за свои посты отвечаете, т.е. хочу вас попросить... более внимательно относиться к тематике разделов, так как по оставленной вами ссылке "новостного мяса", увы совсем нет. без обид, если данная тема будет удалена или перенесена в другой раздел.

Хорошо, спасибо!
Стараемся отбирать только самые интересные темы, возможно, не всегда удачно..