В статье вы найдете описание метода, позволяющего эффективно посылать запросы серверам Google и обрабатывать ответы. Прилагаются скрипты на Perl в количестве 3 штук, а также список из 106 рабочих анонимайзеров. Ключевые моменты:
Как обойти капчу и ограничение на частоту запросов
Как собрать прокси и проверить их валидность
Как распараллелить посылку запросов
Как реализовать возможность приостанавливать скрипт
Пишем универсальный парсер
Приведенные скрипты могут быть использованы в аналитических исследованиях, а также автоматизации сбора различного рода информации при помощи поисковой системы Google.
