0

Пишу парсер, который получает на вход адрес сайта, а на выходе дает все ссылки на сторонние домены, которые были найдены на сайте. Выполняет он это через рекурсивную функцию, которая парсит хтмл конкретной страницы, находит в нем линки на подстраницы (в пределах заданного сайта), записывает их в массив и вызывает сама себя для каждого линка из массива. Так вот, для каких-то сайтов это работает нормально, но для некоторых я получаю StackOverFlow и программа крашится. Что же делать, чтобы этого избежать?

UPD1: да, я держу HashSet уже опрошенных линков.

1
  • Код-то покажите. Java по дефолту даже в неудачные фазы луны допускает больше тысячи рекурсивных вызовов. Если вам не хватает, скорее всего у вас ошибка в коде. 14 сен 2015 в 22:21

5 ответов 5

4

Перепишите на нерекурсивный вариант с использованием Queue<T>. Или Stack<T>, смотря какой порядок перебора страниц вам больше нравится.

Java знаю только издалека, но суть

Queue<string> queue = new Queue<string>();
queue.push(firstPageToProcess);

string pageToProcess;
while ((pageToProcess = queue.peek()) != null)
{
   // разбор страницы pageToProcess и queue.push() для новых ссылок на обработку
}
1
  • Хмммм, а ведь и правда. Спасибо, попробую! 14 сен 2015 в 20:47
1

StackOverFlow это переполнение стека. Вариантов 2.

1 - слишком длинные цепочки вложений и слишком много памяти используют проверки.

2 - циклически ссылки на сайте.

2 лечится проверкой если был на странице, то не заходить. 1 лечится хорошей оптимизацией алгоритма, мощным железом и правильными опциями запуска. (java -Xms=1000m -Xmx=1000m) ну или сколько там надо.

1
  • Спасибо, да, я делаю подобную проверку, пушо каждый новый линк записывается в общий HashSet, с которым потом и сверяются остальные. 14 сен 2015 в 20:43
1

Сделать следующие вещи:

  • ограничить глубину обхода,
  • держать список посещённых страниц.
1

Если сайт динамический, он может содержать сколь угодно большое количество ссылок внутри себя. Например, подписывая к URL какой-нибудь &sid=, или к постраничной навигации какие-нибудь &page=, а где-нибудь на кнопочках с размером страницы &pageSize= (и вам придётся перебирать все возможные комбинации page и pageSize, хотя по факту это одно и то же содержимое). Плюс может быть постоянная ссылка на каждую запись, могут быть ссылки на якоря внутри страницы (типа #blahblah). Если вы просто собираете все ссылки в HashSet, вы не учтёте ни один из этих вариантов.

0

Предположу, что надо указать глубину рекурсии, потому что потенциально рекурсия может быть бесконечна: страница имеет ссылку на страницу, на которой тоже есть ссылка на другую страницу и так бесконечно. Более того, есть вариант с бесконечной рекурсией, когда страницы имеют взаимные ссылки друг на друга. Без ограничения глубины, программа будет опрашивать страницы бесконечно, пока не кончится стек и не случится StackOverflow

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.