1

Написал очередной велосипед по генерации sitemap. Конечно, можно было бы взять готовые модули, но это не моя история. Дело даже не в велосипеде, а в реализации. По сути есть 2 списка, с которыми работаем:

  1. urls - ссылки в очереди
  2. visited - проверенные

Всё хорошо, когда на сайте 200 страниц. Но когда их больше 15000, то процесс длится часами, а python забивает 384 МБ памяти.

Есть ли какие более интересные методы хранения данных (не бд), которые можно использовать в нашем случае? В какую сторону копать?

4
  • Непонятно что вы делаете. В обычных случаях для экономии памяти используется генераторы для экономии памяти. Да и что делать часами на 15000 элементах тоже не ясно ни разу. 25 июн 2015 в 16:32
  • Вот код для большей ясности. https://github.com/Haikson/pysitemap/blob/master/pysitemap/crawler.pyВопрос не в работе часами, т.к. это больше от канала зависит, скорости загрузки данных. Другое дело, когда каждый раз после парсинга страницы проверяются все элементы. 25 июн 2015 в 17:06
  • Хорошо, задам вопрос иначе: Есть два списка A и B. Каждый раз, при добавлении элемента в список B, проверяем, входит ли он в списки A и B. На это и тратим время. 25 июн 2015 в 17:10
  • Вы сравниваете два списка поэлементно. Да, тут будет квадратичная сложность. Простой вариант с set уже подсказали, но можно держать список отсортированным и проверка одно элемента будет за логарифм. Но в любом случае вначале нужно профайлером пройтись. Может там память и время тратит парсинг самой страницы.
    – KoVadim
    25 июн 2015 в 18:52

2 ответа 2

1

Я, если честно, так и не понял, что у вас жрет столько памяти. Но по вопросу ответ такой: set() - самая быстрая имплементация проверки на вхождение.

3
  • И почему я о сетах всё время забываю? Спасибо. Тестирую. 25 июн 2015 в 19:11
  • Ну, а память - не знаю. Списки такой длины должны занимать не больше 6 МБ. Остальное - пока загадка. 25 июн 2015 в 19:17
  • Тестирование с сетами закончил. Весь процесс занял 24 минуты вместо 46. Прогресс налицо. 25 июн 2015 в 19:20
0

В дополнение к ответам и комментариям других участников посоветую изучить загадочный асинхронный мир. Ссылки для ознакомления: раз(eventlet), два(eventlet) и три(gevent).

За счет того, что запросы на скачивание страниц сайта, в отличие от текущего Вашего кода, будут выполняться почти одновременно асинхронно, а не по очереди, суммарное время на выполнение всего скрипта будет значительно уменьшено.

Сразу предупрежу, если много запросов будут идти одновременно на один и тот же хиленький сайт, то Вы можете его попросту заDDOSить и положить, поэтому заранее советую продумать этот момент, ограничивая каким-либо образом количество одновременно висящих запросов на один сайт.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.