Написал очередной велосипед по генерации sitemap. Конечно, можно было бы взять готовые модули, но это не моя история. Дело даже не в велосипеде, а в реализации. По сути есть 2 списка, с которыми работаем:
- urls - ссылки в очереди
- visited - проверенные
Всё хорошо, когда на сайте 200 страниц. Но когда их больше 15000, то процесс длится часами, а python забивает 384 МБ памяти.
Есть ли какие более интересные методы хранения данных (не бд), которые можно использовать в нашем случае? В какую сторону копать?