Я пишу парсер (по нескольким урокам) html страниц. Не совсем понимаю как устроить структуру и взаимодействие между функциями (передачу данных из одной функции в другую).
Сайт состоит из 100 однотипных страниц, с листингом страниц внизу вида 1,2,3,4,5 ... 100 далее
Главная функция которая разбирает контент, на первой странице (остальные странице ей идентичны по типу контента) полностью работает и записывает данные в "словарь". Есть задача сформировать список ссылок, приблизительно как это сделать циклом for я понял, но у меня почему то все это не работает, но я не совсем понимаю на каком моменте и как должна передоваться информация либо в другую функцию либо "кодом" ниже...
Логическая структура:
- грузим библиотеки
- формируем урл первой страницы
- указываем путь (тэги) на контент для парсинга
- указываем путь (тэги) на контент где содержится листинг страниц
- запускаем функцию по загрузки контента с 1 листа, сохраняем контент в местный словарь, и выгружаем его в глобальный
"кортеж\масив" - запускаем функцию выгрузки кол-ва страниц - берем последнюю страницу, генерируем числа от 2 до 100 (в моем примере) - итого 99
чисел создает цикл for, - эти значения 2,3,4,5 - 99 идут в
аналогичную функцию которая дублирует основную функцию по сохранению контента но без вызова функции по загрузки кол-ва страниц (что бы не было рекурсии). - в идеале что бы не получить "блок" от сайта или не пропустить страницы, сделать рандомную паузу между "открытием" страниц например 3-5 секунды (но это я потом разберусь)
- когда скачена и пропарсена, последняя страничка и данные преданны в courses[] вызывается функция по сохранению и экспорт
Код парсера.
from urllib.request import urlopen
from urllib.parse import urljoin
from lxml.html import fromstring
import cssselect
from lxml.etree import XMLSyntaxError
URL1 = 'www.site.ru/'
PAGE1 = '1' # номер страницы
URL2 = 'blabla'
URL = URL1 + PAGE1 + URL2 # итоговый урл - главная страница.
ITEM_PATH = '.1' # путь на парсинг необходимый даты
PAGE_PATH = '.paging' # путь на парсинг "кол-ва" страниц, я решил взять последнее число (в нашем примере это 100 - и сгенерировать 100 ссылок по которым должен пройти парсер.
courses = [] # как я понял это глобальная переменная если её так можно назвать и сюда будут добавляться по завершению функции данные, отсюда же они будут выкачиваться в excel.
def parse_courses(): #выкачивает данные из первой страницы, основная функция с которой все ок.
f = urlopen(URL) #открывает итоговый урл первой страницы
list_html = f.read().decode('utf-8') #читаем, и декодируем
list_doc = fromstring(list_html)
for elem in list_doc.cssselect(ITEM_PATH): # парсим данные которые нужны, товары например.
a = elem.cssselect('a')[1]
title = a.get('title')
course = {'title': title} # сохраняем данные в "словарь" как я понял
get_page_count(); # скачав первую страницу, и обработав её данные вызываем функцию которая распарсит последний № страницы.
def get_page_count(): # функция которая выкачивает дату номера страницы
for elem in list_doc.cssselect(PAGE_PATH):
pagenumber = elem.cssselect('li')[-1] # берем последнюю цифру, print её мне выдавал
pagenum = pagenumber.text
print(pagenum) # возможно её нужно перевести в int()
int(pagenum) # с этого момента начинается заминка!!!
#return(page) # если честно не совсем разбираюсь в функция и как они "перекидывают данные из одной в другую"
url = urljoin(URL1 + page + URL2) # этот url должен генерировать 99 ссылок от 2 до 100
#дальше эти 99 урлов должны запускать или копию функции parse_courses() или передавать ссылки в нее для выкачивания аналогичных данных с 2 по 100 страницу
def main():
parse_courses() # запускается первой
if __name__ == '__main__':
main()
ps: пост (вопрос) получился размашистый, если я что то пропустил, и не точно сформулировал дайте знать, я старался дать как можно больше информации. Я отвечу, и отредактирую вопрос для более точного формулирования.