1

Я пишу парсер (по нескольким урокам) html страниц. Не совсем понимаю как устроить структуру и взаимодействие между функциями (передачу данных из одной функции в другую).

Сайт состоит из 100 однотипных страниц, с листингом страниц внизу вида 1,2,3,4,5 ... 100 далее

Главная функция которая разбирает контент, на первой странице (остальные странице ей идентичны по типу контента) полностью работает и записывает данные в "словарь". Есть задача сформировать список ссылок, приблизительно как это сделать циклом for я понял, но у меня почему то все это не работает, но я не совсем понимаю на каком моменте и как должна передоваться информация либо в другую функцию либо "кодом" ниже...

Логическая структура:

  • грузим библиотеки
  • формируем урл первой страницы
  • указываем путь (тэги) на контент для парсинга
  • указываем путь (тэги) на контент где содержится листинг страниц
  • запускаем функцию по загрузки контента с 1 листа, сохраняем контент в местный словарь, и выгружаем его в глобальный
    "кортеж\масив"
  • запускаем функцию выгрузки кол-ва страниц - берем последнюю страницу, генерируем числа от 2 до 100 (в моем примере) - итого 99
    чисел создает цикл for, - эти значения 2,3,4,5 - 99 идут в
    аналогичную функцию которая дублирует основную функцию по сохранению контента но без вызова функции по загрузки кол-ва страниц (что бы не было рекурсии).
  • в идеале что бы не получить "блок" от сайта или не пропустить страницы, сделать рандомную паузу между "открытием" страниц например 3-5 секунды (но это я потом разберусь)
  • когда скачена и пропарсена, последняя страничка и данные преданны в courses[] вызывается функция по сохранению и экспорт

Код парсера.

from urllib.request import urlopen
from urllib.parse import urljoin
from lxml.html import fromstring
import cssselect
from lxml.etree import XMLSyntaxError 

URL1 = 'www.site.ru/'
PAGE1 = '1' # номер страницы
URL2 = 'blabla'

URL = URL1 + PAGE1 + URL2 # итоговый урл - главная страница.
ITEM_PATH = '.1' # путь на парсинг необходимый даты
PAGE_PATH = '.paging' # путь на парсинг "кол-ва" страниц, я решил взять последнее число (в нашем примере это 100 - и сгенерировать 100 ссылок по которым должен пройти парсер.
courses = [] # как я понял это глобальная переменная если её так можно назвать и сюда будут добавляться по завершению функции данные, отсюда же они будут выкачиваться в  excel.
def parse_courses(): #выкачивает данные из первой страницы, основная функция с которой все ок.
    f = urlopen(URL) #открывает итоговый урл первой страницы
    list_html = f.read().decode('utf-8') #читаем, и декодируем
    list_doc = fromstring(list_html)
    for elem in list_doc.cssselect(ITEM_PATH): # парсим данные которые нужны, товары например.
        a = elem.cssselect('a')[1]
        title = a.get('title') 
        course = {'title': title} # сохраняем данные в "словарь" как я понял
        get_page_count(); # скачав первую страницу, и обработав её данные вызываем функцию которая распарсит последний № страницы.
def get_page_count(): # функция которая выкачивает дату номера страницы
    for elem in list_doc.cssselect(PAGE_PATH):
        pagenumber = elem.cssselect('li')[-1] # берем последнюю цифру, print её мне выдавал 
        pagenum = pagenumber.text
        print(pagenum) # возможно её нужно перевести в int()
        int(pagenum) # с этого момента начинается заминка!!!
        #return(page) # если честно не совсем разбираюсь в функция и как они "перекидывают данные из одной в другую"
    url = urljoin(URL1 + page + URL2) # этот url должен генерировать 99 ссылок от 2 до 100
    #дальше эти 99 урлов должны запускать или копию функции parse_courses() или передавать ссылки в нее для выкачивания аналогичных данных с 2 по 100 страницу

def main():
    parse_courses() # запускается первой

if __name__ == '__main__':
    main()

ps: пост (вопрос) получился размашистый, если я что то пропустил, и не точно сформулировал дайте знать, я старался дать как можно больше информации. Я отвечу, и отредактирую вопрос для более точного формулирования.

1 ответ 1

2

Вот наглядный пример функций, которые возвращают некоторое значение:

def get_var(var):
      return var * 2


def set_var(var):
    return get_var(var)

if __name__ == "__main__":
    var = set_var(5)
    print var

Если функция возвращает некоторый результат, этот результат может быть присвоен переменной. То есть, запись "var = set_var(5)", грубо говоря, аналогична установке значения переменной - "var = 5 * 2".

По умолчанию - если инструкция return в функции не указана - функция вернет None. Например:

def test_get_result(var):
    var *= 2

>>> print test_get_result(5)
>>> None

И наоборот:

def test_get_result(var):
    var *= 2
    return var

>>> print test_get_result(5)
>>> 10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.