0

Добрый день дорогие дамы и господа ! Вот сам мой код !

#Парсер v2 by Raha
import traceback
import requests
import dateparser
from bs4 import BeautifulSoup


def get_html(url):
    r = requests.get(url)
    if r.ok: # 200  ## 403 404
        return r.text
    print(r.status_code)


def get_page_link(html):
    soup = BeautifulSoup(html, 'lxml')
    title =soup.find('h1',{'class':'roboto'}).text
    link_containers=soup.findAll('div',{'class':'cat_news_item'})


    counter = 0
    links_rcv = []
    for link_container in link_containers:
        a_tag = link_container .find("a")
        # Если нашел
        if a_tag:
            link = a_tag.get("href")
            links_rcv.append(f'https://www.zakon.kz{link}')
            #print(f'https://www.zakon.kz{link}')
        else:
            counter += 1

    return links_rcv


def get_context_html(url):
    r = requests.get(url)
    return r.text


def get_context_data(html):
    soup = BeautifulSoup(html, 'lxml')
    item_content= mainblock=soup.find('div',{'class':'fullnews white_block'})
    item_title= title=mainblock.find('h1').text
    item_datetime= mainblock.find('span',{'class':'news_date'}).text
    item_text= text_contents=mainblock.findAll('p')

    if item_content is None:
        item_content1= mainblock1=soup.find('div',{'class':'full_story'})
        item_title1= title1=mainblock1.find('title',{'class':'full_story'}).text
        item_datetime1= mainblock1.find('div',{'class':'news_date'}).text
        item_text1= text_contents1 =mainblock1.findAll('p',{'class':'MsoNormal'})
        return (item_title1,item_datetime1,item_text1)


    #datetime=dateparser.parse(datetime, date_formats=['%d %B %Y %H']) #Конвентирует формат времени удобный в SQL



def main():
    url = 'https://www.zakon.kz/news/'
    links_rcv = get_page_link(get_html(url))
    for i in links_rcv:
        try:
            print(get_context_data(get_context_html(i)))
        except:
            print(f'Ошибка на странице: {i}')
            print(traceback.format_exc())


if __name__ == '__main__':
    main()

При выводе я не понимаю почему выводится None

1
  • Это инструкции для сайта у которого разная структура страниц новостей.И для этого я использовал этот пример инструкции с этого сайта code.activestate.com/recipes/… первый пример
    – r4khic
    7 авг 2019 в 10:30

1 ответ 1

2
def get_context_data(html):
    soup = BeautifulSoup(html, 'lxml')
    mainblock = soup.find('div',{'class':'fullnews white_block'})  # < Получаем контекст.

    if mainblock is not None:  # < Если контекст не пуст, продолжаем разбор.
        item_title = mainblock.find('h1').text
        item_datetime = mainblock.find('span',{'class':'news_date'}).text
        item_text = mainblock.findAll('p')
    else:  # < Иначе получаем и разбираем контекст другого типа.
        mainblock = soup.find('div',{'class':'full_story'})
        item_title = mainblock.find('title',{'class':'full_story'}).text
        item_datetime = mainblock.find('div',{'class':'news_date'}).text
        item_text = mainblock.findAll('p',{'class':'MsoNormal'})            

    return (item_title,item_datetime,item_text)  # < Возвращаем результат, вне зависимости от типа страницы.
6
  • Можно вопрос?А почему в else еще добавили инструкции? Можете обьяснить
    – r4khic
    7 авг 2019 в 11:00
  • @r4khic Добавил в Ответ. Они не новые, это конструкции из вашего кода. 7 авг 2019 в 11:07
  • Это я понял,но как я понял из сайта вроде добавление в инструкций в else не обязательно.
    – r4khic
    7 авг 2019 в 11:10
  • Про "инструкции с сайта", я понятия не имею. Я могу придумать десяток вариантов решения вашей задачи. Я исходил из логики вашего кода и немного его оптимизировал. Вы пытались, сначала полностью разобрать контекст первого типа и только потом проверить, правильный он или нет. В моем примере, сначала выполняем проверку контекста, потом разбираем нужный. 7 авг 2019 в 11:15
  • И это не говоря о том, что вы кучу лишних переменных насозавали item_content1 и прочие *1. 7 авг 2019 в 11:18

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.