0

Код, приведенный ниже, парсит в .csv файл url'ы из поисковой выдачи яндекса, но парсит с тегом "b""/b" получается подобное - doc-me.ru Нужно избавиться от тега "b""/b". Как, для этого, исправить код? Кавычки раставлены специально, чтобы stackoverflow не воспринимал теги, как жирный текст т.е. нужно вытащить то, что находиться в теге "жирный текст" - введите сюда описание изображения

Правки будут в этой строке: items = soup.find_all('a', {'class' : 'link link_outer_yes link_theme_outer path__item i-bem'})

import requests
from bs4 import BeautifulSoup
import csv


def get_html(url):
    response = requests.get(url)
    return response.text


def get_data_items(html):
    soup = BeautifulSoup(html, 'lxml')
    items = soup.find_all('a', {'class' : 'link link_outer_yes link_theme_outer path__item i-bem'})
    # return [a.get('href') for a in items]
    for a in items:
        href_soup = a.get('href')
        data = {'url': a,
                'href': href_soup}
        write_data_csv(data)


def write_data_csv(data):
    with open('data.csv', 'a') as file:
        writer = csv.writer(file)
        writer.writerow((data['url']))


def main():
    url = 'https://yandex.ru/search/?clid=9582&text=скачать&lr=118890&p=1'
    print('Парсим следующий url:')
    print(url)
    # print(get_data_items(get_html(url)))


if __name__ == '__main__':
    main()

1 ответ 1

1

Во время прохода по полученным объектам здесь:

for a in items:

можно добавить :

text = a.b.text

тогда в переменную text при каждом новом проходе буде записываться текст из тега b

1
  • Спасибо Вам за ответ.
    – Nick T.
    11 июл 2019 в 15:06

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.