Вместо ' '
в .replace(' ', '')
используйте '\xa0'
:
.replace('\xa0', '')
- это строка-заменитель в HTML и работать будет при обработке строки через парсер HTML
UPD.
Пустые строки это, как правило, несколько подряд идущих \n
.
Их можно заменить регуляркой, ища символы \n{2,}
(от 2 и более подряд).
Или разделив строку на список строк, убрав пустые элементы и заново собрав
Пример:
import re
text = '123\n222\n\n333'
print(repr(text))
# '123\n222\n\n333'
new_text = re.sub(r'\n{2,}', '\n', text)
print(repr(new_text))
# '123\n222\n333'
new_text = '\n'.join(filter(None, text.splitlines()))
print(repr(new_text))
# '123\n222\n333'
Немного отрефакторил код, добавив наработки из ответа
Пример:
import re
import requests
from bs4 import BeautifulSoup
url = "https://www.restoclub.ru/msk/place/39-trattoria-pizzeria"
hdr = {'User-Agent': 'Mozilla/5.0'}
reqs = requests.get(url, headers=hdr)
soup = BeautifulSoup(reqs.text, 'lxml')
link = soup.find(class_='place-title__header')
title = str.strip(link.text)
link2 = soup.find(class_='place__description').find(class_='expandable-text')
description = str.strip(link2.text).replace('\xa0', '')
description = re.sub(r'[ \n\r]{2,}', ' ', description)
print(url + '|' + title + '|' + description)
Результат:
https://www.restoclub.ru/msk/place/39-trattoria-pizzeria|+39 Trattoria & Pizzeria|+39 Trattoria & Pizzeria — итальянский ресторан на Новой Басманной улице. Команда Parisi & Co открыла второй проект с международным кодом Италии в названии, основанной на любви к традициям и вкусу итальянских блюд. Стильное пространство оформило архитектурное бюро Remigio Architects из Милана. Здесь можно найти множество отсылок к Неаполю, природным стихиям и известному вулкану: над многими деталями интерьера вручную работали мастера из Италии. За кухню ресторана «+39 Траттория & Пиццерия» отвечает Алессандро Симиоли — шеф-повар, освоивший кулинарное мастерство на побережье Сорренто. Он перенял свое искусство и домашние рецепты от отца и дяди. В Москве Алессандро работает уже более 15 лет. Помогает ему — опытный пиццайло Александр Слуту. Мастер вырос в Неаполе, в пиццериях которого он учился создавать как классическую пиццу, так и оригинальные рецепты в современном исполнении. Основу меню составляют классические блюда преимущественно юга Италии, однако в «Траттории» можно найти и рецепты других регионов страны. Есть также три специальных курса, посвященных воде, огню и земле. В дровяной печи выпекают настоящую неаполитанскую пиццу с высоким мягким бортиком и разнообразными начинками, а среди закусок подают традиционные итальянские антипасти, в том числе свежие сыры (моцареллу, буррату, страчателлу, скаморцу) собственного производства. Кроме того, в «Траттории +39» готовят супы, делают вкусную пасту и предлагают разнообразные горячие блюда из рыбы и мяса. Пару блюдам составляет винная коллекция с лучшими образцами Апеннинского полуострова и других стран. Ее для отдельной Wine Room старинного особняка составил сомелье ресторана +39 Trattoria & Pizzeria. «+39 Траттория & Пиццерия» — ресторан, где гостей ждет любовь к Италии и незабываемый опыт! Текст предоставлен заведением