Я новичок в python и ни как не могу понять как реализовать следующую задачу.
Есть txt файл с доменами(около 10 000 доменов), сохранены в верхнем регистре. Нужно:
- адреса доменов перенести в нижний регистр
- добавить вначале домена строку 'http://', чтобы домен потом вставить в requests
- сделать цикл, чтобы парсер собрал title с каждого домена(сайта)
- записать все в файл таблицу с двумя полями | url сайта | title сайта |
-
1Здесь целых пять разных вопросов. На четыре вопроса способен ответить любой учебник по Python, вы его читали? Конкретизируйте вопрос и опишите, что на каком этапе не получается.– andreymal17 мая 2020 в 13:37
Добавить комментарий
|
1 ответ
Ну если я правильно понял суть вашего задания то вот.
import requests
from bs4 import BeautifulSoup as bs
f = open(r'file.txt','r+')
a=[]
for i in f:
a.append(i.lower().replace('\n',''))
a[-1]='https://'+a[-1]
f.close()
title_list=[]
for url in a:
r=requests.get(url)
page=bs(r.content,'html.parser')
title=page.find('title')
title_list.append(url)
title_list.append(title.text.replace('\n',''))
print(title_list)
-
Да это то самое )) только выводит ошибки. Я думаю надо прописать обработку ошибок когда нет title на сайте, то в title=page.find('title') выводить "title не найден" и еще думаю как url и title print(title_list) записать в файл xls или csv в два столбца с именами URL и TITLE а так да, большое спасибо за данное решение и потраченное на меня вермя!– Smo Boom18 мая 2020 в 14:39
-