Имеем к примеру шаблон:
<html>
<head>
<title>Example</title>
</head>
<body>
<div class='General'>
<div class='First-class'>
<p><a href='links what I need'>Link - links what I need</a></p>
<p><a href='links what I'>Link - links what I</a></p>
<p><a href='links what'>Link - links what</a></p>
<p><a href='links'>Link - links</a></p>
</div>
</div>
</body>
</html>
Что бы получить всё что в теге <a href='...'></a>
:
import urllib.request
from bs4 import BeautifulSoup
html = urllib.request.urlopen('http://your/url')
soup = BeautifulSoup(html, 'html.parser').find('div', class_='First-class')
for i in soup.find_all('a', href=True):
print(i['href'])
Результат:
links what I need
links what I
links what
links
Вариант с Regular expression:
import re
pattern = re.compile(r'href="(.*)">')
html = urllib.request.urlopen('http://your/url')
soup = BeautifulSoup(html, 'html.parser').find('div', class_='First-class')
print(re.findall(pattern, str(soup)))
Результат:
['links what I need', 'links what I', 'links what', 'links']
'span'
на'a'
, а'class': 'news-list-date'
на'href': 'links what I need'
soup.findAll('span')
. Тогда в результате будут абсолютно все ссылки со страницы, собственно, это Вам и предлагают в ответе ниже