import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
def g(url):
response = requests.get(url=url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
ip = soup.find('div', class_='ip').text
print(ip)
def main():
g(url='https://2ip.ru')
if __name__ == '__main__':
main()
-
Потому что метод не нашел в 'DOM' html тег 'div' с классом ip– Artem FilippovCommented 17 мар. 2023 в 19:42
-
Получить IP проще с других сервисов, которые выдают ответ без всяких тегов, текстом в чистом виде. Например: v4.ipv6-test.com/api/myip.php (Либо IPv6: v6.ipv6-test.com/api/myip.php)– Геннадий ПCommented 17 мар. 2023 в 20:59
2 ответа
Что бы получить по данному методу нужный тег и его данные нужен JavaScript который в библиотеке requests (как я понял вы используете его для доступа к html) не реализован и ответ в этом случае вы получаете несколько иной, чем видите в браузере. Вы можете удостовериться в этом, если просто сделаете print() для html документа, который вы получили.
Для доступа к тегу по вашему методу можно использовать selenium или playwright которые полностью эмулируют работу браузера, то есть загружают страничку так же, как видите вы в браузере.
Но, кстати, получить ip можно даже и с этого ответа, который дает requests, а именно с помощью данного метода:
div_gen = soup.find('div').stripped_strings
str_1, str_2, str_3, str_4, ip = div_gen
print(ip)
На будущее просто посмотрите и изучите DOM html документа который приходит вам в ответ, часто он может отличаться от того что вы видите в браузере.
На самом деле, по правилам хорошего стиля программирования, функцию g() надо было написать вот так:
def g(url):
response = requests.get(url=url, headers=headers)
if response.status_code != 200:
print(f"Страница {url} не найдена")
return
soup = BeautifulSoup(response.text, 'lxml')
ip = soup.find('div', class_='ip')
# Если find() не может ничего найти, он возвращает None:
if ip is None:
print("Ничего не найдено")
return
else:
print(ip.text)
И тогда бы вы увидели, в чём причина проблемы:
Ничего не найдено
А вот почему этот тег не находится, вопрос другой..
-
-
@ArtemFilippov - "Там 503 код возвращает" - На самом деле, ситуация несколько сложнее. Я запускал эту программу несколько раз. В начале код был 200 и просто не находился нужный тег. Я смотрел HTML код, полученный из get(url). Там, в самом деле, было нечто совсем другое. Но, где-то с третьей попытки начал возвращаться код 503. Если это - учебная задача, то она не самая простая. Для начала надо бы использовать proxy и fake_useragent. А уж после этого - разбираться с тем, что выдаётся на самом деле.– SergeyCommented 20 мар. 2023 в 2:42
-
Вот хорошая статья, как победить 503 код: pknerd.medium.com/…– SergeyCommented 20 мар. 2023 в 2:58
-
статья хорошая, много полезного на самом деле но буду признателен, если вы скинете скриншот (можно в лс) что вам запрос с библиотекой requests на этот сайт хоть один раз вернул код 200 Commented 20 мар. 2023 в 17:48
-
@ArtemFilippov - "скинете скриншот". Намёк понял :-) Попытался повторить код 200 - не получилось. "Замаскировал" как рекомендовано в статье, получил какую-то загадочную ошибку прокси: requests.exceptions.ProxyError: HTTPSConnectionPool(host='2ip.ru', port=443): Max retries exceeded with url: / (Caused by ProxyError('Your proxy appears to only use HTTP and not HTTPS, try changing your proxy URL to be HTTP. See: urllib3.readthedocs.io/en/1.26.x/…', SSLError(SSLError(1, '[SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:992)'))))– SergeyCommented 21 мар. 2023 в 2:21