1

Есть сайт: https://hidemy.name/ru/proxy-list/
И код(который просто скачивает страницу):

import requests


user_agent_val = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

r = requests.get('https://hidemy.name/ru/proxy-list/', headers=headers)
print(r.status_code)

with open("pr.html", "w", encoding="utf-8") as f:
    f.write(r.text)

f.close()
with open("pr.html", "r", encoding="utf-8") as f:
    contents = f.read()

Нужно спарсить все ip и порты со страницы(

<tr><td>158.58.197.227</td><td>50128</td><td><i class="flag-icon flag-icon-bg"></i> <span class="country">Bulgaria</span> <span class="city">Berkovitsa Municipality</span></td><td><div class="bar" style="color:#000"><p>480 мс</p><div class="speed" style="width:76px;background:#79bc00"></div></div></td><td>SOCKS4</td><td>Высокая</td><td>2 минуты</td></tr>

) Почитал документалки но так и не понял как это сделать
Заранее спасибо

2 ответа 2

3

Вот программа, выводящая все айпи и порты со страницы:

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'
}

r = requests.get('https://hidemy.name/ru/proxy-list/', headers=headers)

raw = r.text.split('tbody>')[1].split('</tbody')[0] # "сырой" контент таблицы с адресами

arr = raw.split("<td>")

for i in range(0, len(arr) - 2, 7):
    print(arr[i+1][:-5], arr[i+2][:-5])
2

1 Регулярные выражения. Если это уместно.

>>> e = re.search(r"<tr><td>([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})</td><td>([0-9]{2,5})</td><td>", """<tr><td>158.58.197.227</td><td>50128</td><td><i class="flag-icon flag-icon-bg"></i> <span class="country">Bulgaria</span> <span class="city">Berkovitsa Municipality</span></td><td><div class="bar" style="color:#000"><p>480 мс</p><div class="speed" style="width:76px;background:#79bc00"></div></div></td><td>SOCKS4</td><td>Высокая</td><td>2 минуты</td></tr>""")
>>> e.groups()
('158.58.197.227', '50128')
>>> 

2 BeautifulSoup

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.