использую список прокси типа HTTP для отправки запроса, с какого - то прокси выкидывает ошибку:
2019-01-07 23:53:30,164 ERROR:SSL handshake failed
protocol: <asyncio.sslproto.SSLProtocol object at 0x00000204F3F4DAC8>
transport: <_SelectorSocketTransport fd=1852 read=polling write=<idle, bufsize=0>>
Traceback (most recent call last):
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 625, in _on_handshake_complete
raise handshake_exc
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 189, in feed_ssldata
self._sslobj.do_handshake()
File "C:\ProgramData\Anaconda3\lib\ssl.py", line 763, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1045)
2019-01-07 23:53:30,164 ERROR:SSL error in data received
protocol: <asyncio.sslproto.SSLProtocol object at 0x00000204F3F4DAC8>
transport: <_SelectorSocketTransport closing fd=1852 read=idle write=<idle, bufsize=0>>
Traceback (most recent call last):
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 526, in data_received
ssldata, appdata = self._sslpipe.feed_ssldata(data)
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 189, in feed_ssldata
self._sslobj.do_handshake()
File "C:\ProgramData\Anaconda3\lib\ssl.py", line 763, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1045)
Как ее можно исправить?
# Создаём клиентскую сессию
async with aiohttp.ClientSession() as client:
client = await login(client)
with ThreadPoolExecutor(max_workers=os.cpu_count()) as pool:
# Создаём корневую футуру
initial_future = loop.create_future()
# Помещаем в неё ссылки, с которых начнём парсить
initial_future.set_result(root_urls)
# Передаём эту футуру в сопрограмму обхода ссылок
# вместе с пулом потоков и клиентской сессией
# await crawl(initial_future, client, pool)
await crawl(initial_future, client, pool)
Метод для отправки запросов:
async def request(client, url):
global limit, headers, use_proxy
if(use_proxy):
proxy = await get_current_proxy()
else:
proxy = None
for i in range(15):
async with limit:
try:
async with client.get(url, headers=headers, proxy=proxy) as r:
log.info('Запрос: %s, - %s', url, str(r.status))
if(r.status == 200):
return [await r.text(), url]
else:
if(r.status == 500):
break
log.info("Ошибка статус: %s", r.status)
await asyncio.sleep(i)
except:
await asyncio.sleep(i)
Иногда выкидывает эту ошибку:
2019-01-07 23:58:41,218 ERROR:SSL handshake failed on verifying the certificate
protocol: <asyncio.sslproto.SSLProtocol object at 0x00000200AAB05EF0>
transport: <_SelectorSocketTransport fd=1764 read=polling write=<idle, bufsize=0>>
Traceback (most recent call last):
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 625, in _on_handshake_complete
raise handshake_exc
File "C:\ProgramData\Anaconda3\lib\asyncio\sslproto.py", line 189, in feed_ssldata
self._sslobj.do_handshake()
File "C:\ProgramData\Anaconda3\lib\ssl.py", line 763, in do_handshake
self._sslobj.do_handshake()
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1045)
Но ведь сертификат вроде есть только у HTTPS, разве нет?