1
import socket
import re

mysock= socket.socket(socket.AF_INET, socket.SOCK_STREAM)
url=input ("Enter a url: ")
try:
    re.search("^http[s]?://.*?", url)
except:
    print ("Error")

prot, hostdoc= url.split("//")
host, doc= hostdoc.split ("/")
mysock.connect((host, 80))
cmd = 'GET url HTTP/1.0\r\n\r\n'.encode()
mysock.send (cmd)

while True:
    data=mysock.recv(512)
    if len(data)<1:
        break
    print (data.decode(), end='')

mysock.close()

Выдаёт ошибку в Питоне 3.7 (400 Bad request). Ссылки рабочие.

Для решения задачи можно пользоваться только socket. В чём ошибка?

3
  • url, прописанный после GET, обязан начинаться со слэша, в противном случае запрос считается некорректным
    – andreymal
    25 мар 2020 в 18:34
  • быть может cmd = f'GET {url} HTTP/1.0\r\n\r\n'.encode()? реф
    – aepot
    25 мар 2020 в 18:57
  • aepot, остановилась пока на вашем варианте. 29 мар 2020 в 18:24

1 ответ 1

2

Нужно добавлять /, например: GET / HTTP/1.0\r\n\r\n (это запрос index), если у вас url будет http://google.ru/search, тогда GET /search HTTP/1.0\r\n\r\n.

Советую парсить url соответствующими инструментами, например urlsplit.

Попробуйте так:

from urllib.parse import urlsplit
import socket
import re

mysock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
url = input("Enter a url: ")
try:
    re.search("^http[s]?://.*?", url)
except:
    print("Error")

result = urlsplit(url)

mysock.connect((result.netloc, 80))

cmd = f'GET {result.path} HTTP/1.0\r\n\r\n'.encode()
mysock.send(cmd)

while True:
    data=mysock.recv(512)
    if len(data)<1:
        break
    print(data.decode(), end='')

mysock.close()

При url = "http://google.ru", успешно вернуло данные:

HTTP/1.0 200 OK\r\nDate: Wed, 25 Mar 2020 19:09:42 GMT\r\nExpires: -1\r\nCache-Control: private ...

Пример работы по шагам:

url = 'http://google.ru/'
result = urlsplit(url)
# SplitResult(scheme='http', netloc='google.ru', path='/', query='', fragment='')

mysock.connect((result.netloc, 80))
# google.ru : 80

cmd = f'GET {result.path} HTTP/1.0\r\n\r\n'.encode()
# b'GET / HTTP/1.0\r\n\r\n'

Еще пример:

url = 'http://google.ru/search'
result = urlsplit(url)
# SplitResult(scheme='http', netloc='google.ru', path='/search', query='', fragment='')
...
cmd = f'GET {result.path} HTTP/1.0\r\n\r\n'.encode()
# b'GET /search HTTP/1.0\r\n\r\n'

UPD.

Для работы сокетов по HTTPS нужен 443 порт, использовать ssl.

Пример:

from urllib.parse import urlsplit
import socket
import ssl


socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
url = 'https://www.coursera.org/robots.txt'

result = urlsplit(url)

context = ssl.SSLContext(ssl.PROTOCOL_TLSv1_2)
s_sock = context.wrap_socket(socket, server_hostname=result.netloc)
s_sock.connect((result.netloc, 443))

cmd = f'GET {result.path} HTTP/1.1\r\nHost: {result.netloc}\r\n\r\n'.encode()
s_sock.send(cmd)

while True:
    data = s_sock.recv(512)
    if not data:
        break

    print(data.decode(), end='')

s_sock.close()
4
  • Здравствуйте! Спасибо большое за помощь! У меня Ваш пример с кодом сработали. А вот data.pr4e.org/romeo.txt (400 Bad request) и coursera.org/robots.txt та же ошибка. 26 мар 2020 в 18:39
  • Пробовала другие ссылки - тоже не работает. 28 мар 2020 в 16:06
  • Если вот так сделать:cmd =f'GET {url} HTTP/1.0\r\n\r\n'.encode(), то data.pr4e.org/romeo.txt возвращает данные. 28 мар 2020 в 18:23
  • @ВалентинаПак, тема сложнее чем кажется, для работы с https нужно обращаться к 443 порту, а не 80, плюс нужен ssl, плюс нужно указывать заголовок Host: иначе защита перед сайтом не пропустил запрос. Пример накидаю в UPD. Для вашего скрипта нужно будет проверить https или http, и соответственно, указать правильный порт и сделать для https обертку через ssl
    – gil9red
    30 мар 2020 в 10:28

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.