1

Хочу забрать контент посредством GET-запроса через socket, уже день как застрял на этой проблеме. Не для кого наверное не секрет, что recv(x) с любым количеством x байт вернет только часть данных.

    try:
        sock.connect((host_ip, 80))
        sock.send('GET / HTTP/1.1' + "\n" + "HOST: " + host + "\n\n")
        res_data = sock.recv(65000)
    except socket.error, e:
        console.err("can't connect: " + os.strerror(e.errno))
    else:
        self.data = res_data.decode("utf-8")

Первое, что приходит на ум - рекурсивный цикл, который вытащил бы все данные:

        res_data = ''
        while True:
            data = sock.recv(65000)
            if not data:
                break
            res_data += data

Программа благополучно зависает. Находил всяческие решения через timeout, мол ожидать несколько миллисекунд с каждым шагом, потому как это не текст, и данные могут не приходить периодически - тоже ничего не вышло (

i need help!

4
  • похожий вопрос: Python socket client Post parameters
    – jfs
    15 сен 2015 в 14:16
  • в сторону: вместо "рекурсивный цикл" используйте просто "цикл". Слово рекурсия в Питоне подразумевает вызов функции самой себя (возможно неявно), например: qsort = lambda L: qsort([x for x in L[1:] if x <= L[0]]) + [L[0]] + qsort([x for x in L if x > L[0]]) if L else L
    – jfs
    15 сен 2015 в 17:13
  • Хоть с циклом, хоть с Content-Length, хоть с Connection: close — всё равно обломаетесь об Transfer-Encoding: chunked. Если это всё не в образовательных целях, лучше взять какую-нибудь готовую http-библиотеку
    – andreymal
    16 сен 2015 в 5:37
  • @andreymal: если Connection: close используется, то код в вопросе получит все данные без зависания. Верно, что любой http/1.1 клиент обязан понимать Transfer-Encoding: chunked, но она задумана, чтобы позволить поддерживать постоянные подключения, если сервер знает что данный запрос имеет Connection: close, то меньше оснований chunked кодировку использовать. Верно, что полноценный http клиент ещё тучу вещей должен делать и что по умолчанию следует что-нибудь вроде requests использовать.
    – jfs
    16 сен 2015 в 12:05

1 ответ 1

0

http/1.1 клиенты, которые не поддерживают постоянное подключение (как код в вопросе), обязаны посылать Connection: close заголовок (RFC 2616 14.10):

HTTP/1.1 applications that do not support persistent connections MUST include the "close" connection option in every message.

Вот пример кода, который выполняет POST https запрос, используя socket напрямую.

1
  • jfs, большое Вам спасибо! Добавив этот заголовок, рекурсивно получил все данные страницы до '</body></html>' 15 сен 2015 в 14:31

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.