1
from multiprocessing.dummy import Pool as ThreadPool
import requests
import random
import time

def func_main(thr):
    time1 = time.time()
    while True:
        proxy_line = proxy_lines[random.randint(1, len(proxy_lines)-1)].strip()
        session = requests.session()
        session.temeout = (5 , 5)
        Adapter = requests.adapters.HTTPAdapter(pool_connections = 1, pool_maxsize = 0, max_retries = 0)
        session.mount('http://', Adapter)
        session.mount('https://', Adapter)
        session.proxies = {
            'http' : proxy_line,
            'https' : proxy_line
        }
        try:
            request = session.post('http://www.yahex.ru/')
            request.close() 
            break
        except Exception as exception:
            #print(exception)
            #print('Thread #' + str(thr + 1) + '|Reconnect|')
            pass
    time2 = time.time() - time1
    global thr_quantity
    thr_quantity = thr_quantity - 1
    print('Thread #' + str(thr + 1) + ' завершил работу|Прокси:' + proxy_line + '|Активных потоков:' + str(thr_quantity) + '|Время выполнения:{:.3f}'.format(time2))
    return()
#*******************************************************************#
with open('C:\\proxy.txt' , 'r', encoding = 'utf-8') as proxy_file:
    proxy_lines = proxy_file.readlines()


class Profiler(object):
    def __enter__(self):
        self._startTime = time.time()

    def __exit__(self, type, value, traceback):
        print("*************************\nВремя выполнения программы : {:.3f} sec".format(time.time() - self._startTime))

thr_quantity = 50   
    with Profiler() as p:
        with ThreadPool(thr_quantity) as pool:
            pool.map(func_main, range(thr_quantity))
            pool.close()

Проблема в следующем: запускаю код выше в 50 потоков, к примеру, 49 потоков выполняются, а на 50-ом потоке всё зависает и поток не выполняется. Либо на последнем виснет, либо на последних 10-ти потоках. Примерно так. Не могу понять в чем причина. На скриншоте ниже показана скорость выполнения потоков. Последний аж 10 минут чем то занимался. Но в большинстве случаев он не завершается. Скорость выполнения последнего потока

3
  • Хочу заметить, что без использования прокси, всё работает корректно, даже в 300 потоков. Только с использованием прокси ловлю залипание нескольких последних потоков.
    – Mr.Twister
    10 апр 2016 в 14:57
  • какая операционная система? тут похоже на лимит tcp соединений
    – eri
    11 апр 2016 в 20:41
  • что происходит, если session.temeout на session.timeout заменить?
    – jfs
    21 мая 2016 в 8:16

1 ответ 1

1

По умолчанию в Windows установлен лимит на 20 tcp-соединений. От этого и получается dead-lock.

Обсуждение https://social.technet.microsoft.com/Forums/windows/en-US/18667011-c034-43bc-ab2e-0e87bf811e5e/windows-7-increase-the-limit-of-concurrent-tcp-connections-not-related-to-eula-file-sharing?forum=w7itpronetworking

На Linux ограничения конектов напрямую нет, но некоторые параметры влияют на их количество.

Обсуждение https://stackoverflow.com/questions/410616/increasing-the-maximum-number-of-tcp-ip-connections-in-linux

6
  • Сделал как вы написали. Увы не помогло.
    – Mr.Twister
    13 апр 2016 в 16:56
  • тоесть если ограничить число потоков до 16 - не помогает?
    – eri
    14 апр 2016 в 8:45
  • Почему именно 16? Я убрал ограничение, как вы подсказали. По сути зависание происходит независимо от количества потоков. Т.е. если я ставлю 20 или 300, в 95% случаев, последние пару потоков не завершают свою работу. Можете запусить код для теста. С одним прокси, либо без прокси все работает. Возможно не приходит ответ от прокси, с которому уже произошло подключение и это становится причиной залипания. Не могу понять, как это предотвратить, ведь requests.timeout, помогает лишь для первоначального соеденения. Если коннект к прокси состоялся, try except, как в моем случае, по ходу не спасает...
    – Mr.Twister
    14 апр 2016 в 9:07
  • я намекал уменьшить количество конектов
    – eri
    14 апр 2016 в 9:14
  • а еще количество конектов может быть ограниченно на серверах
    – eri
    14 апр 2016 в 9:15

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.