Решил попробовать написать код с многопоточностью, но столкнулся с тем, что после выполнения последнего цикла скрипт переходит в вечное ожидание. Как исправить?
queuelock = threading.Lock()
queue = Queue.Queue()
for item in proxyList:
queue.put(item)
while not queue.empty():
queuelock.acquire()
for i in range(max_threads):
my_thread = threading.Thread(target=check,args=(queue,))
my_thread.setDaemon(True)
my_thread.start()
threads.append(my_thread)
for i in threads:
i.join()
queuelock.release()
def check(q):
if not q.empty():
try:
prox = q.get()
proxy = {"https":'https://'+prox}
except: pass
try:
r = requests.get(url,proxies=proxy)
if r.status_code == 200:
print("%s is good"%prox)
good.append(prox)
else:
print(r.status_code)
bad.append(prox)
except Exception as e:
print('bad proxy %s'%prox)
bad.append(prox)
else: pass
check
, выполняемой в потокеmy_thread.daemon = True
вместоmy_thread.setDaemon(True)
. Ваш вариант устарел.