Вот мой код :
# _*_ coding: utf-8 _*_
import os
import time
from threading import Thread, current_thread
import requests
from Queue import Queue
from bs4 import BeautifulSoup
domain_file = "domains.txt"
domain_temp = "temp"
theard_count = 15
def check_url(host):
try:
url = requests.get('https://www.alexa.com/minisiteinfo/' + host + '')
code = url.status_code
url.text
soup = BeautifulSoup(url.text, 'html.parser').table.a.get_text()
i = soup.replace(',', '')
rank = int(i.strip(" "))
print(rank)
if rank > 0:
return True, rank
except:
return False
return False
def run(queue, result_queue):
# Цикл продолжается пока очередь задач не станет пустой
while not queue.empty():
# получаем первую задачу из очереди
host = queue.get_nowait()
# проверяем URL
status = check_url(host)
# сохраняем результат для дальнейшей обработки
result_queue.put_nowait((status, host))
# сообщаем о выполнении полученной задачи
queue.task_done()
print '{} finished. Result = {}'.format(host, status)
def main():
start_time = time.time()
# Для получения задач и выдачи результата используем очереди
queue = Queue()
result_queue = Queue()
fr_success = os.path.join(domain_temp, "req-good.txt")
fr_errors = os.path.join(domain_temp, "req-error.txt")
# Сначала загружаем все URL из файла в очередь задач
with open(domain_file) as f:
for line in f:
queue.put(line.strip())
# Затем запускаем необходимое количество потоков
for i in range(theard_count):
thread = Thread(target=run, args=(queue, result_queue))
thread.daemon = True
thread.start()
# И ждем, когда задачи будут выполнены
queue.join()
# После чего пишем результаты в файлы
with open(fr_success, 'w') as fs, open(fr_errors, 'w') as fe:
while not result_queue.empty():
status, host = result_queue.get_nowait()
if status:
f = fs
else:
f = fe
f.write(host)
f.write('\n')
print time.time() - start_time
if __name__ == '__main__':
main()
Как записать результат в файл в таком формате: google.com - 1 "где 1 это ранг" ?