-2

Нужно ускорить скрипт на питоне с циклом for

Пример:

file = open('file.txt')
lines = file.readlines()
def just():
  for line in lines:
    line = line.strip()
    data = {'something': line}
    session = requests.Session()
    get = session.get(url)
    #something
    post = session.post(url, data=data)
    print(line+' - done.')
    output = open(line+'.txt', 'w', encoding='utf-8')
    output.write(post.text)
    output.close()

Как сделать чтобы это работало параллельно и как минимум в 50 раз быстрее чем в один поток?

2
  • а где вы url берете
    – danilshik
    31 июл 2018 в 17:32
  • и что хранится в качестве параметра something
    – danilshik
    31 июл 2018 в 17:34

2 ответа 2

1

На скорую руку, скорее всего где нибудь есть ошибки.

from concurrent.futures import ThreadPoolExecutor
count_thread = 10

def start_thread():
    with ThreadPoolExecutor(count_thread) as executor:
        for _ in executor.map(just, lines):
            pass

def just(line):  
    line = line.strip()
    data = {'something': line}
    session = requests.Session()
    get = session.get(url)
    #something
    post = session.post(url, data=data)
    print(line+' - done.')
    output = open(line+'.txt', 'w', encoding='utf-8')
    output.write(post.text)
    output.close()

if __name__ == "__main__":
    file = open('file.txt')
    lines = file.readlines()
    start_thread()

Только вопрос: зачем сохранять на жесткий диск, если можно обрабатывать сразу?

7
  • Если вам помог мой ответ, поставьте галочку
    – danilshik
    31 июл 2018 в 17:41
  • Попробовал, начинается быстро, но в итоге постепенно замедляется. В чем может быть проблема?
    – tellst1
    31 июл 2018 в 22:53
  • Основная проблема, это отправка и получение запроса, в связи с этим вы не можете увеличить скорость отправки запросов. Все таки библиотека request - синхронная, т.е запросы отправляются по очереди. Чтобы обойти это ограничение, необходимо использовать асинхронные библиотеки, например aiohttp и asyncio
    – danilshik
    1 авг 2018 в 4:39
  • Только тогда, возможно вы повысите скорость парсинга. Но в 50 раз этого точно не будет
    – danilshik
    1 авг 2018 в 4:42
  • А вообще хоть какой-то прирост был?
    – danilshik
    1 авг 2018 в 4:42
0

С помощью библиотеки asyncio и aiohttp

import asyncio
import aiohttp

sem = asyncio.Semaphore(10)

url = 'https://www.yandex.ru/'

async def request_get(client, url, limit):
    while True:
        try:
            with(await limit):
                async with client.get(url) as r:
                    print(r.status)
                    return await r.text()
        except aiohttp.client_exceptions.ServerDisconnectedError:
            print()

async def request_post(client, line, limit):
    data = {'something': line}
    while True:
        try:
            with(await limit):
                async with client.get(url) as r:
                    print(r.status)
                    return await r.text()
        except aiohttp.client_exceptions.ServerDisconnectedError:
            print()

async def start(lines):
    """
    Создет группу сопрограмм и ожидает их завершения
    """
    # создаем экземпляр клиента
    async with aiohttp.ClientSession() as client:
        # создаем корутины
        coroutines = [just(client, line) for line in lines]
        completed, pending = await asyncio.wait(coroutines)
        for item in completed:
            item.result()

def parse_lines():
    file = open('file.txt')
    lines = file.readlines()
    return lines

#Основной метод
async def just(clien, line):
    line = line.strip()
    data = {'something': line}
    get = await request_get(clien, url, sem)
    post = await request_post(clien, line, sem)
    print(line+' - done.')
    output = open(line + '.txt', 'w', encoding='utf-8')
    output.write(post)
    output.close()

if __name__ == "__main__":
    lines = parse_lines()
    event_loop = asyncio.get_event_loop()

    try:
        # запуск цикла  обработки событий
        event_loop.run_until_complete(start(lines))
    finally:
        # обязательно закрываем
        event_loop.close()

Огромная просьба, напишите количество line, и время выполнения вашего и двух моих ответов, ради сравнения

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.