2

Необходимо пройтись по чатам группам и каналам и спарсить сообщения и детали этих групп/ каналов и т.д

Проблема заключается в том, что для получения деталей групп, имеется некоторый лимит на аккаунт, после превышения лимита, нельзя получить информацию из других групп на сутки.

Отсюда выходит, что нужно использовать несколько аккаунтов. В качестве библиотеки использую Telethon.

def create_client(number):
    client = TelegramClient(number, api_id, api_hash)
    client.start()

def main():
    load_numbers(filename_numbers)
    load_excel(filename_excel)
    with ThreadPoolExecutor(8) as executor:
        for _ in executor.map(create_client, numbers):
            pass
  1. Мы загружаем из текстового файла список телефонов.
  2. Создаем количество потоков (в данном случае до 8) и передаем название метода и список телефонов.

  3. Должен создаться пул потоков (2, так 2 телефона в списке), которые должны создать соединение. Но выкидывает ошибку:

    Traceback (most recent call last): File "D:/Git/telegram/telegram_new.py", line 149, in main() File "D:/Git/telegram/telegram_new.py", line 65, in main for _ in executor.map(create_client, numbers): File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 586, in result_iterator yield fs.pop().result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 425, in result return self.get_result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 384, in __get_result raise self._exception File "C:\ProgramData\Anaconda3\lib\concurrent\futures\thread.py", line 57, in run result = self.fn(*self.args, **self.kwargs) File "D:/Git/telegram/telegram_new.py", line 58, in create_client client = TelegramClient(number, api_id, api_hash) File "C:\ProgramData\Anaconda3\lib\site-packages\telethon\client\telegrambaseclient.py", line 171, in __init self._loop = loop or asyncio.get_event_loop() File "C:\ProgramData\Anaconda3\lib\asyncio\events.py", line 644, in get_event_loop % threading.current_thread().name) RuntimeError: There is no current event loop in thread 'ThreadPoolExecutor-0_0'

Что я делаю не так? (P.S. Отредактируйте вставленный код, он у меня не редактируется)

Update:

loop = asyncio.get_event_loop()
with ThreadPoolExecutor(count_thread) as pool:
    conn = aiohttp.TCPConnector(ssl=False)
    # Создаём клиентскую сессию
    async with aiohttp.ClientSession(connector=conn) as client:
        # Создаём корневую футуру
        initial_future = loop.create_future()
        # Помещаем в неё ссылки, с которых начнём парсить
        initial_future.set_result(root_urls)
        # Передаём эту футуру в сопрограмму обхода ссылок
        # вместе с пулом потоков и клиентской сессией
        await crawl(initial_future, client, pool)
11
  • Зачем вам многопоточность, если telethon асинхронный?
    – andreymal
    22 дек 2018 в 15:46
  • @andreymal по вашему мнению нельзя асинхронные засунуть в отдельные потоки? Смотрите код
    – danilshik
    22 дек 2018 в 15:50
  • Можно конечно, но на вопрос вы не ответили — зачем? Асинхронщина для того и существует, чтобы можно было выполнять много задач в одном потоке
    – andreymal
    22 дек 2018 в 15:51
  • @andreymal чтобы быстрее обрабатывать программу, так как даже во время отправки запросов, сначала притормаживается на 27 секунд потом, на 40с, а потом на сутки. В это время мы можем от другого аккаунта делать запросы, не?
    – danilshik
    22 дек 2018 в 15:52
  • О каких притормаживаниях речь?
    – andreymal
    22 дек 2018 в 15:52

1 ответ 1

1

Я столкнулся с подобной ситуацией. Заранее скажу, что меня несколько смущает "упаковка" вызова async методов в отдельный loop и проблему нужно решать иначе. Однако, отвечая на ваш вопрос, мне показался полезным вот этот пример.

Мысль в том, чтобы создать еще один loop и в нем выполнить async метод, в котором вызывать await методы.

import asyncio

def func(message):
    async def main(key):
        loop = asyncio.get_event_loop()

        client = client(key)
        await client.do_something()

        # Не забывайте разблокировать бд!
        await client.disconnect()

    # Создание нового loop
    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)
    loop = asyncio.get_event_loop()

    loop.run_until_complete(main('key'))
    loop.close()    

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.