1

Необходимо пройтись по чатам группам и каналам и спарсить сообщения и детали этих групп/ каналов и т.д

Проблема заключается в том, что для получения деталей групп, имеется некоторый лимит на аккаунт, после превышения лимита, нельзя получить информацию из других групп на сутки.

Отсюда выходит, что нужно использовать несколько аккаунтов. В качестве библиотеки использую Telethon.

def create_client(number):
    client = TelegramClient(number, api_id, api_hash)
    client.start()

def main():
    load_numbers(filename_numbers)
    load_excel(filename_excel)
    with ThreadPoolExecutor(8) as executor:
        for _ in executor.map(create_client, numbers):
            pass
  1. Мы загружаем из текстового файла список телефонов.
  2. Создаем количество потоков (в данном случае до 8) и передаем название метода и список телефонов.

  3. Должен создаться пул потоков (2, так 2 телефона в списке), которые должны создать соединение. Но выкидывает ошибку:

    Traceback (most recent call last): File "D:/Git/telegram/telegram_new.py", line 149, in main() File "D:/Git/telegram/telegram_new.py", line 65, in main for _ in executor.map(create_client, numbers): File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 586, in result_iterator yield fs.pop().result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 425, in result return self.get_result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 384, in __get_result raise self._exception File "C:\ProgramData\Anaconda3\lib\concurrent\futures\thread.py", line 57, in run result = self.fn(*self.args, **self.kwargs) File "D:/Git/telegram/telegram_new.py", line 58, in create_client client = TelegramClient(number, api_id, api_hash) File "C:\ProgramData\Anaconda3\lib\site-packages\telethon\client\telegrambaseclient.py", line 171, in __init self._loop = loop or asyncio.get_event_loop() File "C:\ProgramData\Anaconda3\lib\asyncio\events.py", line 644, in get_event_loop % threading.current_thread().name) RuntimeError: There is no current event loop in thread 'ThreadPoolExecutor-0_0'

Что я делаю не так? (P.S. Отредактируйте вставленный код, он у меня не редактируется)

Update:

loop = asyncio.get_event_loop()
with ThreadPoolExecutor(count_thread) as pool:
    conn = aiohttp.TCPConnector(ssl=False)
    # Создаём клиентскую сессию
    async with aiohttp.ClientSession(connector=conn) as client:
        # Создаём корневую футуру
        initial_future = loop.create_future()
        # Помещаем в неё ссылки, с которых начнём парсить
        initial_future.set_result(root_urls)
        # Передаём эту футуру в сопрограмму обхода ссылок
        # вместе с пулом потоков и клиентской сессией
        await crawl(initial_future, client, pool)
11
  • Зачем вам многопоточность, если telethon асинхронный?
    – andreymal
    22 дек 2018 в 15:46
  • @andreymal по вашему мнению нельзя асинхронные засунуть в отдельные потоки? Смотрите код
    – danilshik
    22 дек 2018 в 15:50
  • Можно конечно, но на вопрос вы не ответили — зачем? Асинхронщина для того и существует, чтобы можно было выполнять много задач в одном потоке
    – andreymal
    22 дек 2018 в 15:51
  • @andreymal чтобы быстрее обрабатывать программу, так как даже во время отправки запросов, сначала притормаживается на 27 секунд потом, на 40с, а потом на сутки. В это время мы можем от другого аккаунта делать запросы, не?
    – danilshik
    22 дек 2018 в 15:52
  • О каких притормаживаниях речь?
    – andreymal
    22 дек 2018 в 15:52

1 ответ 1

1

Я столкнулся с подобной ситуацией. Заранее скажу, что меня несколько смущает "упаковка" вызова async методов в отдельный loop и проблему нужно решать иначе. Однако, отвечая на ваш вопрос, мне показался полезным вот этот пример.

Мысль в том, чтобы создать еще один loop и в нем выполнить async метод, в котором вызывать await методы.

import asyncio

def func(message):
    async def main(key):
        loop = asyncio.get_event_loop()

        client = client(key)
        await client.do_something()

        # Не забывайте разблокировать бд!
        await client.disconnect()

    # Создание нового loop
    loop = asyncio.new_event_loop()
    asyncio.set_event_loop(loop)
    loop = asyncio.get_event_loop()

    loop.run_until_complete(main('key'))
    loop.close()    

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.