Необходимо пройтись по чатам группам и каналам и спарсить сообщения и детали этих групп/ каналов и т.д
Проблема заключается в том, что для получения деталей групп, имеется некоторый лимит на аккаунт, после превышения лимита, нельзя получить информацию из других групп на сутки.
Отсюда выходит, что нужно использовать несколько аккаунтов. В качестве библиотеки использую Telethon.
def create_client(number):
client = TelegramClient(number, api_id, api_hash)
client.start()
def main():
load_numbers(filename_numbers)
load_excel(filename_excel)
with ThreadPoolExecutor(8) as executor:
for _ in executor.map(create_client, numbers):
pass
- Мы загружаем из текстового файла список телефонов.
Создаем количество потоков (в данном случае до 8) и передаем название метода и список телефонов.
Должен создаться пул потоков (2, так 2 телефона в списке), которые должны создать соединение. Но выкидывает ошибку:
Traceback (most recent call last): File "D:/Git/telegram/telegram_new.py", line 149, in main() File "D:/Git/telegram/telegram_new.py", line 65, in main for _ in executor.map(create_client, numbers): File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 586, in result_iterator yield fs.pop().result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 425, in result return self.get_result() File "C:\ProgramData\Anaconda3\lib\concurrent\futures_base.py", line 384, in __get_result raise self._exception File "C:\ProgramData\Anaconda3\lib\concurrent\futures\thread.py", line 57, in run result = self.fn(*self.args, **self.kwargs) File "D:/Git/telegram/telegram_new.py", line 58, in create_client client = TelegramClient(number, api_id, api_hash) File "C:\ProgramData\Anaconda3\lib\site-packages\telethon\client\telegrambaseclient.py", line 171, in __init self._loop = loop or asyncio.get_event_loop() File "C:\ProgramData\Anaconda3\lib\asyncio\events.py", line 644, in get_event_loop % threading.current_thread().name) RuntimeError: There is no current event loop in thread 'ThreadPoolExecutor-0_0'
Что я делаю не так? (P.S. Отредактируйте вставленный код, он у меня не редактируется)
Update:
loop = asyncio.get_event_loop()
with ThreadPoolExecutor(count_thread) as pool:
conn = aiohttp.TCPConnector(ssl=False)
# Создаём клиентскую сессию
async with aiohttp.ClientSession(connector=conn) as client:
# Создаём корневую футуру
initial_future = loop.create_future()
# Помещаем в неё ссылки, с которых начнём парсить
initial_future.set_result(root_urls)
# Передаём эту футуру в сопрограмму обхода ссылок
# вместе с пулом потоков и клиентской сессией
await crawl(initial_future, client, pool)