Вопросы с меткой [aiohttp]

Используйте метку в вопросах по AIOHTTP – асинхронному веб фреймворку на Python asyncio.

Фильтрация
Сортировка
Метки
0 голосов
1 ответ
37 показов

После рассылки происходит ошибка "Unclosed client session"

Пишу бот в который рассылает даты, есть основной файл мейн он работает нормально И есть файл crona.py, он запускается каждый день по времени (использую pythonanywere) Код отрабатывает хорошо, только ...
ironman47's user avatar
0 голосов
0 ответов
16 показов

Как исправить ошибку при подключении прокси ClientProxyConnectionError

Мне нужно парсить много ссылок с высокой скоростью. Для этого я использую aiohttp. Чтобы улучшить производительность я решил подключить прокси. Пробовал разные, платные и бесплатные, с паролем и без ...
Zahar Dimidov's user avatar
0 голосов
0 ответов
40 показов

Скачивание видео по url ссылке

Бьюсь третий день, не могу понять, в чем проблема. Вот куски кода бота телеграмм, который должен скачивать видео по url-ссылке с файлообменника (files.fm). Я знаю, что проблема именно в этих кусках ...
Алексей Барышев's user avatar
0 голосов
1 ответ
19 показов

Отправка cookies aiphttp

Подскажите, пожалуйста. Что я делаю не так. уже 3 дня голову ломаю, не могу понять почему кукисы не отправляются. Перешёл на fastAPI. Проверил это дело через обычный request. Принимает, отправляет. Но ...
TASTYTORT's user avatar
0 голосов
0 ответов
17 показов

Ускорение парсера animebuff

Я сейчас работаю над асинхронным парсером для animebuff, но столкнулся с проблемой скорости сбора данных парсера(это может затянуться до нескольких минут от 15 до 20 вроде, а может и больше). Хотел ...
The Fallen Angel's user avatar
0 голосов
0 ответов
43 показа

Отправка cookies на сервер через aiohttp

Возникла проблема с отправкой кукисов на сервер. сразу скажу, вероятно, ошибка в том, что я пытаюсь отправить кукисы через aiohttp, а сервер же принимает это всё через обычный flask.request. Но я в ...
TASTYTORT's user avatar
0 голосов
0 ответов
51 показ

Ускорение парсинга с помощью asyncio

мне нужно как то ускорить парсинг до 3 сек. возможно ли это? там 3000 объявлений по 1000 по 3 категориям import aiohttp import json import time import asyncio headers = { "User-Agent": &...
Улукман's user avatar
0 голосов
0 ответов
19 показов

Сайт отдает неверную разметку. Python, aiohttp

Нужно спарсить интернет-магазин. Получаю название товара, ссылку на картинку, но не могу понять, почему в браузере я вижу блок div с классом, в котором лежат размеры, но когда я делаю запрос с кода, ...
Printon's user avatar
  • 95
0 голосов
0 ответов
26 показов

Варнинг телеграм бота/парсера о незакрытой сессии

Как избавиться от данного варнинга? Варнинг: Unclosed client session client_session: <aiohttp.client.ClientSession object at 0x0000023A0B07EA90> Unclosed connector connections: ['[(<aiohttp....
Almas Kassymkhan's user avatar
0 голосов
0 ответов
63 показа

Aiohttp.ClientSession проблема при работе с большим количеством запросов через proxy

Я создаю большое количество сессий aiohttp.ClientSession и отправляю запросы через http-proxy. Пример кода прикладываю Все работает корректно, до того момента , как я пытаюсь одновременно отправить ...
leshalesha_'s user avatar
0 голосов
0 ответов
38 показов

Как обойти ограничение post запросов на wordpress

Я обновляю alt в изображениях в WordPress через свой скрипт на python. Изображений много, но на сайте стоит ограничение в 60 запросов в минуту, у меня на каждую картинку уходит по 2 запроса. После ...
Kelpie's user avatar
  • 1
0 голосов
0 ответов
38 показов

Помогите получить данные из сокета

Здраствуйте, уже несколько дней ломаю голову с тем, как достать данные из сокета. Задача следующая - получать котировки. На сайте нашел сокет из которого приходят данные. Остается подключится к нему ,...
Alex's user avatar
  • 11
0 голосов
0 ответов
80 показов

Таймаут установления запроса aiohttp python

При отправке запроса только методом iohttp.ClientSession.get или обернутым в asyncio.as_completed или asyncio.gather к недоступному или очень медленному серверу (устройства работающие через gprs) или ...
Игорь Огурцов's user avatar
1 голос
0 ответов
90 показов

Python aiohttp, не работает подключение через VPN

Написал скрипт, который парсит медиа и загружает. Асинхронный и синхронный варианты. В синхронном использую requests. В асинхронном aiohttp, asyncio и aiofiles соответственно. Проблема в том, что я, ...
deatsin's user avatar
  • 11
1 голос
1 ответ
80 показов

Ускорение парсера на питоне

Я решил переделать асинхронный парсер с нуля. Убрал всё что мешало, а именно bs4 и заменил его на lxml(Xpath). Работа моего парсера заключается в сборе данных с сайта animedia, но пока для теста я ...
Red Fox's user avatar
  • 77
0 голосов
1 ответ
54 показа

Как отправить решеную капчу на сервер vk python

пишу скрипт на python используя aiohttp и vk api. async with aiohttp.ClientSession() as session: while True: async with session.get(f'https://api.vk.com/method/{method}?user_id=1&...
user550218's user avatar
0 голосов
0 ответов
223 показа

Как обойти отклонение сетевого подключения при множестве запросов

У меня есть однопоточный http сервер на python (HTTPServer из встроенной либы), на который приходят запросы. На сервере при обработке запроса стоит time.sleep(2), сервер заполняет очередь запросов для ...
Skyman2413's user avatar
0 голосов
0 ответов
187 показов

Использование прокси в aiohttp

Друзья, возник вопрос. Использую документацию , хочу отправлять запросы с разных адресов. Получился следующий код import asyncio import aiohttp sites = [ 'https://ifconfig.me/ip', 'https://...
SelectionForCollection's user avatar
0 голосов
0 ответов
66 показов

Как ограничить число запросов к серверу или прикрутить очередь к таскам?

Хочу скачать видео, которое отдается кусками файлами .ts. При обычном синхронном скачивании все скачивается норм, но каждый кусок скачивается секунды 3, что при большом количество кусков слишком долго....
P1t's user avatar
  • 1
0 голосов
0 ответов
32 показа

при парсинге бот отвечает с огромной задержкой

сделал пару функций на получение курса валюты код: from app.bot import handler from other_cmd import digit, digit_convert, number_to_emoji from bs4 import BeautifulSoup import aiohttp from decimal ...
blinchikdev's user avatar
0 голосов
0 ответов
29 показов

При парсинге валюты бот останавливается

Написал парсинг курсов валюты на aiohttp для своего бота на Python. При вводе команды 'биржа' оно выводит эти данные, но если ввести еще раз в консоль выводит: «Killed». Код: from app.bot import ...
blinchikdev's user avatar
0 голосов
1 ответ
215 показов

Python: Асинхронные HTTP запросы на N url`s

Мне необходимо получить данные с 8 url Как я это делаю синхронно: urls = [ 'example.com', 'example.com', 'example.com', ... ] for url in urls: req += json.loads(requests.get(url)....
Armen Saakyan's user avatar
0 голосов
1 ответ
198 показов

aiogram с webhook не завершат Task при ошибке

Есть телеграмм бот который стабильно работает на polling. Решил переехать на webhook вроде все настроил, но ловлю такой баг. Если возникает любое исключение, например: MessageNotModified Бот просто ...
Илья's user avatar
0 голосов
1 ответ
29 показов

Python отправить фотографию в чат из альбома

Я пытаюсь отправить фотографию из альбома, можете на примере показать как это сделать пожалуйста @command(name="тест") async def upload_photo(self, server, *urls): try: async ...
Артём Смирнов's user avatar
0 голосов
0 ответов
51 показ

Почему не получается отправить асинхронный запрос?

вот мой код: async def take_xml(): async with aiohttp.ClientSession() as session: for i in wallets: wall = i.split(";") login = wall[0] password = wall[1]....
Excellent's user avatar
0 голосов
0 ответов
33 показа

Как можно «передать» команду с одного бота на другого?

Доброе утро! Есть ли возможность реализовать передачу команды с одного бота на другой? Допустим, бот для администраторов А получил команду оповещения, и должен ее передать боту В, для того чтобы это ...
Arthur Langley-Reddle's user avatar
0 голосов
1 ответ
105 показов

Как завершить дочерние процессы запущенные запросом в асинхронном коде?

Веб-сервер при получении get запроса запускает три процесса. Задача заключается в корректном завершении дочерних процессов при получении сигнала SIGTERM в главном процессе (ctrl+C, завершить процесс в ...
Хачатур Саркисян's user avatar
0 голосов
0 ответов
74 показа

Зависает асинхронный парсер на первом запросе

Написал скрипт для парсинга сайта с прокси, но на первом же запросе он встаёт намертво, хотя если просто вывести переменную soup, удалив ещё 23 строчку всё работает прекрасно. Не подскажите в чём ...
Kwuuuwh's user avatar
0 голосов
0 ответов
89 показов

Асинхронный подход к бд python работает хуже, чем синхронный

Следующий вопрос по поводу асинхронной работы API: Есть функция API, которая отдает все устройства по конкретному пользователю: api_methods.py async def unpacking_plc(data): json_answer = {} ...
IATWUkS's user avatar
1 голос
1 ответ
121 показ

Почему не работают асинхронные запросы aiohttp Python?

Суть: у меня есть код с асинхронными запросами. async def parsing(session, url): async with session.get(url=url) as response: response_text = await response.text() colors = ['...
user avatar
0 голосов
0 ответов
270 показов

Как решить проблему: aiohttp + asyncio = TypeError: Constructor parameter should be str

Я новичок и пытаюсь получить коды ответов сайта. Удалось реализовать через requests, но это занимает много времени, чтобы получить около 10 000 страниц. Я пытаюсь сделать асинхронный метод, но получаю ...
Levon's user avatar
  • 1
-1 голос
1 ответ
93 показа

Как подключить Proxy в Python для парсинга с asyncio?

Всем привет. Такой фрагмент кода: import aiohttp import asyncio async def get_market_price(session: aiohttp.ClientSession, crypto: str): async with session.get('https://link.ru/users') as ...
Pro Task's user avatar
  • 187
0 голосов
0 ответов
32 показа

Asyncio. Как указать параметр phone?

Как правильно передать значение phone в базу данных(в ответе значения phone нет)? def get_tasks(session): tasks = [] for i in some_one_info: global phone phone = int(i) ...
Excellent's user avatar
0 голосов
1 ответ
48 показов

Как ускорить метод в asyncio и что он делает в python?

ncalls tottime percall cumtime percall filename:lineno(function) 1848 11.927 0.006 11.927 0.006 {built-in method _overlapped.GetQueuedCompletionStatus} Я вывел сколько у меня по ...
RuCatST's user avatar
0 голосов
0 ответов
59 показов

Как использовать limit_per_host в aiohttp?

У меня есть такой код: async def main(): with open('urls.txt', 'r') as urls: tasks = [] connector = aiohttp.TCPConnector(limit_per_host=10) for url in urls: ...
Maxwell's user avatar
0 голосов
0 ответов
103 показа

aiohttp ошибка после нескольких запросов

недавно начал знакомство с асихронностью и aiohttp соответственно и вот первое застревание. Первые 10 запросов работает, а потом вываливается ошибка "aiohttp.client_exceptions....
Artem Filippov's user avatar
0 голосов
0 ответов
116 показов

Python, асинхронный веб-парсинг. Парсит только одну страницу

parse_hotels.py import asyncio import aiohttp import time start_time = time.time() async def get_page_data(session, page_id: int) -> str: url = f'https://101hotels.com/main/cities/sochi?...
void's user avatar
  • 1
1 голос
0 ответов
287 показов

ClientConnectorError NetworkError OSError при использовании aiogram

С сегодняшнего дня при запуске всех моих проектов с локального ПК получаю ошибки соединения. Проект либо не запускается, либо после запуска очень долго работает, хэндлеры ловят сообщения спустя ...
Max Chupin's user avatar
0 голосов
0 ответов
60 показов

<Response [429]> от Instagram при запросе через requests/aiohttp

При попытке получить ответ от сервера по данному url: https://www.instagram.com/{username}/ получаю ограничение от сервера в виде <Response [429]> Too many requests. При попытке получить ответ ...
imp's user avatar
  • 11
0 голосов
0 ответов
25 показов

Python Aiohttp for mobile application

Всем привет! Попросили написать моб. приложение с использованием Python aiohttp вместо blacksheep. А также подключить PostgreSQL. С БД вроде разобрался. Но что-то в голову совсем не приходит с aiohttp....
Антон Романенко's user avatar
0 голосов
0 ответов
35 показов

Использование MEMCACHED

Хочу запустить код из офф документации aiocache, но выходит ошибка. Подскажите в чем дело. Сам код: import asyncio from aiocache import Cache import aiomcache loop = asyncio.get_event_loop() cache =...
Николай's user avatar
0 голосов
0 ответов
100 показов

PyCharm не видит aiogram, aiohttp и ещё некоторые библиотеки

На днях обновил PyCharm до последней версии 2022.2.1 и и он перестал видеть библиотеки aiogram, aiohttp. Не работает только подсветка кода, при запуске кода всё работает нормально, без ошибок и ...
Neverniy's user avatar
0 голосов
0 ответов
52 показа

Ошибка HTTP запроса в Python

Всем привет. Прошу помочь. Использую aiohttp для выполнения запроса к api telegram асинхронно. Запрос выполняется на моем сервере Fastapi (python) async def send_telegram(bot, chat, teledata): url ...
Lal Qarğa's user avatar
0 голосов
0 ответов
296 показов

Как пофиксить 403 ошибку?

парсил ozon, но не могу спарсить сам товар. Когда перехожу по ссылке, где указан весь json с информацией о товаре, выдаёт 403 ошибку. Ошибка: <ClientResponse(https://www.ozon.ru/api/composer-api.bx/...
user avatar
0 голосов
0 ответов
75 показов

Как ускорить асинхронный парсер?

import asyncio import json import aiohttp from openpyxl import Workbook headers = { 'Accept': '*/*', 'Accept-Language': 'en,en-US;q=0.9,ru-RU;q=0.8,ru;q=0.7', 'Connection': 'keep-alive', ...
RuCatST's user avatar
0 голосов
2 ответа
663 показа

Aiohttp + aiogram

Мне нужно запустить aiohttp сервер, одновременно с aiogram. Если выкидываю в другой поток, то RuntimeError: set_wakeup_fd only works in main thread of the main interpreter
xllwhoami's user avatar
0 голосов
1 ответ
795 показов

Как совместить работу aiohttp с aioschedule и aiogram

Пишу телеграм бота на aiogram, одна из его функций - показывать баланс моих аккаунтов с market.csgo.com. Функция работает в асинхронном режиме, отправляются запросы к API и выводится информация через ...
krubsburger's user avatar
0 голосов
0 ответов
105 показов

Как извлечь json при парсинге?

Хотел спарсить wildberries с помощью asyncio. Проблема в том, что когда использовал requests и извлекал json (requests.get(link).json()), всё было хорошо, json извлекался. Стал использовать asyncio и ...
user avatar
0 голосов
2 ответа
100 показов

Ошибка в создании тасков asyncio python3.10 [закрыт]

Изучаю асинхронность в питоне. Очень сложная для меня тема. Есть такой код, который парсит магазин кроссовок и складывает данные в .json файл. В синхронном стиле все работает, но оооочень долго. Решил ...
Dursinear's user avatar
0 голосов
1 ответ
36 показов

Проблема с пустым ответом python

Есть асинхронная функция, которая отправляет запросы через API. Мне нужно делать проверку на пустой ответ, но почему-то при print(html_3['items'] is None) пишет False, хотя в ответе пустота. В чем ...
krubsburger's user avatar