Вопросы с меткой [aiohttp]
Используйте метку в вопросах по AIOHTTP – асинхронному веб фреймворку на Python asyncio.
158
вопросов
0
голосов
1
ответ
37
показов
После рассылки происходит ошибка "Unclosed client session"
Пишу бот в который рассылает даты, есть основной файл мейн он работает нормально
И есть файл crona.py, он запускается каждый день по времени (использую pythonanywere)
Код отрабатывает хорошо, только ...
0
голосов
0
ответов
16
показов
Как исправить ошибку при подключении прокси ClientProxyConnectionError
Мне нужно парсить много ссылок с высокой скоростью. Для этого я использую aiohttp.
Чтобы улучшить производительность я решил подключить прокси. Пробовал разные, платные и бесплатные, с паролем и без ...
0
голосов
0
ответов
40
показов
Скачивание видео по url ссылке
Бьюсь третий день, не могу понять, в чем проблема. Вот куски кода бота телеграмм, который должен скачивать видео по url-ссылке с файлообменника (files.fm). Я знаю, что проблема именно в этих кусках ...
0
голосов
1
ответ
19
показов
Отправка cookies aiphttp
Подскажите, пожалуйста. Что я делаю не так. уже 3 дня голову ломаю, не могу понять почему кукисы не отправляются.
Перешёл на fastAPI. Проверил это дело через обычный request. Принимает, отправляет.
Но ...
0
голосов
0
ответов
17
показов
Ускорение парсера animebuff
Я сейчас работаю над асинхронным парсером для animebuff, но столкнулся с проблемой скорости сбора данных парсера(это может затянуться до нескольких минут от 15 до 20 вроде, а может и больше). Хотел ...
0
голосов
0
ответов
43
показа
Отправка cookies на сервер через aiohttp
Возникла проблема с отправкой кукисов на сервер.
сразу скажу, вероятно, ошибка в том, что я пытаюсь отправить кукисы через aiohttp, а сервер же принимает это всё через обычный flask.request. Но я в ...
0
голосов
0
ответов
51
показ
Ускорение парсинга с помощью asyncio
мне нужно как то ускорить парсинг до 3 сек. возможно ли это? там 3000 объявлений по 1000 по 3 категориям
import aiohttp
import json
import time
import asyncio
headers = {
"User-Agent": &...
0
голосов
0
ответов
19
показов
Сайт отдает неверную разметку. Python, aiohttp
Нужно спарсить интернет-магазин. Получаю название товара, ссылку на картинку, но не могу понять, почему в браузере я вижу блок div с классом, в котором лежат размеры, но когда я делаю запрос с кода, ...
0
голосов
0
ответов
26
показов
Варнинг телеграм бота/парсера о незакрытой сессии
Как избавиться от данного варнинга?
Варнинг:
Unclosed client session
client_session: <aiohttp.client.ClientSession object at 0x0000023A0B07EA90>
Unclosed connector connections: ['[(<aiohttp....
0
голосов
0
ответов
63
показа
Aiohttp.ClientSession проблема при работе с большим количеством запросов через proxy
Я создаю большое количество сессий aiohttp.ClientSession и отправляю запросы через http-proxy.
Пример кода прикладываю
Все работает корректно, до того момента , как я пытаюсь одновременно отправить ...
0
голосов
0
ответов
38
показов
Как обойти ограничение post запросов на wordpress
Я обновляю alt в изображениях в WordPress через свой скрипт на python. Изображений много, но на сайте стоит ограничение в 60 запросов в минуту, у меня на каждую картинку уходит по 2 запроса. После ...
0
голосов
0
ответов
38
показов
Помогите получить данные из сокета
Здраствуйте, уже несколько дней ломаю голову с тем, как достать данные из сокета. Задача следующая - получать котировки. На сайте нашел сокет из которого приходят данные.
Остается подключится к нему ,...
0
голосов
0
ответов
80
показов
Таймаут установления запроса aiohttp python
При отправке запроса только методом iohttp.ClientSession.get или обернутым в asyncio.as_completed или asyncio.gather к недоступному или очень медленному серверу (устройства работающие через gprs) или ...
1
голос
0
ответов
90
показов
Python aiohttp, не работает подключение через VPN
Написал скрипт, который парсит медиа и загружает. Асинхронный и синхронный варианты. В синхронном использую requests. В асинхронном aiohttp, asyncio и aiofiles соответственно.
Проблема в том, что я, ...
1
голос
1
ответ
80
показов
Ускорение парсера на питоне
Я решил переделать асинхронный парсер с нуля. Убрал всё что мешало, а именно bs4 и заменил его на lxml(Xpath). Работа моего парсера заключается в сборе данных с сайта animedia, но пока для теста я ...
0
голосов
1
ответ
54
показа
Как отправить решеную капчу на сервер vk python
пишу скрипт на python используя aiohttp и vk api.
async with aiohttp.ClientSession() as session:
while True:
async with session.get(f'https://api.vk.com/method/{method}?user_id=1&...
0
голосов
0
ответов
223
показа
Как обойти отклонение сетевого подключения при множестве запросов
У меня есть однопоточный http сервер на python (HTTPServer из встроенной либы), на который приходят запросы. На сервере при обработке запроса стоит time.sleep(2), сервер заполняет очередь запросов для ...
0
голосов
0
ответов
187
показов
Использование прокси в aiohttp
Друзья, возник вопрос.
Использую документацию , хочу отправлять запросы с разных адресов.
Получился следующий код
import asyncio
import aiohttp
sites = [
'https://ifconfig.me/ip',
'https://...
0
голосов
0
ответов
66
показов
Как ограничить число запросов к серверу или прикрутить очередь к таскам?
Хочу скачать видео, которое отдается кусками файлами .ts. При обычном синхронном скачивании все скачивается норм, но каждый кусок скачивается секунды 3, что при большом количество кусков слишком долго....
0
голосов
0
ответов
32
показа
при парсинге бот отвечает с огромной задержкой
сделал пару функций на получение курса валюты
код:
from app.bot import handler
from other_cmd import digit, digit_convert, number_to_emoji
from bs4 import BeautifulSoup
import aiohttp
from decimal ...
0
голосов
0
ответов
29
показов
При парсинге валюты бот останавливается
Написал парсинг курсов валюты на aiohttp для своего бота на Python. При вводе команды 'биржа' оно выводит эти данные, но если ввести еще раз в консоль выводит: «Killed».
Код:
from app.bot import ...
0
голосов
1
ответ
215
показов
Python: Асинхронные HTTP запросы на N url`s
Мне необходимо получить данные с 8 url
Как я это делаю синхронно:
urls = [
'example.com',
'example.com',
'example.com',
...
]
for url in urls:
req += json.loads(requests.get(url)....
0
голосов
1
ответ
198
показов
aiogram с webhook не завершат Task при ошибке
Есть телеграмм бот который стабильно работает на polling.
Решил переехать на webhook вроде все настроил, но ловлю такой баг.
Если возникает любое исключение, например:
MessageNotModified
Бот просто ...
0
голосов
1
ответ
29
показов
Python отправить фотографию в чат из альбома
Я пытаюсь отправить фотографию из альбома, можете на примере показать как это сделать пожалуйста
@command(name="тест")
async def upload_photo(self, server, *urls):
try:
async ...
0
голосов
0
ответов
51
показ
Почему не получается отправить асинхронный запрос?
вот мой код:
async def take_xml():
async with aiohttp.ClientSession() as session:
for i in wallets:
wall = i.split(";")
login = wall[0]
password = wall[1]....
0
голосов
0
ответов
33
показа
Как можно «передать» команду с одного бота на другого?
Доброе утро!
Есть ли возможность реализовать передачу команды с одного бота на другой? Допустим, бот для администраторов А получил команду оповещения, и должен ее передать боту В, для того чтобы это ...
0
голосов
1
ответ
105
показов
Как завершить дочерние процессы запущенные запросом в асинхронном коде?
Веб-сервер при получении get запроса запускает три процесса. Задача заключается в корректном завершении дочерних процессов при получении сигнала SIGTERM в главном процессе (ctrl+C, завершить процесс в ...
0
голосов
0
ответов
74
показа
Зависает асинхронный парсер на первом запросе
Написал скрипт для парсинга сайта с прокси, но на первом же запросе он встаёт намертво, хотя если просто вывести переменную soup, удалив ещё 23 строчку всё работает прекрасно.
Не подскажите в чём ...
0
голосов
0
ответов
89
показов
Асинхронный подход к бд python работает хуже, чем синхронный
Следующий вопрос по поводу асинхронной работы API:
Есть функция API, которая отдает все устройства по конкретному пользователю:
api_methods.py
async def unpacking_plc(data):
json_answer = {}
...
1
голос
1
ответ
121
показ
Почему не работают асинхронные запросы aiohttp Python?
Суть: у меня есть код с асинхронными запросами.
async def parsing(session, url):
async with session.get(url=url) as response:
response_text = await response.text()
colors = ['...
0
голосов
0
ответов
270
показов
Как решить проблему: aiohttp + asyncio = TypeError: Constructor parameter should be str
Я новичок и пытаюсь получить коды ответов сайта. Удалось реализовать через requests, но это занимает много времени, чтобы получить около 10 000 страниц. Я пытаюсь сделать асинхронный метод, но получаю ...
-1
голос
1
ответ
93
показа
Как подключить Proxy в Python для парсинга с asyncio?
Всем привет. Такой фрагмент кода:
import aiohttp
import asyncio
async def get_market_price(session: aiohttp.ClientSession, crypto: str):
async with session.get('https://link.ru/users') as ...
0
голосов
0
ответов
32
показа
Asyncio. Как указать параметр phone?
Как правильно передать значение phone в базу данных(в ответе значения phone нет)?
def get_tasks(session):
tasks = []
for i in some_one_info:
global phone
phone = int(i)
...
0
голосов
1
ответ
48
показов
Как ускорить метод в asyncio и что он делает в python?
ncalls tottime percall cumtime percall filename:lineno(function)
1848 11.927 0.006 11.927 0.006 {built-in method _overlapped.GetQueuedCompletionStatus}
Я вывел сколько у меня по ...
0
голосов
0
ответов
59
показов
Как использовать limit_per_host в aiohttp?
У меня есть такой код:
async def main():
with open('urls.txt', 'r') as urls:
tasks = []
connector = aiohttp.TCPConnector(limit_per_host=10)
for url in urls:
...
0
голосов
0
ответов
103
показа
aiohttp ошибка после нескольких запросов
недавно начал знакомство с асихронностью и aiohttp соответственно и вот первое застревание.
Первые 10 запросов работает, а потом вываливается ошибка "aiohttp.client_exceptions....
0
голосов
0
ответов
116
показов
Python, асинхронный веб-парсинг. Парсит только одну страницу
parse_hotels.py
import asyncio
import aiohttp
import time
start_time = time.time()
async def get_page_data(session, page_id: int) -> str:
url = f'https://101hotels.com/main/cities/sochi?...
1
голос
0
ответов
287
показов
ClientConnectorError NetworkError OSError при использовании aiogram
С сегодняшнего дня при запуске всех моих проектов с локального ПК получаю ошибки соединения. Проект либо не запускается, либо после запуска очень долго работает, хэндлеры ловят сообщения спустя ...
0
голосов
0
ответов
60
показов
<Response [429]> от Instagram при запросе через requests/aiohttp
При попытке получить ответ от сервера по данному url: https://www.instagram.com/{username}/ получаю ограничение от сервера в виде <Response [429]> Too many requests.
При попытке получить ответ ...
0
голосов
0
ответов
25
показов
Python Aiohttp for mobile application
Всем привет!
Попросили написать моб. приложение с использованием Python aiohttp вместо blacksheep.
А также подключить PostgreSQL. С БД вроде разобрался. Но что-то в голову совсем не приходит с aiohttp....
0
голосов
0
ответов
35
показов
Использование MEMCACHED
Хочу запустить код из офф документации aiocache, но выходит ошибка. Подскажите в чем дело.
Сам код:
import asyncio
from aiocache import Cache
import aiomcache
loop = asyncio.get_event_loop()
cache =...
0
голосов
0
ответов
100
показов
PyCharm не видит aiogram, aiohttp и ещё некоторые библиотеки
На днях обновил PyCharm до последней версии 2022.2.1 и и он перестал видеть библиотеки aiogram, aiohttp. Не работает только подсветка кода, при запуске кода всё работает нормально, без ошибок и ...
0
голосов
0
ответов
52
показа
Ошибка HTTP запроса в Python
Всем привет. Прошу помочь.
Использую aiohttp для выполнения запроса к api telegram асинхронно. Запрос выполняется на моем сервере Fastapi (python)
async def send_telegram(bot, chat, teledata):
url ...
0
голосов
0
ответов
296
показов
Как пофиксить 403 ошибку?
парсил ozon, но не могу спарсить сам товар. Когда перехожу по ссылке, где указан весь json с информацией о товаре, выдаёт 403 ошибку.
Ошибка:
<ClientResponse(https://www.ozon.ru/api/composer-api.bx/...
0
голосов
0
ответов
75
показов
Как ускорить асинхронный парсер?
import asyncio
import json
import aiohttp
from openpyxl import Workbook
headers = {
'Accept': '*/*',
'Accept-Language': 'en,en-US;q=0.9,ru-RU;q=0.8,ru;q=0.7',
'Connection': 'keep-alive',
...
0
голосов
2
ответа
663
показа
Aiohttp + aiogram
Мне нужно запустить aiohttp сервер, одновременно с aiogram. Если выкидываю в другой поток, то RuntimeError: set_wakeup_fd only works in main thread of the main interpreter
0
голосов
1
ответ
795
показов
Как совместить работу aiohttp с aioschedule и aiogram
Пишу телеграм бота на aiogram, одна из его функций - показывать баланс моих аккаунтов с market.csgo.com. Функция работает в асинхронном режиме, отправляются запросы к API и выводится информация через ...
0
голосов
0
ответов
105
показов
Как извлечь json при парсинге?
Хотел спарсить wildberries с помощью asyncio. Проблема в том, что когда использовал requests и извлекал json (requests.get(link).json()), всё было хорошо, json извлекался. Стал использовать asyncio и ...
0
голосов
2
ответа
100
показов
Ошибка в создании тасков asyncio python3.10 [закрыт]
Изучаю асинхронность в питоне. Очень сложная для меня тема. Есть такой код, который парсит магазин кроссовок и складывает данные в .json файл. В синхронном стиле все работает, но оооочень долго. Решил ...
0
голосов
1
ответ
36
показов
Проблема с пустым ответом python
Есть асинхронная функция, которая отправляет запросы через API. Мне нужно делать проверку на пустой ответ, но почему-то при print(html_3['items'] is None) пишет False, хотя в ответе пустота. В чем ...