Вопросы с меткой [requests]

Requests — библиотека Python, которая элегантно и просто выполняет HTTP-запросы. Библиотека requests позволяет отправлять HTTP-запросы HEAD, GET, POST, PUT, PATCH и DELETE. Используйте эту метку, если вопрос касается этой библиотеки.

Фильтрация
Сортировка
Метки
-1 голос
0 ответов
13 показов

Как обойти защиту от cloudflare при парсинге сайта? Python, requests

Мне нужно спарсить сайт, но когда хочу получить разметку, я получаю это <!DOCTYPE html> <!--[if lt IE 7]> <html class="no-js ie6 oldie" lang="en-US"> <![endif]-...
Printon's user avatar
  • 27
0 голосов
0 ответов
7 показов

Python Requests ошибка кодировки при переносе на сервер

Собственно есть простейший запрос вида: r = requests.get('https://google.com/', headers=headers, data=data, proxies=proxies) print(r.json()) В результате отдает JSON, но после переноса на сервер ...
Ruslan Nezhivoy's user avatar
1 голос
1 ответ
29 показов

Загрузка файла на файловый обменник

подскажите как загрузить файл на файловый обменник? например на: imgur.com/upload или любой другой файловый обменник, по итогу хочу получить страницу с загруженным файлом, чтобы спарсить и получить ...
T800's user avatar
  • 101
0 голосов
0 ответов
17 показов

Aiohttp.ClientSession проблема при работе с большим количеством запросов через proxy

Я создаю большое количество сессий aiohttp.ClientSession и отправляю запросы через http-proxy. Пример кода прикладываю Все работает корректно, до того момента , как я пытаюсь одновременно отправить ...
leshalesha_'s user avatar
0 голосов
0 ответов
22 показа

Python. Получение информации с сайта используя сторонние расширения

Пишу программу на Python, хочу получить данные со страницы, которые появляются совместно с включенным расширением. В данном случае меня интересуют библиотеки BS4 и requests. Selenium слишком медленно ...
SunriseD's user avatar
0 голосов
1 ответ
36 показов

Парсинг страницы с авторизацией через Steam

Мне нужно спарсить страницу https://skins-table.xyz/table_rust/ чтобы она отображалась так, будто перед этим я залогинился через свой аккаунт Steam. Для этого я написал следующий код (мои реальные ...
childoflogos's user avatar
-1 голос
0 ответов
22 показа

Python requests, активная сессия [закрыт]

У меня есть GUI приложение, на первом сайте я логинюсь при переходе на другой сайт, меня выкидывает. Как мне сделать так, чтобы я был онлайн на первом сайте пока окно открыто. Подскажите, нужны идеи.
Oleg Sorokin's user avatar
0 голосов
0 ответов
11 показов

Сохранить данные компьютера сделавшего запрос на сервер Flask и через некоторое время обратиться к нему с сервера

Есть сервер на Flask, на него приходит запрос, и из этого запроса мне нужно получить данные клиента, чтобы потом по ним обратиться к клиенту. Это должно быть не в качестве ответа в POST-запрос, а в ...
Pushkin's user avatar
0 голосов
1 ответ
22 показа

Трансляция динамического элемента со страницы в файл

Как транслировать в txt файл или в Excel быстро изменяющийся элемент на странице? возможно ли это сделать при помощи Selenium или быть может это правильнее реализовать какими-то другими средствами? ...
n1k0la's user avatar
  • 1
0 голосов
0 ответов
5 показов

Как сделать paging страницы google travel без использования selenium подобных модулей?

Пишу на языке: python Модули: BeutifulSoup4, requests, lxml Есть ли способ получить адреса следующих страниц с помощью get запроса, без роботов и вебдрайверов? Пример страницы: https://www.google.com/...
Smile Rex's user avatar
0 голосов
1 ответ
27 показов

Не работает парсер python

Всем привет. я делал парсер python и при выводе текста в консоль он пишет "None", как это можно исправить? вот код: import requests from bs4 import BeautifulSoup URL = "https://ru....
Олег Python's user avatar
0 голосов
1 ответ
23 показа

TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта

import requests from bs4 import BeautifulSoup import os soup = BeautifulSoup url = "https://health-diet.ru/table_calorie" headers = { "Accept": "text/html,application/...
today's user avatar
  • 1
0 голосов
0 ответов
37 показов

Перенести нейросеть bratgpt в discord

Я пытаюсь с помощью языка python и библиотеки requests перенести нейросеть bratgpt в discord. Делаю своего бота на python и решил добавить команду bad, при выполнении которой будет включаться ...
Mi Shustov's user avatar
0 голосов
1 ответ
41 показ

Парсинг сайта с динамической типизацией без использования Selenium

Попал в какой-то тупик на самом деле, либо не до конца все просмотрел. Больше склоняюсь к первому конечно) import requests url = 'https://store.steampowered.com/specials' s = requests.Session() s....
shezyy's user avatar
  • 89
0 голосов
0 ответов
19 показов

soup.find_all находит не все классы

Использую Суп soup.find_all("div", class_="ticket-title") в DOM дереве наблюдаю как минимум 20 нужных мне классов.Но Суп упорно отбирает только 10.Почему? К XPath привязаться не ...
Андрей Островский's user avatar
0 голосов
0 ответов
29 показов

Помогите получить данные из сокета

Здраствуйте, уже несколько дней ломаю голову с тем, как достать данные из сокета. Задача следующая - получать котировки. На сайте нашел сокет из которого приходят данные. Остается подключится к нему ,...
Alex's user avatar
  • 11
-3 голоса
0 ответов
54 показа

Парсинг Кинопоиска

Мне нужен код, с помощью которого можно спарсить определенный фильм по ссылке, но проблема в том, что при requests запросе, мне выдает супер сжатый исходник, а иногда вообще закидывает на капчу, ...
DoctorGrief's user avatar
0 голосов
0 ответов
23 показа

Как подключиться к авито используя requests с полученными cookies и headers из selenium

Я получаю куки и заголовки из selenium (selenium работает с авито нормально), после чего пытаюсь подключиться к авито через requests, но сервер блокирует меня по причине: 'проблема с ip'. В общем ...
Nikita's user avatar
  • 1
0 голосов
1 ответ
26 показов

Функция requests.get() не принимает аргумент proxies. Модуль requests. Python

Пишу парсер и мне нужно использовать прокси. Указываю url и headers, но также мне нужно указать аргумент proxies, но почему-то его просто нету. PyCharm его не выводит в подсказках и такое чувство, что ...
Printon's user avatar
  • 27
0 голосов
0 ответов
41 показ

Как создать POST запрос?

Всем добрый день. Извиняюсь за довольно глупый вопрос. Но я не могу сделать адекватный пост запрос, чтобы достать данные с апи. Так выглядит payload: c_id: 636 g_id: 917 sch_id: sch_good_id: ...
Djo ny's user avatar
  • 3
0 голосов
0 ответов
31 показ

Ошибка при запросе в Яндекс Директ

Пытаюсь послать запрос и выдает ошибку: Параметры запроса указаны неверно или достигнут лимит отчетов в очереди RequestId: 7167824857849511136 JSON-код ответа сервера: {'error': {'request_id': '...
G.B's user avatar
  • 47
0 голосов
0 ответов
33 показа

Получение сгенерированной ссылки с заполненной формой html

имею простейшую форму с отправкой данных на сервер result.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>main</...
Максим Илясов's user avatar
0 голосов
0 ответов
30 показов

Tinkoff Kassa API python

хотел бы создать интеграцию с Tinkoff Kassa API, но не сильно получается - выдает 400 ошибку. Хотел бы понять, в чем проблема Ссылка на документацию - https://www.tinkoff.ru/kassa/develop/api/payments/...
Pythonist's user avatar
-3 голоса
2 ответа
105 показов

Спарсить масло с сайта по подбору зап. частей [закрыт]

Нужно чтобы при вводе марки и модели авто выдавалось масло которое подходит под конкретный автомобиль. Сайт с которого нужно спарсить поиск: https://www.kroon-oil.com/ru/ import requests from bs4 ...
Анатолий Кузьмич's user avatar
0 голосов
0 ответов
25 показов

Не выкладывается пост в одноклассники

Пытаюсь написать программу на Python, которая будет проходить аутентификацию на сайте https://ok.ru и выкладывать заданный, пост на страницу пользователя. C аутентификацией все хорошо, а вот выложить ...
Anna Veneko's user avatar
0 голосов
0 ответов
37 показов

Как заставить код скачивать все документы с сайта?

В общем, я написал код, который должен скачивать с сайта rfbr.ru все документы всех форматов. Поначалу, когда я написал, возникали ошибки. Я дополнил. И теперь у меня проблема: код не скачивает, а ...
Galo Galo's user avatar
0 голосов
1 ответ
74 показа

Парсинг защищённых сайтов

Недавно мне по работе появилась необходимость парсинга объявлений авито своего города. Для этого можно использовать selenium, но по тестам он достаточно медленный, при этом синхронный, что в проекте ...
Sasonit's user avatar
  • 61
0 голосов
1 ответ
26 показов

Не удаётся из url получить фото

не удается из ссылки получить фотографию, она почему-то не преобразовывается и постоянно выдает ошибку. Из-за этого не получается распознать текст с фотографии, которую подаю, уже не знаю, что делать, ...
Cindy Longstickluv's user avatar
0 голосов
1 ответ
30 показов

Ошибка Failed to establish a new connection: [Errno 111]

есть код на python, который выполняет самый обычный get запрос на сайт(серер). Запросов делается много(порядка 3-4 в минуту). И вот уже 2 день подряд, через часов 20(может 24) запросы перестают ...
maxim's user avatar
  • 1
2 голоса
1 ответ
23 показа

Передать символ # через telegram API (python)

Пытаюсь отправить через тг бота сообщение содержащее "#", но отправляется только текст до этого символа mes = 'startText#endText' url = f'https://api.telegram.org/bot{TOKEN}/sendMessage?...
Kochka4g's user avatar
0 голосов
0 ответов
50 показов

AttributeError: 'str' object has no attribute 'isascii' при авторизации API

Версия Python 3.6 Добрый день. Пытаюсь интегрировать TestComplete с TestRail, чтобы после отработки скрипта автоматически проставлялся статус кейса в TestRail. Написал такой код: testrail_user_email = ...
Ильяс's user avatar
0 голосов
0 ответов
31 показ

Парсинг avito через selenium + requests

Дорогие разработчики! Подскажите, как спарсить хоть что-то с одного объявления avito.ru Перепробовал requests, selenium + selenium_stealth Выводит ошибку: ssl_client_socket_impl.cc(992)] handshake ...
Razil Khatypov's user avatar
1 голос
0 ответов
27 показов

Не могу принять post запрос из requests python в express.js [закрыт]

Есть некий клиент, который отправляет POST-запрос на сервер: response = requests.post('http://localhost:7777/state/makeApplication', data={'department': 'not defined','referrer': 'Abubakr Shomirsaidov'...
user536475's user avatar
1 голос
1 ответ
32 показа

Не могу загрузить фото телеграм-ботом на сервис ImgBB

Бота делаю с помощью библиотеки aiogram. Основная задача от бота - это получить фото от пользователя и загрузить его на сервис (желательно в выбранный альбом на сервисе). Этот сервис (imgbb) ...
Nadgrob's user avatar
  • 35
0 голосов
0 ответов
33 показа

Ошибка при чтении xlsx-файла, скачанного с помощью requests

Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет. Скачиваю следующим образом: def ...
Anna Shevchenko's user avatar
0 голосов
0 ответов
56 показов

не могу получить ссылку методом get('href')

Всем добрый день. Пытаюсь спарсить сайт, но не могу получить ссылку из href (получаю ответ None) по второй строке. Поставил сообщалку print, чтоб проанализировать строки супа и получаю: <a href=&...
Vitaliy S's user avatar
2 голоса
1 ответ
47 показов

При парсинге берется английская версия сайта

Пишу парсер, который должен брать дату окончания скидки, но почему-то берется именно английская версия сайта, хотя accept-language указан в headers. Помогите пожалуйста парсить русские данные! import ...
shezyy's user avatar
  • 89
0 голосов
1 ответ
24 показа

Python скачивание изображений с BS4

Код скачивает картинку и она занимает место, но при попытке открыть изображение становится 'ничем'... import requests import re from bs4 import BeautifulSoup as bs link = input("Введите ссылку ...
Ja1k3r37's user avatar
0 голосов
1 ответ
18 показов

Перестал работать парсер chipdip после примерно недели стабильной работы

Я новичок в парсинге, и мне сложно понять с чем связанно такое поведение сайта, в один момент после недели успешной выгрузки вся программа перестала работать, просто завершает работу без каких либо ...
Владислав Гаврилюк's user avatar
0 голосов
0 ответов
34 показа

Некорректная запись русских символов в файл

Пытаюсь спарсить все ссылки с Википедии и сохранить в файл, но сохраняются они как-то странно import requests from bs4 import BeautifulSoup r = requests.get('https://ru.wikipedia.org/wiki/') if r....
Dark Space's user avatar
0 голосов
0 ответов
79 показов

Парсер ТП Steam получает цены в разных валютах

Пишу парсер цен с ТП Steam, и столкнулся с такой проблемой: когда я начинаю парсить страницу https://steamcommunity.com/market/listings/730/M249%20%7C%20Deep%20Relief%20%28Well-Worn%29, то цены ...
Kewsen's user avatar
  • 47
0 голосов
1 ответ
49 показов

Требуется зайти в вк через python, но чтобы в вк отображалось что я зашел из приложения (не мобильной веб версии)

Мне нужно зайти в вк использую python (selenium, requests?) и чтобы в сессиях отображалось что вход произведен из приложения (не мобильная веб версия, которая начинается с m, а именно приложение VkApp)...
Leonid M's user avatar
1 голос
1 ответ
48 показов

requests не может зайти на сайт

Пытаюсь спарсить один сайт, но requests никак не хочет на него заходить, при том на остальные заходит отлично, не могу понять в чем проблема. Код и какую выдало ошибку ниже. import requests url = '...
Teki's user avatar
  • 13
0 голосов
0 ответов
30 показов

Ошибка AttributeError: '_io.TextIOWrapper' object has no attribute 'getvalue'

Написал небольшой unit-test для проверки GET-запроса в Django и выдает эту ошибку, сам тест: from django.test import TestCase from django.conf import settings settings.configure() class TestMainPage(...
Pythonist's user avatar
0 голосов
1 ответ
31 показ

Ошибка Epic Games Web API

Я пытаюсь отправить POST запрос на получение токена Epic Account Services. Делаю всё как в их документации, но, почему-то, появляется ошибка: Unsupported grant type: null API просто не видит ...
Artemka1806's user avatar
0 голосов
0 ответов
20 показов

В чом проблема отправки запроса

код: val url = URL("https://api.exchangerate.host/latest").openConnection() BufferedReader(InputStreamReader(url.getInputStream())).use { inp -> var line: ...
Takeda's user avatar
  • 11
0 голосов
0 ответов
18 показов

ERROR_ZERO_CAPTCHA_FILESIZE - Как исправить?

Есть код: def get_download_link_sharewood(self, link, log, password): resp1 = self.session.get('https://s1.sharewood.co/login/login', headers=self.session.headers) soup = BeautifulSoup(resp1....
floydpower's user avatar
0 голосов
0 ответов
38 показов

Выдаёт пустой список, при запросе на https://steamcommunity.com/search/users/

Выдаёт пустой список пользователей, если же открыть ссылку в браузере то список пользователей будет. В steam web api такого запроса не существует, поэтому приходится так, к selenium прибегать не ...
Вова Холод's user avatar
0 голосов
1 ответ
52 показа

beautifulsoup не видит span [закрыт]

Пытаюсь написать парсер, где нужна собрать цены на продукты, программа ничего не выводит
Falling's user avatar
1 голос
0 ответов
28 показов

Проблема при работе с TitaniumWeb Proxy

Посидел я тут, разобрался чуть в TitaniumWeb Proxy, мне нужно было сделать софт, который будет подменять ссылки, которые будет открывать юзер, на установленные мной ссылки. Допустим, при открытии вк, ...
hr1st1337's user avatar