Вопросы с меткой [requests]
Requests — библиотека Python, которая элегантно и просто выполняет HTTP-запросы. Библиотека requests позволяет отправлять HTTP-запросы HEAD, GET, POST, PUT, PATCH и DELETE. Используйте эту метку, если вопрос касается этой библиотеки.
1,399
вопросов
-1
голос
0
ответов
13
показов
Как обойти защиту от cloudflare при парсинге сайта? Python, requests
Мне нужно спарсить сайт, но когда хочу получить разметку, я получаю это
<!DOCTYPE html>
<!--[if lt IE 7]> <html class="no-js ie6 oldie" lang="en-US"> <![endif]-...
0
голосов
0
ответов
7
показов
Python Requests ошибка кодировки при переносе на сервер
Собственно есть простейший запрос вида:
r = requests.get('https://google.com/', headers=headers, data=data, proxies=proxies)
print(r.json())
В результате отдает JSON, но после переноса на сервер ...
1
голос
1
ответ
29
показов
Загрузка файла на файловый обменник
подскажите как загрузить файл на файловый обменник? например на: imgur.com/upload или любой другой файловый обменник,
по итогу хочу получить страницу с загруженным файлом, чтобы спарсить и получить ...
0
голосов
0
ответов
17
показов
Aiohttp.ClientSession проблема при работе с большим количеством запросов через proxy
Я создаю большое количество сессий aiohttp.ClientSession и отправляю запросы через http-proxy.
Пример кода прикладываю
Все работает корректно, до того момента , как я пытаюсь одновременно отправить ...
0
голосов
0
ответов
22
показа
Python. Получение информации с сайта используя сторонние расширения
Пишу программу на Python, хочу получить данные со страницы, которые появляются совместно с включенным расширением. В данном случае меня интересуют библиотеки BS4 и requests.
Selenium слишком медленно ...
0
голосов
1
ответ
36
показов
Парсинг страницы с авторизацией через Steam
Мне нужно спарсить страницу https://skins-table.xyz/table_rust/ чтобы она отображалась так, будто перед этим я залогинился через свой аккаунт Steam. Для этого я написал следующий код (мои реальные ...
-1
голос
0
ответов
22
показа
Python requests, активная сессия [закрыт]
У меня есть GUI приложение, на первом сайте я логинюсь при переходе на другой сайт, меня выкидывает.
Как мне сделать так, чтобы я был онлайн на первом сайте пока окно открыто.
Подскажите, нужны идеи.
0
голосов
0
ответов
11
показов
Сохранить данные компьютера сделавшего запрос на сервер Flask и через некоторое время обратиться к нему с сервера
Есть сервер на Flask, на него приходит запрос, и из этого запроса мне нужно получить данные клиента, чтобы потом по ним обратиться к клиенту. Это должно быть не в качестве ответа в POST-запрос, а в ...
0
голосов
1
ответ
22
показа
Трансляция динамического элемента со страницы в файл
Как транслировать в txt файл или в Excel быстро изменяющийся элемент на странице? возможно ли это сделать при помощи Selenium или быть может это правильнее реализовать какими-то другими средствами? ...
0
голосов
0
ответов
5
показов
Как сделать paging страницы google travel без использования selenium подобных модулей?
Пишу на языке: python
Модули: BeutifulSoup4, requests, lxml
Есть ли способ получить адреса следующих страниц с помощью get запроса, без роботов и вебдрайверов?
Пример страницы: https://www.google.com/...
0
голосов
1
ответ
27
показов
Не работает парсер python
Всем привет. я делал парсер python и при выводе текста в консоль он пишет "None", как это можно исправить?
вот код:
import requests
from bs4 import BeautifulSoup
URL = "https://ru....
0
голосов
1
ответ
23
показа
TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта
import requests
from bs4 import BeautifulSoup
import os
soup = BeautifulSoup
url = "https://health-diet.ru/table_calorie"
headers = {
"Accept": "text/html,application/...
0
голосов
0
ответов
37
показов
Перенести нейросеть bratgpt в discord
Я пытаюсь с помощью языка python и библиотеки requests перенести нейросеть bratgpt в discord. Делаю своего бота на python и решил добавить команду bad, при выполнении которой будет включаться ...
0
голосов
1
ответ
41
показ
Парсинг сайта с динамической типизацией без использования Selenium
Попал в какой-то тупик на самом деле, либо не до конца все просмотрел. Больше склоняюсь к первому конечно)
import requests
url = 'https://store.steampowered.com/specials'
s = requests.Session()
s....
0
голосов
0
ответов
19
показов
soup.find_all находит не все классы
Использую Суп soup.find_all("div", class_="ticket-title") в DOM дереве наблюдаю как минимум 20 нужных мне классов.Но Суп упорно отбирает только 10.Почему?
К XPath привязаться не ...
0
голосов
0
ответов
29
показов
Помогите получить данные из сокета
Здраствуйте, уже несколько дней ломаю голову с тем, как достать данные из сокета. Задача следующая - получать котировки. На сайте нашел сокет из которого приходят данные.
Остается подключится к нему ,...
-3
голоса
0
ответов
54
показа
Парсинг Кинопоиска
Мне нужен код, с помощью которого можно спарсить определенный фильм по ссылке, но проблема в том, что при requests запросе, мне выдает супер сжатый исходник, а иногда вообще закидывает на капчу, ...
0
голосов
0
ответов
23
показа
Как подключиться к авито используя requests с полученными cookies и headers из selenium
Я получаю куки и заголовки из selenium (selenium работает с авито нормально), после чего пытаюсь подключиться к авито через requests, но сервер блокирует меня по причине: 'проблема с ip'. В общем ...
0
голосов
1
ответ
26
показов
Функция requests.get() не принимает аргумент proxies. Модуль requests. Python
Пишу парсер и мне нужно использовать прокси. Указываю url и headers, но также мне нужно указать аргумент proxies, но почему-то его просто нету. PyCharm его не выводит в подсказках и такое чувство, что ...
0
голосов
0
ответов
41
показ
Как создать POST запрос?
Всем добрый день. Извиняюсь за довольно глупый вопрос. Но я не могу сделать адекватный пост запрос, чтобы достать данные с апи. Так выглядит payload:
c_id: 636
g_id: 917
sch_id:
sch_good_id:
...
0
голосов
0
ответов
31
показ
Ошибка при запросе в Яндекс Директ
Пытаюсь послать запрос и выдает ошибку:
Параметры запроса указаны неверно или достигнут лимит отчетов в очереди
RequestId: 7167824857849511136
JSON-код ответа сервера:
{'error': {'request_id': '...
0
голосов
0
ответов
33
показа
Получение сгенерированной ссылки с заполненной формой html
имею простейшую форму с отправкой данных на сервер
result.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>main</...
0
голосов
0
ответов
30
показов
Tinkoff Kassa API python
хотел бы создать интеграцию с Tinkoff Kassa API, но не сильно получается - выдает 400 ошибку. Хотел бы понять, в чем проблема
Ссылка на документацию - https://www.tinkoff.ru/kassa/develop/api/payments/...
-3
голоса
2
ответа
105
показов
Спарсить масло с сайта по подбору зап. частей [закрыт]
Нужно чтобы при вводе марки и модели авто выдавалось масло которое подходит под конкретный автомобиль.
Сайт с которого нужно спарсить поиск: https://www.kroon-oil.com/ru/
import requests
from bs4 ...
0
голосов
0
ответов
25
показов
Не выкладывается пост в одноклассники
Пытаюсь написать программу на Python, которая будет проходить аутентификацию на сайте https://ok.ru и выкладывать заданный, пост на страницу пользователя. C аутентификацией все хорошо, а вот выложить ...
0
голосов
0
ответов
37
показов
Как заставить код скачивать все документы с сайта?
В общем, я написал код, который должен скачивать с сайта rfbr.ru все документы всех форматов. Поначалу, когда я написал, возникали ошибки. Я дополнил. И теперь у меня проблема: код не скачивает, а ...
0
голосов
1
ответ
74
показа
Парсинг защищённых сайтов
Недавно мне по работе появилась необходимость парсинга объявлений авито своего города. Для этого можно использовать selenium, но по тестам он достаточно медленный, при этом синхронный, что в проекте ...
0
голосов
1
ответ
26
показов
Не удаётся из url получить фото
не удается из ссылки получить фотографию, она почему-то не преобразовывается и постоянно выдает ошибку. Из-за этого не получается распознать текст с фотографии, которую подаю, уже не знаю, что делать, ...
0
голосов
1
ответ
30
показов
Ошибка Failed to establish a new connection: [Errno 111]
есть код на python, который выполняет самый обычный get запрос на сайт(серер). Запросов делается много(порядка 3-4 в минуту). И вот уже 2 день подряд, через часов 20(может 24) запросы перестают ...
2
голоса
1
ответ
23
показа
Передать символ # через telegram API (python)
Пытаюсь отправить через тг бота сообщение содержащее "#", но отправляется только текст до этого символа
mes = 'startText#endText'
url = f'https://api.telegram.org/bot{TOKEN}/sendMessage?...
0
голосов
0
ответов
50
показов
AttributeError: 'str' object has no attribute 'isascii' при авторизации API
Версия Python 3.6
Добрый день. Пытаюсь интегрировать TestComplete с TestRail, чтобы после отработки скрипта автоматически проставлялся статус кейса в TestRail.
Написал такой код:
testrail_user_email = ...
0
голосов
0
ответов
31
показ
Парсинг avito через selenium + requests
Дорогие разработчики!
Подскажите, как спарсить хоть что-то с одного объявления avito.ru
Перепробовал requests, selenium + selenium_stealth
Выводит ошибку:
ssl_client_socket_impl.cc(992)] handshake ...
1
голос
0
ответов
27
показов
Не могу принять post запрос из requests python в express.js [закрыт]
Есть некий клиент, который отправляет POST-запрос на сервер:
response = requests.post('http://localhost:7777/state/makeApplication', data={'department': 'not defined','referrer': 'Abubakr Shomirsaidov'...
1
голос
1
ответ
32
показа
Не могу загрузить фото телеграм-ботом на сервис ImgBB
Бота делаю с помощью библиотеки aiogram. Основная задача от бота - это получить фото от пользователя и загрузить его на сервис (желательно в выбранный альбом на сервисе). Этот сервис (imgbb) ...
0
голосов
0
ответов
33
показа
Ошибка при чтении xlsx-файла, скачанного с помощью requests
Всем привет. Не могу понять, почему возникает ошибка с экселевскими файлами, которые скачаны с помощью requests, если при скачивании вручную никаких проблем нет.
Скачиваю следующим образом:
def ...
0
голосов
0
ответов
56
показов
не могу получить ссылку методом get('href')
Всем добрый день. Пытаюсь спарсить сайт, но не могу получить ссылку из href (получаю ответ None) по второй строке. Поставил сообщалку print, чтоб проанализировать строки супа и получаю:
<a href=&...
2
голоса
1
ответ
47
показов
При парсинге берется английская версия сайта
Пишу парсер, который должен брать дату окончания скидки, но почему-то берется именно английская версия сайта, хотя accept-language указан в headers. Помогите пожалуйста парсить русские данные!
import ...
0
голосов
1
ответ
24
показа
Python скачивание изображений с BS4
Код скачивает картинку и она занимает место, но при попытке открыть изображение становится 'ничем'...
import requests
import re
from bs4 import BeautifulSoup as bs
link = input("Введите ссылку ...
0
голосов
1
ответ
18
показов
Перестал работать парсер chipdip после примерно недели стабильной работы
Я новичок в парсинге, и мне сложно понять с чем связанно такое поведение сайта, в один момент после недели успешной выгрузки вся программа перестала работать, просто завершает работу без каких либо ...
0
голосов
0
ответов
34
показа
Некорректная запись русских символов в файл
Пытаюсь спарсить все ссылки с Википедии и сохранить в файл, но сохраняются они как-то странно
import requests
from bs4 import BeautifulSoup
r = requests.get('https://ru.wikipedia.org/wiki/')
if r....
0
голосов
0
ответов
79
показов
Парсер ТП Steam получает цены в разных валютах
Пишу парсер цен с ТП Steam, и столкнулся с такой проблемой: когда я начинаю парсить страницу https://steamcommunity.com/market/listings/730/M249%20%7C%20Deep%20Relief%20%28Well-Worn%29, то цены ...
0
голосов
1
ответ
49
показов
Требуется зайти в вк через python, но чтобы в вк отображалось что я зашел из приложения (не мобильной веб версии)
Мне нужно зайти в вк использую python (selenium, requests?) и чтобы в сессиях отображалось что вход произведен из приложения (не мобильная веб версия, которая начинается с m, а именно приложение VkApp)...
1
голос
1
ответ
48
показов
requests не может зайти на сайт
Пытаюсь спарсить один сайт, но requests никак не хочет на него заходить, при том на остальные заходит отлично, не могу понять в чем проблема.
Код и какую выдало ошибку ниже.
import requests
url = '...
0
голосов
0
ответов
30
показов
Ошибка AttributeError: '_io.TextIOWrapper' object has no attribute 'getvalue'
Написал небольшой unit-test для проверки GET-запроса в Django и выдает эту ошибку, сам тест:
from django.test import TestCase
from django.conf import settings
settings.configure()
class TestMainPage(...
0
голосов
1
ответ
31
показ
Ошибка Epic Games Web API
Я пытаюсь отправить POST запрос на получение токена Epic Account Services. Делаю всё как в их документации, но, почему-то, появляется ошибка:
Unsupported grant type: null
API просто не видит ...
0
голосов
0
ответов
20
показов
В чом проблема отправки запроса
код:
val url = URL("https://api.exchangerate.host/latest").openConnection()
BufferedReader(InputStreamReader(url.getInputStream())).use { inp ->
var line: ...
0
голосов
0
ответов
18
показов
ERROR_ZERO_CAPTCHA_FILESIZE - Как исправить?
Есть код:
def get_download_link_sharewood(self, link, log, password):
resp1 = self.session.get('https://s1.sharewood.co/login/login', headers=self.session.headers)
soup = BeautifulSoup(resp1....
0
голосов
0
ответов
38
показов
Выдаёт пустой список, при запросе на https://steamcommunity.com/search/users/
Выдаёт пустой список пользователей, если же открыть ссылку в браузере то список пользователей будет. В steam web api такого запроса не существует, поэтому приходится так, к selenium прибегать не ...
0
голосов
1
ответ
52
показа
beautifulsoup не видит span [закрыт]
Пытаюсь написать парсер, где нужна собрать цены на продукты, программа ничего не выводит
1
голос
0
ответов
28
показов
Проблема при работе с TitaniumWeb Proxy
Посидел я тут, разобрался чуть в TitaniumWeb Proxy, мне нужно было сделать софт, который будет подменять ссылки, которые будет открывать юзер, на установленные мной ссылки. Допустим, при открытии вк, ...