Новые ответы с меткой requests
0
голосов
Выдает сообщение Oops! Please enable JavaScript and Cookies in your browser!
Нужно указать cookie в header - сайт не принимает запросы без куки. И во вторых, нужно использовать библиотеку requests-html, обычный requests не может отправить запрос с включенным JavaScript
1
голос
Как сделать постоянное обновление api | Python requests
не буду удалять, оставлю вдруг кто-то как я затупит и не поймет что нужно было просто это в функцию запихнуть, хаха
def quote(message):
response = requests.get(url)
jsonResponse = ...
1
голос
Принятый
проблемма с users.get vk.api
Ты не передаешь список дополнительных полей "fields", которые нужно вернуть! Почитай внимательно документацию. https://dev.vk.com/method/users.get
К примеру, чтобы получить поле "bdate&...
0
голосов
проверка данных при парсинге сайта
"парсер выводин какойнибудь предупреждающий текс, а не выдает ошибку." Для этого можно использовать try-except. Ну если граммотно написать код try-except могут не понадобится.
Как пример:
...
0
голосов
Ошибка при считывании и обработке изображения полученного через requests.get().content | UnicodeDecodeError: и AttributeError: |
Вот прямо из документации библиотеки requests пример, как нужно открывать изображение, полученное через запрос:
from PIL import Image
from io import BytesIO
i = Image.open(BytesIO(r.content))
У вас ...
0
голосов
как сделать сохранение спарсенных данных в excel файл python
from bs4 import BeautifulSoup as bs
import requests
import json
import pandas as pd
articles_json = []
items = {}
url = 'https://lainelir2.pythonanywhere.com/'
req = requests.get(url)
soup = bs(req....
4
голоса
Принятый
Как достать значение из квадратных скобок в Python?
Используйте метод json, чтобы преобразовать ответ в объект Python. После этого вы можете получить значение так же, как получили бы его из обычного словаря:
result = r.json()[0]['code']
print(result) #...
1
голос
Как достать значение из квадратных скобок в Python?
Вам надо обратиться к первому элементу списка (это он в квадратных скобках), а затем к ключу словаря ("code").
Примерно так, если на печать вывод:
result = [{"long":"example....
0
голосов
python При попытке получить html страницы возвращается странный html код. Парсинг идет через request
Как сказали, есть API, которая возвращает за один запрос 894 продукта.
Можно менять страничку page=.
Вам только нужно достать cookie _vinted_fr_session. Это можно сделать, подняв браузер.
Результат ...
0
голосов
Принятый
Как изменить запрос в python?
Не большая инструкция в виде гифки (лень расписовать) для Firefox
https://curlconverter.com/
1
голос
Принятый
Как парсить данные с wildberries на python?
"Хочу спарсить фотографии"
import requests
page = 1
while True:
resp = requests.get(f'https://catalog.wb.ru/catalog/men_clothes/catalog?curr=rub&lang=ru&locale=ru'
...
0
голосов
Принятый
python | error | ip | tkinter
Предполагаю, что Вы объявили ip не как переменную типа StringVar, а как обычную строку, а у последнего типа нет метода get().
С другой стороны, если прописать
ip = StringVar()
По аналогии с message = ...
0
голосов
Принятый
Что делать, если я получаю ошибку 'NoneType' object has no attribute 'text' при попытке взять текст из span тега через BS4?
import requests
from bs4 import BeautifulSoup
url = "https://book24.ru/sales/"
req = requests.get(url).text
soup = BeautifulSoup(req, "lxml")
blocks = soup.find_all("div"...
0
голосов
Как правильно дописать парсер на Python
for name, url in data.items():
req = requests.get(url)
soup = bs(req.text, 'lxml')
for comment_text in soup.find_all('a', class_='text-reply'):
print(comment_text.text)
0
голосов
Принятый
python requests error
import requests
poss = input('Ваш запрос: ')
url = f'https://www.google.com/search?q={poss}'
x = requests.get(url)
print(x.text)
0
голосов
как правильно сделать код парсера для python
Вот ещё вариант:
import requests
from bs4 import BeautifulSoup
from time import sleep
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537....
0
голосов
как правильно сделать код парсера для python
Переписал парсер из вопроса, сохранив логику:
Использование сессии (умеет хранить куки, общие заголовки)
Использование парсера html.parser - он есть из коробки, в отличии от lxml
Использование css-...
1
голос
как правильно сделать код парсера для python
import requests
from bs4 import BeautifulSoup as bs
href_film = []
url_p = 'https://lordserial.live/anime-serialy/'
while True:
req = requests.get(url_p)
soup = bs(req.text, 'lxml')
for ...
1
голос
Принятый
API и GET запрос requests.get() - где причина ошибки?
Значит так. В методе __init__() у вас используется поле класса
self.version_api = str
str это зарезервированное определение для типа данных строка. Воспроизведу вашу ошибку
>>> version_api =...
1
голос
Принятый
Как в url найти точное слово и вернуть его левую часть
пример
import requests
res = requests.get('https://scanner.tradingview.com/crypto/scan').json()
data = []
ticker_name = 'btcusdt'.upper()
for rr in res['data']:
rt = rr['s'].split(':')
if rt[...
1
голос
Не достаются элементы со страницы bs4
как пример
import requests
cookies = {'f_session_key': 'WX2AQGOD4mg2ciRi0x06g5eFdwdPpKGx',}
params = {
'ajax': 'tmsearch',
'act': 'trademarkSearch',
'session_key': '...
0
голосов
Принятый
Как в парсере указать геолокацию?
Решил проблему следующим образом:
import requests
def get_markets(lat, lon):
r = requests.get(
f'https://sbermarket.ru/api/stores?lat={ lat }&lon={ lon }&include=...
2
голоса
Принятый
Как правильно написать парсер на python?
Если я правильно понял задачу, то правильный парсер, с моей точки зрения, мог бы выглядеть так:
pip install fake-useragent requests tqdm
from tqdm.auto import tqdm
import re
from requests import ...
0
голосов
Как получить аватарку пользователя с сервера discord через python requests?
url = member.avatar_url
img_data = requests.get(url).content
with open('test.jpg', 'wb') as handler:
handler.write(img_data)
эта штука сохранит картинку в файл test.jpg
0
голосов
Как правильно написать парсер на python?
Для того чтобы искать несколько тегов в одном блоке нужно сначала определить этот блок, а потом уже в нем циклом искать нужные теги. Сохраняем картинки при помощи библиотеки urllib.
from bs4 import ...
50 лучших ответов включены
Связанные метки
requests × 1098python × 979
python-3.x × 328
парсер × 217
beautiful-soup × 193
bs4 × 110
json × 62
post × 56
api × 40
http × 40
html × 37
javascript × 27
proxy × 27
get × 25
django × 17
selenium × 17
cookie × 17
lxml × 16
urllib × 16
многопоточность × 15
vkontakte-api × 15
веб-программирование × 14
авторизация × 14
https × 12
aiohttp × 12