Вопросы с меткой [web-scraping]
Руководство по использованию метки web-scraping отсутствует.
106
вопросов
0
голосов
0
ответов
39
показов
Спарсить карточки товаров на озоне на Python
Получается взять первые 4 товара, остальные подгружаются с помощью скрипта как я понимаю, но вот как их достать не понимаю
from bs4 import BeautifulSoup
import requests
URL = "https://www.ozon....
1
голос
1
ответ
56
показов
Помогите с парсингом сайта на питоне
нашел на фрилансе заказ и решил спарсить для тренировки. Сразу скажу, я новичок. Пишу на Питоне. Сайт к слову вот "https://lesegais.ru/open-area/deal" .
Дело в том, что сайт выглядить вроде ...
0
голосов
0
ответов
39
показов
непонятная кодировка при ассинхронном парсинге данных
Есть код
semaph=asyncio.Semaphore(15)
async def get_site_content(url):
async with semaph:
headers={'User-Agent':useragent.random}
async with aiohttp.ClientSession() as session:
...
0
голосов
1
ответ
33
показа
Как изменить запрос в python?
Сайт отправляет запрос, где во вкладке Запрос указывает параметр с определенным значением, например
number: 0
В ответ на сайт прилетает Json файл, зависящий от вышеуказанного значения. (0 - первая ...
0
голосов
1
ответ
21
показ
web scraping - как обратиться к отдельному td внутри tr
всем привет!
Мне необходимо в pandas dataframe записать два элемента внутри каждого ряда
from bs4 import BeautifulSoup
import requests
import html5lib
import pandas as pd
html_data = requests.get('...
0
голосов
0
ответов
23
показа
Selenium - сайт отдаёт капчу при запуске скрипта на сервере
Заранее прошу прощения, в теме только обучаюсь и это первый адекватный проект.
Суть в чём, один и тот же код отлично исполняется если я запускаю его локально, никаких проблем
Но когда я запускаю ...
0
голосов
0
ответов
44
показа
Почему не парсится сайт?
Есть сайт с которого мне нужно забрать хотя бы название фирмы часов и их модель. Я использую selenium, вот код:
from selenium import webdriver
from selenium_stealth import stealth
from selenium....
0
голосов
1
ответ
20
показов
Как сохранять в json файл из словаря при каждой итерации цикла целиком, а не по частям?
Я написал небольшой парсер на python, вот он:
from bs4 import BeautifulSoup
import requests
import json
page = 1
with open("games_review.json", "a") as file:
while True:
...
0
голосов
0
ответов
66
показов
C# Puppeteer ошибка 503
Очень часто при загрузке веб-страницы я получаю ошибку 503 Service Not Available. Страница либо не загружается вообще, либо загружается частично и не работает как задумано. Если я загружаю этот ...
0
голосов
0
ответов
29
показов
Принцип работы LinkExtractor в Scrapy
Всем привет!
Нужно спарсить сайт с помощью Scrapy. Почитал документацию, посмотрел несколько роликов, но что-то я запутался с LinkExtractor в Scrapy.
Вот смотрите, один из примеров, на котором ...
0
голосов
1
ответ
61
показ
python При попытке получить html страницы возвращается странный html код. Парсинг идет через request
Я пытаюсь спарсить фото с объявлений, но мне возвращается html страница не полная.
Парсю с этого сайта: https://www.vinted.it/vetements?catalog[]=1904&order=newest_first
Проблема еще в том,что при ...
0
голосов
1
ответ
18
показов
Проблема с установкой ограничения при скрапинге сайта Python (Парсинг) на секцию html-страницы
Доброго времени суток.
Существует сайт со следующей архитектурой html страницы:
<div class="card__container">
<div class="card">
<div class="card__title">Name</div>
<div ...
0
голосов
0
ответов
16
показов
Selenium на python в автоматическом режиме webdriver не обрабатывает скрипты сайта
Есть сайт, на который нужно массово вносить анкеты. Попытался это сделать и столкнулся с проблемой - в режиме автоматического запуска движка (пробовал chrome и firefox) не работают скрипты сайта (я ...
0
голосов
0
ответов
43
показа
Scrapy теперь не работает с веб-сайтом, который раньше работал нормально
Я использую scrapy для сканирования сайта: https://www.sephora.fr/marques/de-a-a-z/.
Год назад он работал нормально, но теперь выдает ошибку:
Таймаут пользователя вызвал сбой соединения: получение ...
0
голосов
0
ответов
23
показа
scrapy не показывает динамический контент, selenium перенаправляется: как показать страницы, запрошенные webscrapping?
Я не понимаю, почему при использовании scrapy у меня исходный код отличается от url https://www.nordstrom.com/browse/beauty/fragrance/perfume Действительно, вот вывод scrapy:
(scr_env) C:\Users\antoi\...
0
голосов
1
ответ
25
показов
Помогите с парсингом
Как спарсить отсюда значения(count, average, min, max)?
Код:
<media:starRating count="605" average="5.00" min="1" max="5"/>
0
голосов
2
ответа
32
показа
Как избавиться от переноса строки в выводе при парсинге?
Пишу парсер, код следующий:
soup= BeautifulSoup(res, 'lxml')
task_name= soup.find('h2', class_ = 'task__title').get_text()
print(task_name)
При выводе выходит это:
Пытался удалять /n, все ...
0
голосов
1
ответ
27
показов
Передать данные из JavaScript в PHP
Есть код на JavaScript
var gplay = require('google-play-scraper');
gplay.app({appId: 'com.google.android.apps.translate'})
.then(console.log, console.log);
Этот код скрапит вот это приложение: com....
0
голосов
1
ответ
21
показ
Значение None при парсинге с помощью BS4
Учусь пользоваться Bs4 и возникла следующая ошибка, почему то не находит ссылку на страницу. Подскажите плиз, что делать.
import requests
from bs4 import BeautifulSoup
def get_first_news():
...
0
голосов
0
ответов
49
показов
конвертирование url --> pdf --> jpg(скриншот) python
вопрос заключается в получении скриншота по ссылке, но без открытия браузера. Раньше были рабочие методы на selenium, а теперь как я понимаю приходится скачивать pdf по ссылке и уже от туда изымать ...
0
голосов
0
ответов
47
показов
Status code:403 exit status 1 golang
Первый раз пишу парсер. Нашел видео, но у преподавателя не появляется такая ошибка. Status code:403
exit status 1
Вот кусок кода, который отвечает за это.
func getHtml(url string) *http.Response {
...
3
голоса
1
ответ
144
показа
Как создать exe файл используя python и selenium
Уже всю ночь гуглил, никак не могу понять как создать exe-шник в один файл используя selenium.
У меня есть такой код:
from selenium import webdriver
from selenium.webdriver.common.by import By
from ...
0
голосов
0
ответов
25
показов
Остановка паука Scrapy
подскажите как остановить спайдер из роута Flask ,
Пример запуска во вьюхе
process = CrawlerProcess(setting)
process.crawl(MySpider)
есть кнопка запуска спайдера и хотелось так же иметь кнопку ...
0
голосов
0
ответов
21
показ
как задеплоить через scrapyd scrapy спайдер, используя CrawlerRunner (или CrawlerProcess)
из документации scrapy (https://docs.scrapy.org/en/latest/topics/practices.html#running-multiple-spiders-in-the-same-process) есть пример запуска последовательных спайдеров внутри одного python ...
0
голосов
1
ответ
42
показа
Может кто то показать как парсить этот сайт и почему обычным способом он не парситься
(когда/если я получу ответ на свой вопрос я поменяю текст своего вопроса на более точный/вменяемый)
Я только начал заниматься парсингом, и пока очень слабо в нем понимаю..
Мне нужно спарсить всего ...
0
голосов
0
ответов
131
показ
Проблема с парсингом тик ток на Python
Час добрый.
Имеется скрипт по парсингу тик тока, который все время прилежно работал без всяких сбоев, писал сам.
Но сегодня во время запуска начала вылазить ошибка, как я понял связанная с возможно ...
0
голосов
1
ответ
98
показов
Не выводятся данные, выводит только Process finished with exit code 0. Python
Python. Не выводятся данные, выводит только Process finished with exit code 0
import requests
from bs4 import BeautifulSoup
URL = 'https://www.avito.ru/schelkovo/avtomobili/audi/a6-...
0
голосов
0
ответов
21
показ
Хочу сделать клон сайта(чтобы локально работал) с помощью scraper-puppeteer. Он сайт клонирует, но ссылки не работают. Надо склонировать с сылками
const scrape = require('website-scraper');
const PuppeteerPlugin = require('website-scraper-puppeteer');
const path = require('path');
scrape({
urls: ['https://learn.javascript.ru/'],
...
0
голосов
1
ответ
129
показов
Не могу спарсить ссылки вида https://www.wildberries.ru/catalog/0/search.aspx
Мне нужно получить список ссылок на все карточки товаров с этой страницы.
Но я их не вижу в переменной soup
Почему так происходит и что нужно сделать, чтобы их получить?
Вот мой код:
import requests
...
0
голосов
0
ответов
26
показов
Python BS requests как спарсить данные с сайта?
Есть некий сайт - "https://www.betway.co.za/sport/soccer". Это ссылка на конкретные данные, которые я хочу получить(дату, название лиги, название команд и коэфициент).
Я могу получить данные,...
0
голосов
1
ответ
38
показов
ошибки 502, 504 при парсинге
При парсинге ресурса я иногда получаю ошибки 502 и 504.
Если просто открыть их с браузера, страницы работают.
так же, иногда мне несколько раз подряд отдаётся пустое тело в ответе(тоесть после ...
1
голос
1
ответ
905
показов
Как работает implicitly_wait в selenium
Всем привет!
Читаю документацию и не могу понять, как работает implicitly_wait. Ну и плюс не совсем понимаю как работает последовательность запуска действий в Selenium.
Вопрос 1: если не ставить ...
0
голосов
0
ответов
22
показа
как спарсить значение aqi с сайта?
в парсинге я полный ноль но смотря гайды в интернете у меня получалось парсить данные с сайта но не в этот раз. есть сайт aqicn.org и с него надо спарсить значение aqi но у меня никак не получается ...
0
голосов
0
ответов
10
показов
Почему не отрабатывает условие в функции scrapy?
Изучаю Scrapy и столкнулся с такой проблемой. Хочу вернуться на предыдущую функция, но условие else почему-то не отрабатывает. Никаких ошибок не выдает, что не так?
def parse_sub_cat(self, ...
0
голосов
0
ответов
9
показов
scrapy возвращает response.status 505
scrapy при попытке открыть сайт возвращает response.status 505
505 HTTP Version Not Supported
Этот же сайт в браузере открывается нормально.
Почему это может быть?
Как это можно исправить?
scrapy ...
0
голосов
1
ответ
17
показов
Хочу спарсить ссылки на клипы с помощью selenium
def parse():
options = webdriver.ChromeOptions()
options.add_argument('--mute-audio')
options.add_argument("--incognito")
options.add_argument('--log-level=3')
browser = ...
0
голосов
0
ответов
31
показ
REST API сервис который будет запускать скрапинг и возвращать JSON
Подскажите пожалуйста как правильно решить данную задачу.
REST API сервис который будет запускать скрапинг и возвращать JSON с сохраненными данными для любой компании, заданной пользователем.
REST ...
0
голосов
1
ответ
37
показов
идентификация регулярного выражения по слову
Как с помощу регулярных выражений получить цифры с тега если идентифицировать тег можно только по слову (Матчи,Забито Голов,Пропущено голов)?
дело в том что ето в большом теге div , и здесь только по ...
0
голосов
0
ответов
34
показа
Как правильно добавить заголовок для WinHttp.WinHttpRequest.5.1 vba excel?
Я хочу спарсить в excel сайт закупок, но при запросе отображается другая страница(не как в браузере), как будто она не существует. В питоне это вылечилось через добавление user agent. В ВБА тоже нашёл ...
0
голосов
0
ответов
66
показов
Модуль EEL в Python и парсинг
Здраствуйте нужна ваша помошь
Делаю программу на python, css, html, javascript.Использую python модуль eel для объединения их.
Цель программы спарсить сайт получить div внести его в переменную это всё ...
0
голосов
1
ответ
40
показов
Как скрапить сайты с помощью Python, эмулируя мобильное устройство?
Существует некий сайт. Содержимое на нем кардинально меняется в зависимости от устройства (десктопные, мобильные, планшеты и т.п.), с которого был произведен переход. Есть ли возможность произвести ...
0
голосов
0
ответов
36
показов
при парсинге НЕ возвращается пустое значение в список
Я новичок полный. Тренируюсь в парсинге сайтов по заданиям с upwork. Проблема возникла следующая: список товаров возвращается полностью, а список цен нет, у одного товара на сайте <div class="...
0
голосов
0
ответов
88
показов
Как скопировать изображение с веб сайта в буфер обмена python
Нужно скопировать картинку с сайта в буфер обмена.
0
голосов
0
ответов
38
показов
Почему парсер выдаёт ошибку:Cannot set property 'title' of undefined?
Всем здрасте . У меня вечные проблемы с парсерами . Коротко: при запуске кода вылетает ошибка
TypeError: Cannot set property 'title' of undefined
У меня только один вопрос - почему когда я также само ...
0
голосов
1
ответ
237
показов
Как загрузить ответ на POST-запрос с сайта в виде JSON файла?
Мне необходимо загрузить ответ на POST-запрос с сайта https://www.avast.com/hackcheck/ в виде JSON файла. Но мой запрос возвращает ошибку 400.
Код:
URL = 'https://identityprotection.avast.com/v1/web/...
0
голосов
1
ответ
67
показов
Как извлечь информацию из страниц по списку url с помощью python?
У меня есть список urls. Список состоит из нескольких сотен urls.
Каждый из urls относится к отдельной странице со своей структурой, соответственно структура страниц по каждому из urls разная.
Я хочу ...
0
голосов
1
ответ
42
показа
python + selenuim как достать текст с элемента
На сайте есть такой элемент нужно вывести текст помогите пожалуйста
<div class="korp_skolko_do_chsla_1">
<div class="korp_skolko_do_dni">
<...
1
голос
0
ответов
172
показа
Скраппинг веб-сайтов на Android | Kotlin
Какие библиотеки использовать для скраппинга сайтов на андройд? Хочу сделать приложение на контенте другого сайта, но проблема в том, что он загружает данные через js. Я пытался его проанализировать, ...
0
голосов
1
ответ
36
показов
Многократно повторяются одинаковые заголовки новостей с сайта
Я начинающий.О такой штуке как BeautifulSoup узнал пару дней назад.Так что не судите меня строго,если допустил глупую ошибку.Мне захотелось спарсить заголовки главных новостей с championat.com .В ...
1
голос
1
ответ
124
показа
Puppeteer, как найти кнопку?
Как с помощью Puppeteer найти кнопку на странице instagram(вход). У нее нет никаких отличительных особенностей кроме того что в ней div, в котором текст "Войти". Как это сделать?