Вопросы с меткой [веб-скрейпинг]
Получение данных с веб-сайтов, минуя официальное API или при отсутствии API.
45
вопросов
0
голосов
0
ответов
30
показов
Как извлечь содержимое внутри каждого тега <a href>?
Я работаю над проектом, который предполагает извлечение некоторых данных с веб-сайта. В частности, меня интересует название каждой категории вместе с ее описанием.
Я рассматривал возможность ...
0
голосов
1
ответ
46
показов
Не получается спарсить данные из тега
Не получается залезть в этот тег, выдает None
<app-root urlvalue="//search.worldbank.org/api/v2/procnotices?format=json&apilang=en&fl=*&id=OP00231428&apilang=en&...
0
голосов
0
ответов
11
показов
Нажать checkbox с опомщью Selenium
driver.find_element(By.CLASS_NAME, ' _loop_primary_checkbox').click()
Вот код чекбокса, пробовал найти его и через имя класса и через название, и через xpath
<input _ngcontent-c1="" ...
0
голосов
0
ответов
45
показов
Как через Puppeteer зайти на свой аккаунт Яндекс, который привязан к Google
Всем привет. Хочу сделать небольшой скраппер, который бы забирал все мои добавленные в избранное слова в Яндекс-переводчике. Проблема в том, что если я захожу через Puppeteer перенося cookies, то ...
0
голосов
0
ответов
27
показов
Как собрать информацию в комментариях с html страницы на Python
На вход есть html код
html = "<html><body><!-- Comment 1 --><p>Some text</p><!-- Comment 2 --></body></html>"
print(re.findall(r"<!-- ...
0
голосов
2
ответа
38
показов
Проблема с парсингом unsplash.com
Доброго времени суток всем. Осваиваю python и в качестве практики и надобности решил написать парсер, который по введенному тегу(запросу поисковика на сайте), собирал бесплатные картинки наиболее ...
0
голосов
1
ответ
43
показа
Web-Scraping | При парсинге данных ошибки 400, 401 и 403
Начал изучать способы Web-Scraping'а и столкнулся с такой проблемой как ошибки 400, 401 и 403 при получении фалов в Json формате.
Для примера взял сайт Магнита, и была цель на выходе из программы ...
0
голосов
1
ответ
47
показов
Ошибка с подключением прокси в питон
Парсил сайт и владелец заблокировал мой айпи. Пытался и через впн и вкобчать прокси в код но выдает такая ошибка:
"Exception has occurred: ProxyError
HTTPSConnectionPool(host='svgmix.com', port=...
0
голосов
0
ответов
35
показов
Как получить корректный auth ключ для post запроса
Пытаюсь спарсить товары по скидке с магазина "Перекрёсток" https://www.perekrestok.ru/. Если перейти в раздел скидки и обновить страницу, то можно найти XHR файл с названием feed. Он ...
0
голосов
0
ответов
62
показа
Парсинг магазина "Лента" на Python
Мне нужно спарсить товары по скидке в магазине "Лента" https://lenta.com/promo/. Я смог найти api https://lenta.com/api/v1/skus/list... . Добавил к этой ссылке payload. При post запросе ...
0
голосов
0
ответов
39
показов
PHP: Как спарсить текст с ряда сайтов, полностью очистив тексты от их индивидуального форматирования, стилей, тегов, html?
Паршу в качестве эксперимента группы сайтов. Тексты с их страниц мне нужно объединить в один текст. У нужных страниц разных сайтов индивидуальное форматирование.
Если забираю информацию регулярным ...
0
голосов
1
ответ
147
показов
Как проскроллить страницу несколько раз? (selenium)
try:
catalog = driver.find_element(By.XPATH, "//*[@id='info_katalog']").click()
time.sleep(5)
category = driver.find_element(By.LINK_TEXT, "Косметика").click()
time....
0
голосов
0
ответов
49
показов
Проблема отображения html кода элемента при парсинге html странице
Начал изучать парсинг. Как тестовый проект хочу парсить данные с сайта.
По ссылке на профиль магазина хочу программно получить данные о количестве заказов и отзывов. Думал это легко, но как оказалось ...
0
голосов
0
ответов
36
показов
Парсинг всплывающей подсказки на Python
<div class="starsPopover" data-container="#shortPopover" data-content='<table class="GridView"><tr><td colspan="2">&...
0
голосов
1
ответ
54
показа
Может кто то показать как парсить этот сайт и почему обычным способом он не парситься
(когда/если я получу ответ на свой вопрос я поменяю текст своего вопроса на более точный/вменяемый)
Я только начал заниматься парсингом, и пока очень слабо в нем понимаю..
Мне нужно спарсить всего ...
0
голосов
1
ответ
26
показов
создание ссылок из веб формы
минимально знаком с pyton прошу помощи в направлении поиска решения.
имеется сайт на котором генерятся реламные ссылки
имеется файл эксель с входными данными (id товара)
на выходе нужно получить ...
0
голосов
0
ответов
99
показов
Как скопировать изображение с веб сайта в буфер обмена python
Нужно скопировать картинку с сайта в буфер обмена.
0
голосов
0
ответов
70
показов
Как спарсить сайт с неизменным url?
Стоит такая задача: спарсить всех перевозчиков и экспедиторов-перевозчиков из определенных городов с сайта ati.su. Пытаюсь сделать это со страницы рейтинга всех фирм, но при вводе определенного города(...
0
голосов
1
ответ
58
показов
парсер/грабер сайта. Как выбрать текст из div
Доброго времени суток всем кто читает. Не получается отделить время добавления статьи от категории
<div class="pull-left text-muted">
<time>50 минут назад</time>
| новости
&...
0
голосов
1
ответ
161
показ
Получить страницу с доп. инфой
У сайта есть список, который изначально показан не полностью. При нажатии на "Показать все" идёт подгрузка остального списка. Как мне получить страницу с уже развёрнутым списком?
Сайт - http://www....
2
голоса
0
ответов
222
показа
Как скрейпить данные с сайта?
Не могу никак решить проблему:
Пробовал использовать file_get_contents, cURL, +- proxy (на один запрос отдельный айпи), но сайт отвечает так, что все мои такие запросы блокирует или сразу, или почти ...
0
голосов
1
ответ
364
показа
парсеры с помощью ООП [закрыт]
Долгое время писал парсеры на PHP в процедурном стиле. Решил теперь все переписать на ООП стиль. В качестве базы прочитал книгу "М. Зандстра PHP - объекты, шаблоны и методики программирования". Прошу ...
1
голос
0
ответов
121
показ
Обход внутренних ссылок с заданой глубиной
Не могу правильно сделать глубину погружения (что бы брало ссылку, заходило в нее и снова вытягивало ссылки и так определенное количество раз. На сколько я понимаю у меня после добавления в set нового ...
0
голосов
0
ответов
54
показа
Парсинг цвета с помощью Html Аgility Pack
Требуется добыть значения цвета с палитры сайта color.adobe.com.
Вопрос. Как сформировать x path, для получения значений (style="background:" " в блоке themeBox)? и вывести в result?
Пример кода ...
1
голос
1
ответ
90
показов
Парсинг картинок с сайта
Делаю парсинг сайта Domain.com. Я достаю ссылки на картинки(которые расположены на images.domain.com), но на прямую я не могу смотреть или что либо делать с ними, они доступны только на сайте, или при ...
0
голосов
1
ответ
66
показов
Создание веб-скрейпера на node.js
Пишу скрейпер на node.js, запускается каждый вечер.
Он должен находить новые продукты на сайте-доноре (если можно так сказать) и добавлять их в БД.
Скажите, пожалуйста, как правильно будет сделать, ...
0
голосов
1
ответ
42
показа
Ошибка с парсером на php
Вот код парсера:
ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);
ini_set('max_execution_time', 900000);
$link = $_POST['page_link']; //...
0
голосов
1
ответ
193
показа
Проблема с парсингом страницы c#
Имеется код:
private string test ()
{
HttpRequest req = new HttpRequest();
req.Cookies = new CookieDictionary();
HttpResponse resp = req.Post("Здесь страница логина пароля");
...
1
голос
0
ответов
84
показа
XHR и получение результата C#
Здравствуйте. Есть сайт, где содержимое страницы подгружается с использованием ajax (по-моему). Если открывать его в webbrowser и пытаться читать содержимое с использованием xpath, то удается получить ...
0
голосов
1
ответ
222
показа
Почему я получаю 400 Bad Request?
При запросе курлом страницы сайта, я получаю и отображаю ее содержимое. На сайте есть кнопка, при нажатии на которую список продукции динамически подгружается по 20 штук, отследил в отладчике хрома и ...
0
голосов
1
ответ
98
показов
Последовательный парсинг с помощью Jsoup
Здравствуйте. Предположим, что у меня есть html файл, в нём есть вот такой кусок разметки
<div class="class_Name">
"Любой неизвестный текст"
<img src="link_To_Image">
"Снова незнакомый ...
0
голосов
1
ответ
1k
показов
Парсинг динамического контента (который загружается спустя ~5 секунд)
Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку ...
-2
голоса
1
ответ
286
показов
Как получить результат запроса ajax?
Столкнулся с необходимостью спарсить данные с одного сайта, а именно livestreamz.net. Реализовать все решил инструментами cURL. Проблема в том, что блок вывода данных здесь подгружается из AJAX. В ...
1
голос
1
ответ
1k
показов
Законность парсинга сайтов [закрыт]
Есть один сайт, нужно "слить" весь контент. Структура следующая : http://lenfilm.tv/<число>. Я написал всю логику парсера и в цикле парсю каждую страницу, включая внешние ссылки на загрузку ...
1
голос
0
ответов
57
показов
"Парсинг" блока с поддомена
Здравствуйте. Есть два сайта: на основном домене и на поддомене. Необходимо отобразить на основном сайте блок, который находится на поддомене. (т.е отобразить не весь сайт, а определенный div). ...
0
голосов
0
ответов
33
показа
Помогите отредактировать код на php
$a = $steamprofile['profileurl'];
if (file_exists('cache.html') && time() - filemtime('cache.html') < 3600) {
$get_content = file_get_contents('cache.html');
} else {
...
1
голос
1
ответ
224
показа
Парсинг с помощью simple_html_dom
Всем привет! Помогите в вопросе...
Есть страница, на ней есть данная таблица:
<table class="tablesorter tablesorter-default" border="0" cellspacing="1" cellpadding="1" role="grid">
<thead>...
0
голосов
1
ответ
232
показа
Как спарсить только определённый тег (с помощью simple html dom)?
Приветствую. Использую Simple HTML DOM для парсинга товаров интернет-магазина. Параметр "вес товара" лежит в этом куске:
<div id="AddnInfo">
<p>
&...
1
голос
0
ответов
49
показов
выбор элемента из СКРИПТА js
<!-- TradingView Widget BEGIN -->
<script type="text/javascript">
new TradingView.widget({
"autosize": true,
"symbol": "OANDA:USDJPY",
"interval": "1",
...
0
голосов
1
ответ
523
показа
Тестирование парсинга с большим количеством данных
Пишу парсер html страниц. Данные будут переноситься в базу данных, каждая запись которой будет формироваться из 5 видов страниц. Всего записей будет примерно 400 за 1 раз. То есть, за 1 раз будет ...
0
голосов
0
ответов
98
показов
Парсинг цен с сайта gruzivagon.ru
Пытаюсь парсить цены со страницы
http://gruzivagon.ru/index.php/component/ads?cat=8&p=0
Меня интересуют цены только на полувагоны. Для выбора этой категории нужно открыть фильтр и вручную ...
0
голосов
0
ответов
125
показов
bs4 python непонятная ошибка при парсинге жж
import requests
from bs4 import BeautifulSoup
import os, re
import sys, traceback
#это тхт файл со списками линков на все посты жж
#он имеет вид:
#November 15th, 2006 - Волков Сергей Владимирович ...
0
голосов
0
ответов
389
показов
C# Google Парсинг
Ребят я студент есть задача приложения для того что бы сделать запрос в гугл, и подсчитать количество слов на странице и вывести результат, так то все понятно но не как не могу с гуглом разобраться, ...
0
голосов
1
ответ
56
показов
Парсинг с вводом в форму
Здравствуйте! Имеется подобный сайт с калькулятором доставки: https://www.correosexpress.com/web/correosexpress/calcula-tu-envio
Мне нужно взять с этого сайта данные после обработки (т.е. ввода) ...
1
голос
1
ответ
797
показов
Почему не проходит авторизация с помощью phantomjs?
Здравствуйте! Пытаюсь пройти авторизацию с помощью phantomjs, но не проходит, вот код:
// Authentication
"use strict";
var siteUrl = 'http://www.3dcontentcentral.com/secure/download-model.aspx? ...