Вопросы с меткой [веб-скрейпинг]

Получение данных с веб-сайтов, минуя официальное API или при отсутствии API.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
30 показов

Как извлечь содержимое внутри каждого тега <a href>?

Я работаю над проектом, который предполагает извлечение некоторых данных с веб-сайта. В частности, меня интересует название каждой категории вместе с ее описанием. Я рассматривал возможность ...
user565350's user avatar
0 голосов
1 ответ
46 показов

Не получается спарсить данные из тега

Не получается залезть в этот тег, выдает None <app-root urlvalue="//search.worldbank.org/api/v2/procnotices?format=json&amp;apilang=en&amp;fl=*&amp;id=OP00231428&amp;apilang=en&...
haess's user avatar
  • 1
0 голосов
0 ответов
11 показов

Нажать checkbox с опомщью Selenium

driver.find_element(By.CLASS_NAME, ' _loop_primary_checkbox').click() Вот код чекбокса, пробовал найти его и через имя класса и через название, и через xpath <input _ngcontent-c1="" ...
haess's user avatar
  • 1
0 голосов
0 ответов
45 показов

Как через Puppeteer зайти на свой аккаунт Яндекс, который привязан к Google

Всем привет. Хочу сделать небольшой скраппер, который бы забирал все мои добавленные в избранное слова в Яндекс-переводчике. Проблема в том, что если я захожу через Puppeteer перенося cookies, то ...
Alexander's user avatar
0 голосов
0 ответов
27 показов

Как собрать информацию в комментариях с html страницы на Python

На вход есть html код html = "<html><body><!-- Comment 1 --><p>Some text</p><!-- Comment 2 --></body></html>" print(re.findall(r"<!-- ...
laticlavius's user avatar
0 голосов
2 ответа
38 показов

Проблема с парсингом unsplash.com

Доброго времени суток всем. Осваиваю python и в качестве практики и надобности решил написать парсер, который по введенному тегу(запросу поисковика на сайте), собирал бесплатные картинки наиболее ...
Grey_Morris's user avatar
0 голосов
1 ответ
43 показа

Web-Scraping | При парсинге данных ошибки 400, 401 и 403

Начал изучать способы Web-Scraping'а и столкнулся с такой проблемой как ошибки 400, 401 и 403 при получении фалов в Json формате. Для примера взял сайт Магнита, и была цель на выходе из программы ...
RezDom's user avatar
  • 25
0 голосов
1 ответ
47 показов

Ошибка с подключением прокси в питон

Парсил сайт и владелец заблокировал мой айпи. Пытался и через впн и вкобчать прокси в код но выдает такая ошибка: "Exception has occurred: ProxyError HTTPSConnectionPool(host='svgmix.com', port=...
haess's user avatar
  • 1
0 голосов
0 ответов
35 показов

Как получить корректный auth ключ для post запроса

Пытаюсь спарсить товары по скидке с магазина "Перекрёсток" https://www.perekrestok.ru/. Если перейти в раздел скидки и обновить страницу, то можно найти XHR файл с названием feed. Он ...
Roman's user avatar
  • 1
0 голосов
0 ответов
62 показа

Парсинг магазина "Лента" на Python

Мне нужно спарсить товары по скидке в магазине "Лента" https://lenta.com/promo/. Я смог найти api https://lenta.com/api/v1/skus/list... . Добавил к этой ссылке payload. При post запросе ...
Roman's user avatar
  • 1
0 голосов
0 ответов
39 показов

PHP: Как спарсить текст с ряда сайтов, полностью очистив тексты от их индивидуального форматирования, стилей, тегов, html?

Паршу в качестве эксперимента группы сайтов. Тексты с их страниц мне нужно объединить в один текст. У нужных страниц разных сайтов индивидуальное форматирование. Если забираю информацию регулярным ...
Valentin's user avatar
  • 257
0 голосов
1 ответ
147 показов

Как проскроллить страницу несколько раз? (selenium)

try: catalog = driver.find_element(By.XPATH, "//*[@id='info_katalog']").click() time.sleep(5) category = driver.find_element(By.LINK_TEXT, "Косметика").click() time....
Voort's user avatar
  • 45
0 голосов
0 ответов
49 показов

Проблема отображения html кода элемента при парсинге html странице

Начал изучать парсинг. Как тестовый проект хочу парсить данные с сайта. По ссылке на профиль магазина хочу программно получить данные о количестве заказов и отзывов. Думал это легко, но как оказалось ...
Putilovsky Michail's user avatar
0 голосов
0 ответов
36 показов

Парсинг всплывающей подсказки на Python

<div class="starsPopover" data-container="#shortPopover" data-content='&lt;table class="GridView"&gt;&lt;tr&gt;&lt;td colspan="2"&gt;&...
Влад's user avatar
0 голосов
1 ответ
54 показа

Может кто то показать как парсить этот сайт и почему обычным способом он не парситься

(когда/если я получу ответ на свой вопрос я поменяю текст своего вопроса на более точный/вменяемый) Я только начал заниматься парсингом, и пока очень слабо в нем понимаю.. Мне нужно спарсить всего ...
mr.T's user avatar
  • 429
0 голосов
1 ответ
26 показов

создание ссылок из веб формы

минимально знаком с pyton прошу помощи в направлении поиска решения. имеется сайт на котором генерятся реламные ссылки имеется файл эксель с входными данными (id товара) на выходе нужно получить ...
diswed's user avatar
  • 3
0 голосов
0 ответов
99 показов

Как скопировать изображение с веб сайта в буфер обмена python

Нужно скопировать картинку с сайта в буфер обмена.
Tri's user avatar
  • 23
0 голосов
0 ответов
70 показов

Как спарсить сайт с неизменным url?

Стоит такая задача: спарсить всех перевозчиков и экспедиторов-перевозчиков из определенных городов с сайта ati.su. Пытаюсь сделать это со страницы рейтинга всех фирм, но при вводе определенного города(...
Egor Nikulin's user avatar
0 голосов
1 ответ
58 показов

парсер/грабер сайта. Как выбрать текст из div

Доброго времени суток всем кто читает. Не получается отделить время добавления статьи от категории <div class="pull-left text-muted"> <time>50 минут назад</time> | новости &...
ТохаКартоха's user avatar
0 голосов
1 ответ
161 показ

Получить страницу с доп. инфой

У сайта есть список, который изначально показан не полностью. При нажатии на "Показать все" идёт подгрузка остального списка. Как мне получить страницу с уже развёрнутым списком? Сайт - http://www....
Виталий's user avatar
2 голоса
0 ответов
222 показа

Как скрейпить данные с сайта?

Не могу никак решить проблему: Пробовал использовать file_get_contents, cURL, +- proxy (на один запрос отдельный айпи), но сайт отвечает так, что все мои такие запросы блокирует или сразу, или почти ...
russell's user avatar
  • 123
0 голосов
1 ответ
364 показа

парсеры с помощью ООП [закрыт]

Долгое время писал парсеры на PHP в процедурном стиле. Решил теперь все переписать на ООП стиль. В качестве базы прочитал книгу "М. Зандстра PHP - объекты, шаблоны и методики программирования". Прошу ...
Baurzhan's user avatar
  • 301
1 голос
0 ответов
121 показ

Обход внутренних ссылок с заданой глубиной

Не могу правильно сделать глубину погружения (что бы брало ссылку, заходило в нее и снова вытягивало ссылки и так определенное количество раз. На сколько я понимаю у меня после добавления в set нового ...
je_inc's user avatar
  • 35
0 голосов
0 ответов
54 показа

Парсинг цвета с помощью Html Аgility Pack

Требуется добыть значения цвета с палитры сайта color.adobe.com. Вопрос. Как сформировать x path, для получения значений (style="background:" " в блоке themeBox)? и вывести в result? Пример кода ...
Максим's user avatar
1 голос
1 ответ
90 показов

Парсинг картинок с сайта

Делаю парсинг сайта Domain.com. Я достаю ссылки на картинки(которые расположены на images.domain.com), но на прямую я не могу смотреть или что либо делать с ними, они доступны только на сайте, или при ...
grooby's user avatar
  • 13
0 голосов
1 ответ
66 показов

Создание веб-скрейпера на node.js

Пишу скрейпер на node.js, запускается каждый вечер. Он должен находить новые продукты на сайте-доноре (если можно так сказать) и добавлять их в БД. Скажите, пожалуйста, как правильно будет сделать, ...
Alexxosipov's user avatar
  • 2,719
0 голосов
1 ответ
42 показа

Ошибка с парсером на php

Вот код парсера: ini_set('error_reporting', E_ALL); ini_set('display_errors', 1); ini_set('display_startup_errors', 1); ini_set('max_execution_time', 900000); $link = $_POST['page_link']; //...
PC Tea's user avatar
  • 120
0 голосов
1 ответ
193 показа

Проблема с парсингом страницы c#

Имеется код: private string test () { HttpRequest req = new HttpRequest(); req.Cookies = new CookieDictionary(); HttpResponse resp = req.Post("Здесь страница логина пароля"); ...
Dmitry's user avatar
  • 464
1 голос
0 ответов
84 показа

XHR и получение результата C#

Здравствуйте. Есть сайт, где содержимое страницы подгружается с использованием ajax (по-моему). Если открывать его в webbrowser и пытаться читать содержимое с использованием xpath, то удается получить ...
FaNaT_96's user avatar
  • 643
0 голосов
1 ответ
222 показа

Почему я получаю 400 Bad Request?

При запросе курлом страницы сайта, я получаю и отображаю ее содержимое. На сайте есть кнопка, при нажатии на которую список продукции динамически подгружается по 20 штук, отследил в отладчике хрома и ...
ZaurK's user avatar
  • 315
0 голосов
1 ответ
98 показов

Последовательный парсинг с помощью Jsoup

Здравствуйте. Предположим, что у меня есть html файл, в нём есть вот такой кусок разметки <div class="class_Name"> "Любой неизвестный текст" <img src="link_To_Image"> "Снова незнакомый ...
vbif212's user avatar
  • 29
0 голосов
1 ответ
1k показов

Парсинг динамического контента (который загружается спустя ~5 секунд)

Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку ...
fenol's user avatar
  • 79
-2 голоса
1 ответ
286 показов

Как получить результат запроса ajax?

Столкнулся с необходимостью спарсить данные с одного сайта, а именно livestreamz.net. Реализовать все решил инструментами cURL. Проблема в том, что блок вывода данных здесь подгружается из AJAX. В ...
Elstein's user avatar
1 голос
1 ответ
1k показов

Законность парсинга сайтов [закрыт]

Есть один сайт, нужно "слить" весь контент. Структура следующая : http://lenfilm.tv/<число>. Я написал всю логику парсера и в цикле парсю каждую страницу, включая внешние ссылки на загрузку ...
user avatar
1 голос
0 ответов
57 показов

"Парсинг" блока с поддомена

Здравствуйте. Есть два сайта: на основном домене и на поддомене. Необходимо отобразить на основном сайте блок, который находится на поддомене. (т.е отобразить не весь сайт, а определенный div). ...
Paul Galbine's user avatar
0 голосов
0 ответов
33 показа

Помогите отредактировать код на php

$a = $steamprofile['profileurl']; if (file_exists('cache.html') && time() - filemtime('cache.html') < 3600) { $get_content = file_get_contents('cache.html'); } else { ...
Виталий 's user avatar
1 голос
1 ответ
224 показа

Парсинг с помощью simple_html_dom

Всем привет! Помогите в вопросе... Есть страница, на ней есть данная таблица: <table class="tablesorter tablesorter-default" border="0" cellspacing="1" cellpadding="1" role="grid"> <thead>...
sergey__suzmenko's user avatar
0 голосов
1 ответ
232 показа

Как спарсить только определённый тег (с помощью simple html dom)?

Приветствую. Использую Simple HTML DOM для парсинга товаров интернет-магазина. Параметр "вес товара" лежит в этом куске: <div id="AddnInfo"> <p> &...
Alexandros's user avatar
1 голос
0 ответов
49 показов

выбор элемента из СКРИПТА js

<!-- TradingView Widget BEGIN --> <script type="text/javascript"> new TradingView.widget({ "autosize": true, "symbol": "OANDA:USDJPY", "interval": "1", ...
Robot parser's user avatar
0 голосов
1 ответ
523 показа

Тестирование парсинга с большим количеством данных

Пишу парсер html страниц. Данные будут переноситься в базу данных, каждая запись которой будет формироваться из 5 видов страниц. Всего записей будет примерно 400 за 1 раз. То есть, за 1 раз будет ...
CodeWriter's user avatar
0 голосов
0 ответов
98 показов

Парсинг цен с сайта gruzivagon.ru

Пытаюсь парсить цены со страницы http://gruzivagon.ru/index.php/component/ads?cat=8&p=0 Меня интересуют цены только на полувагоны. Для выбора этой категории нужно открыть фильтр и вручную ...
Andrey's user avatar
  • 11
0 голосов
0 ответов
125 показов

bs4 python непонятная ошибка при парсинге жж

import requests from bs4 import BeautifulSoup import os, re import sys, traceback #это тхт файл со списками линков на все посты жж #он имеет вид: #November 15th, 2006 - Волков Сергей Владимирович ...
Mintaj's user avatar
  • 53
0 голосов
0 ответов
389 показов

C# Google Парсинг

Ребят я студент есть задача приложения для того что бы сделать запрос в гугл, и подсчитать количество слов на странице и вывести результат, так то все понятно но не как не могу с гуглом разобраться, ...
Junior's user avatar
  • 19
0 голосов
1 ответ
56 показов

Парсинг с вводом в форму

Здравствуйте! Имеется подобный сайт с калькулятором доставки: https://www.correosexpress.com/web/correosexpress/calcula-tu-envio Мне нужно взять с этого сайта данные после обработки (т.е. ввода) ...
LOL's user avatar
  • 23
1 голос
1 ответ
797 показов

Почему не проходит авторизация с помощью phantomjs?

Здравствуйте! Пытаюсь пройти авторизацию с помощью phantomjs, но не проходит, вот код: // Authentication "use strict"; var siteUrl = 'http://www.3dcontentcentral.com/secure/download-model.aspx? ...
ZaurK's user avatar
  • 315