Вопросы с меткой [веб-скрейпинг]
Получение данных с веб-сайтов, минуя официальное API или при отсутствии API.
29
вопросов
0
голосов
0ответов
49 показов
Как спарсить сайт с неизменным url?
Стоит такая задача: спарсить всех перевозчиков и экспедиторов-перевозчиков из определенных городов с сайта ati.su. Пытаюсь сделать это со страницы рейтинга всех фирм, но при вводе определенного города(...
0
голосов
1ответ
41 показ
парсер/грабер сайта. Как выбрать текст из div
Доброго времени суток всем кто читает. Не получается отделить время добавления статьи от категории
<div class="pull-left text-muted">
<time>50 минут назад</time>
| новости
&...
0
голосов
1ответ
138 показов
Получить страницу с доп. инфой
У сайта есть список, который изначально показан не полностью. При нажатии на "Показать все" идёт подгрузка остального списка. Как мне получить страницу с уже развёрнутым списком?
Сайт - http://www....
2
голоса
0ответов
152 показа
Как скрейпить данные с сайта?
Не могу никак решить проблему:
Пробовал использовать file_get_contents, cURL, +- proxy (на один запрос отдельный айпи), но сайт отвечает так, что все мои такие запросы блокирует или сразу, или почти ...
0
голосов
1ответ
205 показов
парсеры с помощью ООП [закрыт]
Долгое время писал парсеры на PHP в процедурном стиле. Решил теперь все переписать на ООП стиль. В качестве базы прочитал книгу "М. Зандстра PHP - объекты, шаблоны и методики программирования". Прошу ...
1
голос
0ответов
72 показа
Обход внутренних ссылок с заданой глубиной
Не могу правильно сделать глубину погружения (что бы брало ссылку, заходило в нее и снова вытягивало ссылки и так определенное количество раз. На сколько я понимаю у меня после добавления в set нового ...
0
голосов
0ответов
37 показов
Парсинг цвета с помощью Html Аgility Pack
Требуется добыть значения цвета с палитры сайта color.adobe.com.
Вопрос. Как сформировать x path, для получения значений (style="background:" " в блоке themeBox)? и вывести в result?
Пример кода ...
1
голос
1ответ
79 показов
Парсинг картинок с сайта
Делаю парсинг сайта Domain.com. Я достаю ссылки на картинки(которые расположены на images.domain.com), но на прямую я не могу смотреть или что либо делать с ними, они доступны только на сайте, или при ...
0
голосов
1ответ
65 показов
Создание веб-скрейпера на node.js
Пишу скрейпер на node.js, запускается каждый вечер.
Он должен находить новые продукты на сайте-доноре (если можно так сказать) и добавлять их в БД.
Скажите, пожалуйста, как правильно будет сделать, ...
0
голосов
1ответ
40 показов
Ошибка с парсером на php
Вот код парсера:
ini_set('error_reporting', E_ALL);
ini_set('display_errors', 1);
ini_set('display_startup_errors', 1);
ini_set('max_execution_time', 900000);
$link = $_POST['page_link']; //...
1
голос
0ответов
92 показа
https и парсинг
Здравствуйте гуру данного портала!
На днях нужно было спарсить определенную ссылку из meta-тегов одного сайта, а точнее ссылку на видео. Она появляется при загрузке через https в нормальном виде, в ...
0
голосов
1ответ
164 показа
Проблема с парсингом страницы c#
Имеется код:
private string test ()
{
HttpRequest req = new HttpRequest();
req.Cookies = new CookieDictionary();
HttpResponse resp = req.Post("Здесь страница логина пароля");
...
1
голос
0ответов
74 показа
XHR и получение результата C#
Здравствуйте. Есть сайт, где содержимое страницы подгружается с использованием ajax (по-моему). Если открывать его в webbrowser и пытаться читать содержимое с использованием xpath, то удается получить ...
0
голосов
1ответ
185 показов
Почему я получаю 400 Bad Request?
При запросе курлом страницы сайта, я получаю и отображаю ее содержимое. На сайте есть кнопка, при нажатии на которую список продукции динамически подгружается по 20 штук, отследил в отладчике хрома и ...
0
голосов
1ответ
79 показов
Последовательный парсинг с помощью Jsoup
Здравствуйте. Предположим, что у меня есть html файл, в нём есть вот такой кусок разметки
<div class="class_Name">
"Любой неизвестный текст"
<img src="link_To_Image">
"Снова незнакомый ...
0
голосов
1ответ
615 показов
Парсинг динамического контента (который загружается спустя ~5 секунд)
Всем привет, нужен парсер, который парсит динамический контент. Я имею в виду сайты, на которых основной контент выводится спустя 3-5 секунд после загрузки самой страницы. То есть, мы указываем ссылку ...
-2
голоса
1ответ
233 показа
Как получить результат запроса ajax?
Столкнулся с необходимостью спарсить данные с одного сайта, а именно livestreamz.net. Реализовать все решил инструментами cURL. Проблема в том, что блок вывода данных здесь подгружается из AJAX. В ...
1
голос
1ответ
1k показов
Законность парсинга сайтов [закрыт]
Есть один сайт, нужно "слить" весь контент. Структура следующая : http://lenfilm.tv/<число>. Я написал всю логику парсера и в цикле парсю каждую страницу, включая внешние ссылки на загрузку ...
1
голос
0ответов
45 показов
“Парсинг” блока с поддомена
Здравствуйте. Есть два сайта: на основном домене и на поддомене. Необходимо отобразить на основном сайте блок, который находится на поддомене. (т.е отобразить не весь сайт, а определенный div). ...
0
голосов
0ответов
32 показа
Помогите отредактировать код на php
$a = $steamprofile['profileurl'];
if (file_exists('cache.html') && time() - filemtime('cache.html') < 3600) {
$get_content = file_get_contents('cache.html');
} else {
...
1
голос
1ответ
189 показов
Парсинг с помощью simple_html_dom
Всем привет! Помогите в вопросе...
Есть страница, на ней есть данная таблица:
<table class="tablesorter tablesorter-default" border="0" cellspacing="1" cellpadding="1" role="grid">
<thead>...
0
голосов
1ответ
153 показа
Как спарсить только определённый тег (с помощью simple html dom)?
Приветствую. Использую Simple HTML DOM для парсинга товаров интернет-магазина. Параметр "вес товара" лежит в этом куске:
<div id="AddnInfo">
<p>
&...
1
голос
0ответов
41 показ
выбор элемента из СКРИПТА js
<!-- TradingView Widget BEGIN -->
<script type="text/javascript">
new TradingView.widget({
"autosize": true,
"symbol": "OANDA:USDJPY",
"interval": "1",
...
0
голосов
1ответ
270 показов
Тестирование парсинга с большим количеством данных
Пишу парсер html страниц. Данные будут переноситься в базу данных, каждая запись которой будет формироваться из 5 видов страниц. Всего записей будет примерно 400 за 1 раз. То есть, за 1 раз будет ...
0
голосов
0ответов
83 показа
Парсинг цен с сайта gruzivagon.ru
Пытаюсь парсить цены со страницы
http://gruzivagon.ru/index.php/component/ads?cat=8&p=0
Меня интересуют цены только на полувагоны. Для выбора этой категории нужно открыть фильтр и вручную ...
0
голосов
0ответов
101 показ
bs4 python непонятная ошибка при парсинге жж
import requests
from bs4 import BeautifulSoup
import os, re
import sys, traceback
#это тхт файл со списками линков на все посты жж
#он имеет вид:
#November 15th, 2006 - Волков Сергей Владимирович ...
0
голосов
0ответов
300 показов
C# Google Парсинг
Ребят я студент есть задача приложения для того что бы сделать запрос в гугл, и подсчитать количество слов на странице и вывести результат, так то все понятно но не как не могу с гуглом разобраться, ...
0
голосов
1ответ
39 показов
Парсинг с вводом в форму
Здравствуйте! Имеется подобный сайт с калькулятором доставки: https://www.correosexpress.com/web/correosexpress/calcula-tu-envio
Мне нужно взять с этого сайта данные после обработки (т.е. ввода) ...
1
голос
1ответ
713 показов
Почему не проходит авторизация с помощью phantomjs?
Здравствуйте! Пытаюсь пройти авторизацию с помощью phantomjs, но не проходит, вот код:
// Authentication
"use strict";
var siteUrl = 'http://www.3dcontentcentral.com/secure/download-model.aspx? ...