0

Пытаюсь сделать функциональность в WordPress которая бы парсила по URL определенное ревью с Amazon и потом добавляла его ко мне на сайт. Не могу спарсить. Обычно я делаю такие задачи с помощью Python, но тут WordPress, а значит у меня только PHP и JavaScript.

Для PHP я использую curl.

$url = "https://www.amazon.com/review/[coment-ID]";

$curl = curl_init($url);
$headers = [
'X-Apple-Tz: 0',
'X-Apple-Store-Front: 143444,12',
'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding: gzip, deflate',
'Accept-Language: en-US,en;q=0.5',
'Cache-Control: no-cache',
'Content-Type: application/x-www-form-urlencoded; charset=utf-8',
'Host: https://www.amazon.com/review/[comment-ID]',
'Referer: [my-webpage]',
'User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:28.0) Gecko/20100101     Firefox/28.0',
'X-MicrosoftAjax: Delta=true'
];
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);

$output = curl_exec($curl);
curl_close($curl);

но когда я пытаюсь распарсить ответ, я вижу что в ответе:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"         "http://www.w3.org/TR/html4/loose.dtd">
<HTML><HEAD><META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<TITLE>ERROR: The request could not be satisfied</TITLE>
</HEAD><BODY>
<H1>ERROR</H1>
<H2>The request could not be satisfied.</H2>
<HR noshade size="1px">
Bad request.
<BR clear="all">
<HR noshade size="1px">
<PRE>
Generated by cloudfront (CloudFront)
Request ID: eqzLZQaioGyAW31EYWTmHA9vG_OES6xJ6GDJanQnBkhaby98C_vebQ==
</PRE>
<ADDRESS>
</ADDRESS>
</BODY></HTML>

Без заголовков к запросу Amazon сразу видит во мне бота и ничего не отдает. Не получается в общем.

Чтобы пытаться парсить на JS я использую ygrab. Тут так же не выходит.

var data = {
    url: 'https://www.amazon.com/gp/customer-reviews/R3TGVQRYYN46TR/',
    selector: 'div.a-fixed-right-grid-inner',
    loop: true,
    result: {
      customer_name: {
        find: 'a.author"',
        grab: {
          name: 'text',
          value: ''
        },
      }
    }
}

var result = ygrab(data);

У Amazon конечно есть API, но по заявлениям на SO, он возвращает вообще не то.

Как посоветуете стягивать Review?

2
  • у ygrab какая строка юзерагента? 25 янв 2018 в 7:51
  • @AlexeyShatrov Дефолтная. В этом дело с ygrab?
    – 0x0718
    25 янв 2018 в 12:02

1 ответ 1

1

Все зависит от того если у Вас ASIN, для того что бы получить ревю. 1) Если нет, то я бы советовал вам воспользуваться каким-то Api для того что бы понять принцып формирование ссылки на xml фай. Они в принцепе по такому принципу все и построины.

2) Если у вас есть ASIN и ссылка на ревю уже готова. Тогда можна сделать легкою пародию на Unit-test для амазона, я пользуюсь PhantomJS, php и Javascript, ну и прокси серверами Я беру здесь или здесь Для простоты я напишу так:

<?php
$htmlAmazon = exec("phantomjs.exe --proxy=192.168.0.1:8080 test.js 
https://www.amazon.it/review/product/ASIN/");
var_dump($htmlAmazon);
?>

Теперь файл js:

var args = require('system').args;
var webPage = require('webpage');
var address = args[1];
var page = webPage.create();
var fs = require('fs');

page.settings.userAgent = 'Mozilla/5.0 (Windows NT 10.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36';
page.settings.javascriptEnabled = true;
page.settings.loadImages = false;
phantom.cookiesEnabled = false;
phantom.javascriptEnabled = true;
page.customHeaders = {
    // Я подставляю с браузера
};
page.viewportSize = { width: 1024, height: 768 };

page.open(address, function (status) {
	console.log(page.content);
	window.setTimeout(function () {
		phantom.exit();
	}, Math.random()*1000 + 1500);
});
И все, остальное по знакомому сценарию, есть все будет проходить на сервере то в строке запроса будет не phantomjs.exe а phantomjs. И нужно будет прописать директорию, и не забывайте о правах доступа.

1
  • Спасибо за ответ, но за прошлый, тот, который удалили. Топорно наверное, но для шареда и без работы exec самое то.
    – 0x0718
    5 фев 2018 в 20:42

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.