0

Добрый день, уважаемые пользователи. Мой вопрос таков: есть сайт http://novostroykirf.ru/1/#!devsearch;page=1. Мне следует слить табличку с этой первой страницы размером 20*4. Вопрос в том, что обычные методы типа посмотреть запрос и сформировать такой же через Firebug или же связка Selenium+PhantomJS не работает. Сделать это надо на Python, но что-то я сел капитально и даже не представляю, чего дальше делать

10
  • Пользовательские скрипты пробовали? 31 июл 2016 в 12:02
  • Пользовательские скрипты? А это что такое? Расскажете, если можно? Я javascript не знаю от слова совсем 31 июл 2016 в 12:05
  • Отличие Ghost от Beautiful Soup и Scrapy в том, что у него под капотом целый браузер, которой может js скрипты выполнять. Таким образом нужно только взять данные в нужный момент. По идее все что в обычном браузере вы видите, должно быть доступно и через Ghost. 31 июл 2016 в 12:16
  • Я не умею писать на js. Без него можно как-то это сделать? Мне задание поставили вообще на R написать, но он не особо-то подходит, потому вожусь с Python 31 июл 2016 в 12:19
  • То что у Ghost браузер со скриптами, это к тому, что он может также страницу видеть как и вы в обычном браузере. Для этого знаний js не требуется. Но в любом случае надо хотя бы про DOM иметь представление, из которого вы будете данные питоном выковыривать. 31 июл 2016 в 12:22

2 ответа 2

1

Если вам нужны не все данные с этого сайта, а только одна страница, то скопируйте просто element таблицы в текстовый документ (консоль разработчика в Chrome) и далее разбирайте его средствами Python (библиотека lxml).

введите сюда описание изображения

6
  • А где вы нашли table? У меня его нет 31 июл 2016 в 18:44
  • Хотя мне все равно надо именно на Питоне, а не через консоль. Хотя изначально вообще на R заставляли 31 июл 2016 в 18:49
  • Я и предлагаю сделать на Python, только вам нужно скопировать HTML код этой таблицы через консоль и сохранить в файл. Далее работайте с этим файлом на Python.
    – Sequent
    31 июл 2016 в 19:09
  • Так я и спрашиваю, где вы эту таблицу нашли? У меня ее вроде как нет. Или я ее в упор не вижу, потому что глаз замылился 31 июл 2016 в 19:17
  • Данные таблицы загружаются динамически. Поэтому, вам нужно дождаться загрузки данных и далее через консоль разработчика скопировать html код; Консоль доступна по умолчанию в браузере Chrome. Что бы найти нужный элемент, нажмите правой кнопкой на заголовке таблицы и выберите в меню - просмотреть код.
    – Sequent
    31 июл 2016 в 19:24
0

В общем, ларчик-то просто открывался. Надо было поставить десятисекундную задержку, чтоб запрос отработал и динамическое содержимое прогрузилось. Так что связка Selenium+PhantomJS вполне жизнеспособна

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.