0

Всем привет! Такая проблема: не видит элементы страницы. Пробовал через Scrapy - ничего не получается. Подскажите пожалуйста, как это можно исправить или можно реализовать парсинг не через Xpath, а другими средствами? Извините за тупой вопрос,я в этом новичок)

from grab import Grab
g = Grab()
g.go("https://www.tui.ru/ToursSearch//ToursSearch//ToursSearch//ToursSearch       //ToursSearch/Europe/Bulgaria.aspx/#?HotelCategories=-1&TourType=-  1.aspx%2F#%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1")
print(g.xpath_text(".//*[@id='resultsHeader']/section/div/div/div/div /span/span"))

Логи

IndexError                                Traceback (most recent call last)
/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in one(self, default)
     80         try:
---> 81             return self.selector_list[0]
     82         except IndexError:

IndexError: list index out of range

During handling of the above exception, another exception occurred:

DataNotFound                              Traceback (most recent call last)
<ipython-input-56-72a44d7bfd93> in <module>()
      2 g = Grab()
      3 g.go("https://www.tui.ru/ToursSearch//ToursSearch//ToursSearch//ToursSearch//ToursSearch/Europe/Bulgaria.aspx/#?HotelCategories=-1&TourType=-1.aspx%2F#%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1")
----> 4 print(g.xpath_text(".//*[@id='resultsHeader']/section/div/div[8]/div/div[2]/div[1]/a/span"))
      5 
      6 

/home/garcia/anaconda3/lib/python3.6/site-packages/grab/util/warning.py in new_func(*args, **kwargs)
     30             if not DISABLE_WARNINGS:
     31                 warn(message, stacklevel=3)
---> 32             return func(*args, **kwargs)
     33         return new_func
     34     return wrapped

/home/garcia/anaconda3/lib/python3.6/site-packages/grab/deprecated.py in xpath_text(self, path, default, smart, normalize_space)
    129                    normalize_space=True):
    130         return self.doc.select(path).text(default=default, smart=smart,
--> 131                                           normalize_space=normalize_space)
    132 
    133     @deprecated(use_instead='grab.doc.select().number()')

/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in text(self, default, smart, normalize_space)
    101     def text(self, default=NULL, smart=False, normalize_space=True):
    102         try:
--> 103             sel = self.one()
    104         except IndexError:
    105             if default is NULL:

/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in one(self, default)
     84                 m = 'Could not get first item for %s query of class %s'\
     85                     % (self.origin_query, self.origin_selector_class.__name__)
---> 86                 raise DataNotFound(m)
     87             else:
     88                 return default

DataNotFound: Could not get first item for .//*[@id='resultsHeader']/section/div/div[8]/div/div[2]/div[1]/a/span query of class XpathSelector
1
  • А что за странный url в go? Так должно быть? Если приложите к вопросу что пытались вытащить этим xpath, позже сам поиграюсь и отпишусь
    – gil9red
    8 сен 2017 в 8:10

1 ответ 1

1

Добрый день. Если бы вы указали конкретнее, чего бы вы хотели получить, то результата добились бы немного быстрее. Я приведу Вам несколько примеров с Habrahabr, которые могут Вас подтолкнуть к решению.

Вот первый пример с использованием GRAB

>>>from grab import Grab
>>>g = Grab()
>>>g.go('http://habrahabr.ru/')
<grab.response.Response object at 0x7fe5f7189850>
>>>print g.xpath_text('//title')
Лучшие за сутки / Посты / Хабрахабр

Вот пример того как можно обойти использование GRAB

>>> from urllib import urlopen
>>> from lxml.html import fromstring
>>> data = urlopen('http://habrahabr.ru/').read()
>>> dom = fromstring(data)
>>> print dom.xpath('//title')[0].text_content()
Лучшие за сутки / Посты / Хабрахабр

И вообще очень полезным будет прочитать статью: "Grab — новый интерфейс для работы с DOM-деревом HTML-документа"

Я попробовал пофантазировать чего вы хотели добиться своим XPath, но так и не смог. Поэтому я подставил другой XPath, для наглядности. Но в общем мне кажется, что следующий код должен полностью покрывать ваше желание.

P.S. Правда это не GRAB, но я думаю это Вам не очень принципиально.

import requests
from lxml import html
proxies = {
    "x": "x"
}
x= requests.get("https://www.tui.ru/ToursSearch/Europe/Bulgaria.aspx/#?DepartureCity=34&Country=18764&Hotels=-1&TourType=-1&AdultCount=2&ChildAges=-1&NightsFrom=3&NightsTo=21&QuotaFlight=Yes%7CRequest&QuotaHotel=Yes%7CRequest&HotelCategories=-1&Resorts=-1&Cities=-1&Districts=-1&Airlines=-1&DirectFlightsOnly=true&Currency=TUI&GroupBy=websearch&SortBy=priority&SortOrder=desc&PageSize=10",
            proxies=proxies)
ht = html.fromstring(x.text)
for element in ht.xpath('//span[@class="tourPriceLabel"]'):
    print(element.text)

Цена тура (за номер) от:
Цена тура (за номер) от:
......
Цена тура (за номер) от:
None

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.