0

Всем привет! Такая проблема: не видит элементы страницы. Пробовал через Scrapy - ничего не получается. Подскажите пожалуйста, как это можно исправить или можно реализовать парсинг не через Xpath, а другими средствами? Извините за тупой вопрос,я в этом новичок)

from grab import Grab
g = Grab()
g.go("https://www.tui.ru/ToursSearch//ToursSearch//ToursSearch//ToursSearch       //ToursSearch/Europe/Bulgaria.aspx/#?HotelCategories=-1&TourType=-  1.aspx%2F#%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1")
print(g.xpath_text(".//*[@id='resultsHeader']/section/div/div/div/div /span/span"))

Логи

IndexError                                Traceback (most recent call last)
/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in one(self, default)
     80         try:
---> 81             return self.selector_list[0]
     82         except IndexError:

IndexError: list index out of range

During handling of the above exception, another exception occurred:

DataNotFound                              Traceback (most recent call last)
<ipython-input-56-72a44d7bfd93> in <module>()
      2 g = Grab()
      3 g.go("https://www.tui.ru/ToursSearch//ToursSearch//ToursSearch//ToursSearch//ToursSearch/Europe/Bulgaria.aspx/#?HotelCategories=-1&TourType=-1.aspx%2F#%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1.aspx%2F%23%3FHotelCategories=-1&TourType=-1")
----> 4 print(g.xpath_text(".//*[@id='resultsHeader']/section/div/div[8]/div/div[2]/div[1]/a/span"))
      5 
      6 

/home/garcia/anaconda3/lib/python3.6/site-packages/grab/util/warning.py in new_func(*args, **kwargs)
     30             if not DISABLE_WARNINGS:
     31                 warn(message, stacklevel=3)
---> 32             return func(*args, **kwargs)
     33         return new_func
     34     return wrapped

/home/garcia/anaconda3/lib/python3.6/site-packages/grab/deprecated.py in xpath_text(self, path, default, smart, normalize_space)
    129                    normalize_space=True):
    130         return self.doc.select(path).text(default=default, smart=smart,
--> 131                                           normalize_space=normalize_space)
    132 
    133     @deprecated(use_instead='grab.doc.select().number()')

/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in text(self, default, smart, normalize_space)
    101     def text(self, default=NULL, smart=False, normalize_space=True):
    102         try:
--> 103             sel = self.one()
    104         except IndexError:
    105             if default is NULL:

/home/garcia/anaconda3/lib/python3.6/site-packages/selection/base.py in one(self, default)
     84                 m = 'Could not get first item for %s query of class %s'\
     85                     % (self.origin_query, self.origin_selector_class.__name__)
---> 86                 raise DataNotFound(m)
     87             else:
     88                 return default

DataNotFound: Could not get first item for .//*[@id='resultsHeader']/section/div/div[8]/div/div[2]/div[1]/a/span query of class XpathSelector
1
  • А что за странный url в go? Так должно быть? Если приложите к вопросу что пытались вытащить этим xpath, позже сам поиграюсь и отпишусь
    – gil9red
    8 сен 2017 в 8:10

1 ответ 1

1

Добрый день. Если бы вы указали конкретнее, чего бы вы хотели получить, то результата добились бы немного быстрее. Я приведу Вам несколько примеров с Habrahabr, которые могут Вас подтолкнуть к решению.

Вот первый пример с использованием GRAB

>>>from grab import Grab
>>>g = Grab()
>>>g.go('http://habrahabr.ru/')
<grab.response.Response object at 0x7fe5f7189850>
>>>print g.xpath_text('//title')
Лучшие за сутки / Посты / Хабрахабр

Вот пример того как можно обойти использование GRAB

>>> from urllib import urlopen
>>> from lxml.html import fromstring
>>> data = urlopen('http://habrahabr.ru/').read()
>>> dom = fromstring(data)
>>> print dom.xpath('//title')[0].text_content()
Лучшие за сутки / Посты / Хабрахабр

И вообще очень полезным будет прочитать статью: "Grab — новый интерфейс для работы с DOM-деревом HTML-документа"

Я попробовал пофантазировать чего вы хотели добиться своим XPath, но так и не смог. Поэтому я подставил другой XPath, для наглядности. Но в общем мне кажется, что следующий код должен полностью покрывать ваше желание.

P.S. Правда это не GRAB, но я думаю это Вам не очень принципиально.

import requests
from lxml import html
proxies = {
    "x": "x"
}
x= requests.get("https://www.tui.ru/ToursSearch/Europe/Bulgaria.aspx/#?DepartureCity=34&Country=18764&Hotels=-1&TourType=-1&AdultCount=2&ChildAges=-1&NightsFrom=3&NightsTo=21&QuotaFlight=Yes%7CRequest&QuotaHotel=Yes%7CRequest&HotelCategories=-1&Resorts=-1&Cities=-1&Districts=-1&Airlines=-1&DirectFlightsOnly=true&Currency=TUI&GroupBy=websearch&SortBy=priority&SortOrder=desc&PageSize=10",
            proxies=proxies)
ht = html.fromstring(x.text)
for element in ht.xpath('//span[@class="tourPriceLabel"]'):
    print(element.text)

Цена тура (за номер) от:
Цена тура (за номер) от:
......
Цена тура (за номер) от:
None

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.