0

Извлекаю ссылки на страницу премьеры фильма, а эти ссылки почему то не передаются (

помогите пожалуйста новичку с кодом.

import scrapy
from movie.items import AfishaCinema

class AfishaCinemaSpider(scrapy.Spider):
    name = 'afisha-cinema'
    allowed_domains = ['kinopoisk.ru']
    start_urls = ['https://www.kinopoisk.ru/premiere/ru/']

    def parse(self, response):
    links = response.css('div.textBlock>span.name_big>a').xpath(
        '@href').extract()
    for link in links:
        yield scrapy.Request(link, callback=self.parse_moov,
                             dont_filter=True)

def parse_moov(self, response):
    item = AfishaCinema()
    item['name'] = response.css('h1.moviename-big::text').extract()

2 ответа 2

0

надо сделать urljoin

if link is not None:
    yield scrapy.Request(response.urljoin(link))
4
  • не помогает, терминал выводит Cannot mix str and non-str arguments
    – Марат
    13 июл 2018 в 12:04
  • Похоже на входе не строка а список. Попробуй вместо extract напиши extract_first()
    – Yurij
    13 июл 2018 в 12:49
  • Help(link), dir(link) что пишет ?
    – Yurij
    13 июл 2018 в 12:51
  • Спасибо за ваше время, разобрался по другому )
    – Марат
    13 июл 2018 в 13:21
0
import scrapy


class AfishaCinemaSpider(scrapy.Spider):
    name = 'afisha-cinema'
    allowed_domains = ['kinopoisk.ru']
    start_urls = ['https://www.kinopoisk.ru/premiere/ru/']

    def parse(self, response):
        for href in response.css('div.textBlock>span.name_big>a::attr(href)'):
            yield response.follow(href, self.parse_author)

        for href in response.css('div.textBlock>span.name>a::attr(href)'):
            yield response.follow(href, self.parse)

    def parse_author(self, response):
        def extract_with_css(cinema):
            return response.css(cinema).extract_first().strip()

        yield {
            'name': extract_with_css('h1.moviename-big::text'),
            'orig': extract_with_css('span::text'),
            'doc': extract_with_css('td.time::text'),
        }

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.