1

Пытаюсь написать парсер для извлечения названия фильмов с сайта. В результате вместо списка фильмов из 135 штук. Выходит только один. Не подскажете в чем ошибка?

import requests
from bs4 import BeautifulSoup
import csv

def get_html(url):
    r = requests.get(url)    # Получим метод Response
    r.encoding = 'utf8'
    return r.text   # Вернем данные объекта text

def csv_read(data2):
    with open("data2.csv", 'a') as file:
        writer = csv.writer(file)
        writer.writerow(data2['head'])

def get_link(html):
    soup = BeautifulSoup(html, 'lxml')
    head = soup.find('span', class_='name').find_all('a')
    heads = []
    for i in head:
        heads.append(i.string)
        data2 = {'head': heads}
        print(i.string)
    csv_read(data2)


data = get_link(get_html('https://www.kinopoisk.ru/name/31969/'))

кусок кода, с которого пытаюсь взять названия:

  <span class="num">16</span>
                        <table>
                            <tr>
                                <td>
                                    <span class="name">
                                        <a href="/film/695609/" >
                                            Джуманджи: Зов джунглей&nbsp;(2017)</a>, <font style='color: #393; white-space: nowrap'>$ 20&nbsp;000&nbsp;000 </font></span>
                                    <span class="role">
                                        Jumanji: Welcome to the Jungle&nbsp;...&nbsp;Spencer<span style="font-weight:bold;">
                                                    </span>
                                            <!--&nbsp;-->
                                    </span>
                                </td>
                            </tr>
                        </table>
                    </div>
                                        <div class="item" data-fid="1100776" data-imdbr="6.20" data-imdbv="570">

                                                <div class="rating kp">
                                                            <a href="/film/1100776/votes/">
                                    5.99
                                </a>
                                <span>139</span>
                                                    </div>
                        <div class="vote_widget miniVoteDiv rating_user_1100776">&nbsp;</div>

                        <div class="MyKP_Folder_Select  folder_film_1100776">
                            <s class="dot"></s>
                            <div class="arrow"></div>
                        </div>

                                                <span class="num">17</span>
                        <table>
                            <tr>
                                <td>
                                    <span class="name">
                                        <a href="/film/1100776/" >
                                            Линия жизни&nbsp;(сериал,&nbsp;2017)</a></span>
                                    <span class="role">
                                        Lifeline&nbsp;...&nbsp;Lifeline Customer<span style="font-weight:bold;">
                                                    </span>
                                            <!--&nbsp;-->
                                    </span>
                                </td>
                            </tr>
                        </table>
                    </div>
                                        <div class="item" data-fid="468940" data-imdbr="5.50" data-imdbv="142449">

                                                <div class="rating kp">
                                                            <a href="/film/468940/votes/">
                                    5.74
                                </a>
                                <span>38209</span>
                                                    </div>
                        <div class="vote_widget miniVoteDiv rating_user_468940">&nbsp;</div>

                        <div class="MyKP_Folder_Select  folder_film_468940">
                            <s class="dot"></s>
                            <div class="arrow"></div>
                        </div>

Т.е. нужно названия например "Линия жизни" из

<span class="name"> 
<a href="/film/1100776/" >Линия жизни&nbsp;(сериал,&nbsp;2017)</a></span>
4
  • Думаю, у вас похожая проблема ru.stackoverflow.com/a/1016363/213678
    – Andrey
    8 сен 2019 в 21:07
  • у меня в коде написано find_all('a') 9 сен 2019 в 9:25
  • Да, но вы ищете все элементы <a> только внути одного <span> - find('span', class_='name').
    – Andrey
    9 сен 2019 в 9:33
  • Написал подробнее в ответе.
    – Andrey
    9 сен 2019 в 9:39

1 ответ 1

2

Метод find('span', class_='name') вернёт один элемент <span>. Далее, вы ищете все теги <a> внутри этого элемента и находится только один такой тег.

In [19]: soup.find('span', class_='name')
Out[19]: 
<span class="name">
<a class="gray" href="/film/1009017/">
                                            Чёрный Адам</a></span>

Наверное, проще всего будет получить все <a> с помощью CSS селекторов:

In [23]: links = soup.select('span.name a')

In [24]: links[:5]
Out[24]: 
[<a class="gray" href="/film/1009017/">
                                             Чёрный Адам</a>,
 <a class="gray" href="/film/464355/">
                                             Сьюдад</a>,
 <a class="gray" href="/film/963897/">
                                             Разлом Сан-Андреас 2</a>,
 <a class="gray" href="/film/542533/">
                                             Предания</a>,
 <a class="gray" href="/film/518174/">
                                             Защита</a>]

In [25]: len(links)
Out[25]: 391

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.