0

Вопрос может и идиотский, но разобраться не могу. Пытаюсь парсить feed с сайта https://www.upwork.com/ Скорее всего у меня не правильный подход и проч., но это мой первый опыт в чем-либо кроме hello world

Вот такой код

import feedparser

global title
global description
#Функция которая все делает
def search_and_write(d):
    
    def search_func(title, description, list_str):
            j = 0
            while j < len(list_str):
                index_title = title.find(list_str[j])
                index_descr = description.count(list_str[j])

                if index_descr == 1 or index_descr == 0 or index_title == 1 or index_title == 0:  
                    j += 1
                else:
                    write_file()
                    j = len(list_str)


    #Фунция пишет в файл урлы            
    def write_file():
        f = open('result.txt', 'a')
        f.write(d.entries[i].link.encode("utf8") + '\n')
        f.close()
    i = 0
    while i < 49
        title = d.entries[i].title
        title = title.lower()
        description = d.entries[i].description
        description = description.lower()
        search_func(title, description, list_str)
        print i
        i += 1

st = 'https://www.upwork.com/ab/feed/jobs/rss?paging=0%3B'
st2 = '&q=SEO&sort=relevance+desc&api_params=1&securityToken=67bcc3bc435288c932c02250aee7e49dcbcdf69f0fe9991a3e592e0a70d297722488134cc24c66af995ebd66d874733330a0ed3837434bef846855c875daa696&userUid=1064810546492272640&orgUid=1064810546500661249'
len_cycle = 5000
list_str = ['www.', 'http:', 'https:', '@']  
#srt_url = 'https://www.upwork.com/ab/feed/jobs/rss?paging=0%3B50&q=SEO&sort=relevance+desc&api_params=1&securityToken=67bcc3bc435288c932c02250aee7e49dcbcdf69f0fe9991a3e592e0a70d297722488134cc24c66af995ebd66d874733330a0ed3837434bef846855c875daa696&userUid=1064810546492272640&orgUid=1064810546500661249'

step = 50
while step <= 5000:
    srt_url =  st + str(step) + st2
    d = feedparser.parse(srt_url)
    search_and_write(d)
#    print d
    step = step + 50
     
    print step
    print srt_url

Я поясню что к чему. Объявления на сайте отображаются по 50 на странице. В feed соответственно тоже передается 50 УРЛ фида отличается только цифрой, кратной 50

Я в цикле перебираю эти урлы до 5000 (больше на сайте нет) Внутри в цикле я по определенным ключевым словам ищу совпадения и если нахожу - пишу урл объявления в файл.

Проблема в том, что

---------------------------------------------------------------------------
IndexError                                Traceback (most recent call last)
<ipython-input-15-a156b57ca31e> in <module>()
      9     srt_url =  st + str(step) + st2
     10     d = feedparser.parse(srt_url)
---> 11     search_and_write(d)
     12 #    print d
     13     step = step + 50
    введите сюда код

<ipython-input-14-6710a08a6191> in search_and_write(d)
     30     i = 0
     31     while i < 20:
---> 32         title = d.entries[i].title
     33         title = title.lower()
     34         description = d.entries[i].description

IndexError: list index out of range

Сюда 31 while i < 20: Ставил произвольные цифры, но все равно list index out of range

Ошибка появляется всегда на разных урлах. Когда не перебираешь урлы - все работает (цикл работает как нужно, не все)

Да, скорее всего мне не стоит использовать while, но вот почему он не работает? И как это исправить. Приму любые советы по написанию нормального кода, не только в части вопроса. Спасибо

4
  • Тут все просто - вам попадаются сайты где вы выходите за границы перебора. Это надо учитывать, что есть сайты, на которых число вариантов для перебора может быть от 0 до 50. Как определить сколько есть информации на сайте - это уже другой вопрос и другая проблема.
    – Assur
    30 июл 2020 в 22:59
  • В вашем случае - самый простой способ выйти из этой ситуации - поставить обработку ошибочных ситуаций. Exeption.
    – Assur
    30 июл 2020 в 23:05
  • "вам попадаются сайты где вы выходите за границы перебора" Я Вас не понял, извините. Возможно неверно объяснил что я делаю. Вот ссылка upwork.com/ab/jobs/search/… На одной странице 50 объявлений Таких страниц по пагинации скажем 100, feed с которым я работаю также содержит 50 элементов: 50 title 50 Description То есть 50 циклов на всех страницах пагинации кроме последней, но ошибка может произойти на любой странице
    – svettoch
    31 июл 2020 в 7:50
  • Спасибо Assur Совет по поводу exeption сработал.
    – svettoch
    3 авг 2020 в 18:42

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.