1

Вот мой код, у меня неправильно составлен парсер, но как составить я не понимаю.

from bs4 import BeautifulSoup
import requests
from selenium.webdriver import FirefoxProfile
from selenium import webdriver
from fake_useragent import UserAgent
import time
user=UserAgent()
profile=webdriver.FirefoxProfile()
profile.set_preference('general.useragent.override',user.random)
driver=webdriver.Firefox(profile)
driver.get('https://rabota.ykt.ru/') 

#Это смена юзер агента
time.sleep(10)

def rabota(navigate):
    soup=BeatifulSoup(table,'lxml')
    vacansii=soup.findAll(class_='class="r-vacancy_list_item ng-scope')
    for vacansia in vacansii:
        knopka=vacansia.find(class_='r-vacancy_title').text
        print(knopka)
def navigate():
    table=driver.find_element_by_css_selector('ul.r-vacancy_list').get_attribute('innerHTML')

def main():
    a=rabota(navigate(table))
    table=driver.find_element_by_css_selector('ul.r-vacancy_list').get_attribute('innerHTML')


if __name__=='__main__':
    main()

Вот мой парсер вакансий. Примерно так я понимаю написание парсера. Он должен проходить по вакансиям и собирать их названия.Я только начинающий и можете указать ошибки, где я не так составил, я пока плохо понимаю что писать в функции main и какие аргументы ей передавать.

Вот код ошибки

(rabota) E:\Python>E:\Python\rabota\parser.py
Traceback (most recent call last):
  File "E:\Python\rabota\parser.py", line 32, in <module>
    main()
  File "E:\Python\rabota\parser.py", line 27, in main
    a=rabota(navigate(table))
UnboundLocalError: local variable 'table' referenced before assignment

2 ответа 2

3

Вот код, который будет работать для вашей задачи:

from bs4 import BeautifulSoup
import requests

def get_page(url):
    return requests.get(url).text

def get_works(html):
    soup=BeautifulSoup(html,'lxml')
    vacansii=soup.findAll(class_='r-vacancy_list_item ng-scope')
    for vacansia in vacansii:
        knopka=vacansia.find(class_='r-vacancy_title').text
        print(knopka)


if __name__=='__main__':
    url = 'https://rabota.ykt.ru/'
    get_works(get_page(url))
2

Если ваш парсер правильно работает, то это должно помочь

def navigate():
    table=driver.find_element_by_css_selector('ul.r- ...(не вмещается строка')
    return table

def main():
    a=rabota(navigate())

Помните, что переменные локальные переменные функций не видны вне их, что бы сохранить значение лучше возвращать его из функции через return

Так же значения внутри скобок это аргументы передающиеся в функцию, ведь она сама так же не может увидеть переменных других функций

Так же для простого веб скрапинга можно обойтись просто модулем requests, если вы просто берете html страницы и парсите его

1
  • Функцию rabota тоже надо переделать - у неё параметр navigate, а используется внутри table. В общем, какая-то ботва там с navigate и table наверчена по всему коду.
    – CrazyElf
    30 янв 2020 в 12:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.