Вот мой код. Это парсер вакансий, он находит имена вакансии.
from bs4 import BeautifulSoup
import requests
from selenium.webdriver import FirefoxProfile
from selenium import webdriver
from fake_useragent import UserAgent
import time
user=UserAgent()
profile=webdriver.FirefoxProfile()
profile.set_preference('general.useragent.override',user.random)
driver=webdriver.Firefox(profile)
driver.get('https://rabota.ykt.ru/')
#Это смена юзер агента
time.sleep(10)
def rabota(navigate):
soup=BeautifulSoup(navigate,'lxml')
vacansii=soup.findAll(class_='class="r-vacancy_list_item ng-scope')
all_knopki=[]
for vacansia in vacansii:
knopka=vacansia.find(class_='r-vacancy_title').text
all_knopki.append(knopka)
return all_knopki
#Это нахождение названий вакансий
def navigate():
table=driver.find_element_by_css_selector('ul.r-vacancy_list').get_attribute('innerHTML')
return table
#Это нахождение всей таблицы селениумом, где хранятся вакансии
def main():
a=rabota(navigate())
print (a)
if __name__=='__main__':
main()
Парсер возвращает None , в чем может быть ошибка?
requests
+bs4
,selenium
тут не нужен. Если вам не принципиально использоватьselenium
, то лучше написать это наrequests
+bs4