Делаю парсер этого сайта: https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/ Нужно, чтобы парсер забирал Название, адрес, номер телефона, ссылку на сайт, ссылку на соц сети и ссылку на сайт больницы
Вот мой код:
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time
from urllib.parse import unquote
import random
import json
headers = {
"Accept": "*/*",
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
}
def get_source_html(url):
chrome_options = Options() # новое обновление selenium
driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe") # новое обновление selenium
driver = webdriver.Chrome(options=chrome_options) # новое обновление selenium
driver.maximize_window() # открывает на полный экран окно браузера
try:
driver.get(url=url)
time.sleep(3)
while True:
find_more_element = driver.find_element(
By.CLASS_NAME, "catalog-button-showMore") # новое обновление selenium
if driver.find_elements(By.CLASS_NAME, "hasmore-text"): # новое обновление selenium
with open("source-page.html", "w") as file:
file.write(driver.page_source)
break
else:
actions = ActionChains(driver)
actions.move_to_element(find_more_element).perform()
time.sleep(3)
except Exception as _ex:
print(_ex)
finally:
driver.close()
driver.quit()
def get_items_urls(file_path):
with open (file_path) as file:
src = file.read()
# хз че это, потом погуглю
soup = BeautifulSoup(src, "lxml")
items_divs = soup.find_all("div", class_= "minicard-item__info") # поиcк первого класса
urls = []
for item in items_divs:
item_url = item.find("h2", class_="minicard-item__title").find("a").get("href") # ищем нужные классы для одной больницы # поиск вторго класса
urls.append(item_url)
with open("items_urls.txt", "w") as file: # сохраняем все ссылки
for url in urls:
file.write(f"{url}\n")
return "[INFO] Succesfully" # успешая згрузка в txt файл
def get_data(file_path):
with open (file_path) as file:
urls_list= [url.strip()for url in file.readlines()] # тоже убирает перенос строки,только более короткий способ
result_list =[]
urls_count = len(urls_list)
count = 1
for url in urls_list:
response = requests.get( url=url, headers=headers)
soup = BeautifulSoup(response.text,"lxml")
try:
item_name = soup.find("span", {"itemprop":"name"}).text.strip()# ищем span с названием больниц
except Exception as _ex:
item_name =None
item_phones_list =[]
try:
item_phones= soup.find("div",class_="service-phones-list").find_all("a", class_="js-phone-number") # ищем нужные классы с номерами телефонов
for phone in item_phones:
item_phone = phone.get("href").split(":")[-1].strip() # находим ссылку, разделяем двоеточием, убираем пробелы
item_phones_list.append(item_phone) #наполянем список на каждой иттерации
except Exception as _ex:
item_phones_list =None
try:
item_address = soup.find("address", class_="iblock").text.strip()# ищем class с адрессом больниц
except Exception as _ex:
item_address =None
try:
item_site = soup.find("div", class_= "grid-container bg-gray service-page service-page-premium js-phone-holder").find("div", class_ = "service-website-value").find("a").get("href")
except Exception as _ex :
item_site =None
social_networks_list=[]
try:
item_vk_link = soup.find("div", class_ = "z-text--13 service-description-social-list").find("a").get("href")
for i in item_vk_link:
vk_url = i.get("href")
sn_short_url = unquote(sn_short_url.split("?to=")[1].split("&")[0]) # укорачиваем ссылку
social_networks_list.append(vk_url)
except Exception as _ex :
social_networks_list = None
result_list.append(
{
"name" :item_name,
"url": url,
"phone_number": item_phones_list,
"address": item_address,
"site_url": item_site,
"social_networks_list": social_networks_list
}
)
time.sleep(random.randrange(2,5)) # рандомное приостановление
if count%10 == 0:
time.sleep(random.randrange(5,9)) # рандомное приостановление на каждой десятой иттерации
print(f"[+] Processed: {count}/{urls_count}")
count += 1
with open ("result.json", "w") as file:
json.dump(result_list, file, indent=4, ensure_ascii=False) # Сохраняем в json файл
return "[INFO] Everything is ok!"
def main():
#get_source_html(url = "https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/")
#print(get_items_urls(file_path="C:\\Users\Константин\Downloads\dodit\source-page.html"))
get_data(file_path="C:\\Users\Константин\Downloads\dodit\items_urls.txt")
if __name__ == "__main__":
main()
у меня очень долго запускается код, а когда запускается, то появляется json файл. Вот что в нем:
[
{
"name": "Поликлиника № 2 Тобольская больница",
"url": "https://tyumen.zoon.ru/medical/poliklinika_2_tobolskaya_bolnitsa/",
"phone_number": null,
"address": "Тюменская область, Тобольск, Заводская, 8",
"site_url": null,
"social_networks_list": null
}
]
По идее, там должно быть 70 больниц, но их нет. Кстати, вот, что в терминале : [+] Processed: 1/70
Кроме того,есть txt файл с ссылками на все больницы. ВАЖНОЕ ПРИМЕЧАНИЕ. В json файле каким-то образом записалась больница последняя из списка txt файла