0

Делаю парсер этого сайта: https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/ Нужно, чтобы парсер забирал Название, адрес, номер телефона, ссылку на сайт, ссылку на соц сети и ссылку на сайт больницы

Вот мой код:

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.by import By
import time
from urllib.parse import unquote
import random
import json


headers = {
    "Accept": "*/*",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36"
}


def get_source_html(url):
    chrome_options = Options() # новое обновление selenium
    driver = Service(executable_path="C:\\webdrivers\\chromedriver.exe") # новое обновление selenium
    driver = webdriver.Chrome(options=chrome_options) # новое обновление selenium

    driver.maximize_window()   # открывает на полный экран окно браузера

    try:
        driver.get(url=url)
        time.sleep(3)

        while True:
            find_more_element = driver.find_element(
                By.CLASS_NAME, "catalog-button-showMore")  # новое обновление selenium

            if driver.find_elements(By.CLASS_NAME, "hasmore-text"): # новое обновление selenium
                with open("source-page.html", "w") as file:
                    file.write(driver.page_source)
                break
            else:
                actions = ActionChains(driver)
                actions.move_to_element(find_more_element).perform()
                time.sleep(3)
    except Exception as _ex:
        print(_ex)
    finally:
        driver.close()
        driver.quit()


def get_items_urls(file_path):
    with open (file_path) as file:
        src = file.read()  
                            # хз че это, потом погуглю
    soup = BeautifulSoup(src, "lxml")
    items_divs = soup.find_all("div", class_= "minicard-item__info") # поиcк первого класса

    urls = []
    for item in items_divs:
        item_url = item.find("h2", class_="minicard-item__title").find("a").get("href") # ищем нужные классы для одной больницы  # поиск вторго класса
        urls.append(item_url)

    with open("items_urls.txt", "w") as file: # сохраняем все ссылки
        for url in urls:
            file.write(f"{url}\n")

    return "[INFO] Succesfully"  # успешая згрузка в txt файл

def get_data(file_path):
    with open (file_path) as file:

            urls_list= [url.strip()for url in file.readlines()] # тоже убирает перенос строки,только более короткий способ

    result_list =[]
    urls_count = len(urls_list)
    count = 1

    for url in urls_list:
        response = requests.get( url=url, headers=headers)
        soup = BeautifulSoup(response.text,"lxml")

    try:
        item_name = soup.find("span", {"itemprop":"name"}).text.strip()# ищем span с названием больниц
    except Exception as _ex:
        item_name =None
            

        item_phones_list =[] 
    try:
        item_phones= soup.find("div",class_="service-phones-list").find_all("a", class_="js-phone-number") # ищем нужные классы с номерами телефонов

        for phone in item_phones:
            item_phone = phone.get("href").split(":")[-1].strip() # находим ссылку, разделяем двоеточием, убираем пробелы
            item_phones_list.append(item_phone) #наполянем список на каждой иттерации 
    except Exception as _ex:
            item_phones_list =None
           
    

    try:
        item_address = soup.find("address", class_="iblock").text.strip()# ищем class с адрессом больниц  
    except Exception as _ex:
        item_address =None
    try:
        item_site = soup.find("div", class_= "grid-container bg-gray service-page service-page-premium js-phone-holder").find("div", class_ = "service-website-value").find("a").get("href")
    except Exception as _ex :
        item_site =None

    social_networks_list=[]
    try:
        
        item_vk_link = soup.find("div", class_ = "z-text--13 service-description-social-list").find("a").get("href")
        for i in item_vk_link:
            vk_url = i.get("href")
            sn_short_url = unquote(sn_short_url.split("?to=")[1].split("&")[0]) # укорачиваем ссылку
            social_networks_list.append(vk_url)
    except  Exception as _ex :
        social_networks_list = None
    

    result_list.append(
        {
            "name" :item_name,
            "url": url,
            "phone_number": item_phones_list,
            "address": item_address,
            "site_url": item_site,
            "social_networks_list": social_networks_list
        }

    )
    time.sleep(random.randrange(2,5)) # рандомное приостановление 

    if count%10 == 0:
        time.sleep(random.randrange(5,9)) # рандомное приостановление  на каждой десятой иттерации 
    print(f"[+] Processed: {count}/{urls_count}")
    count += 1 

    with open ("result.json", "w") as file:
        json.dump(result_list, file, indent=4, ensure_ascii=False) # Сохраняем в json файл
    
    return "[INFO] Everything is ok!"

       

def main():
    #get_source_html(url = "https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/")
    #print(get_items_urls(file_path="C:\\Users\Константин\Downloads\dodit\source-page.html"))
    get_data(file_path="C:\\Users\Константин\Downloads\dodit\items_urls.txt")

if __name__ == "__main__":
    main()

у меня очень долго запускается код, а когда запускается, то появляется json файл. Вот что в нем:

[
    {
        "name": "Поликлиника № 2 Тобольская больница",
        "url": "https://tyumen.zoon.ru/medical/poliklinika_2_tobolskaya_bolnitsa/",
        "phone_number": null,
        "address": "Тюменская область,  Тобольск,  Заводская,  8",
        "site_url": null,
        "social_networks_list": null
    }
]

По идее, там должно быть 70 больниц, но их нет. Кстати, вот, что в терминале : [+] Processed: 1/70

Кроме того,есть txt файл с ссылками на все больницы. ВАЖНОЕ ПРИМЕЧАНИЕ. В json файле каким-то образом записалась больница последняя из списка txt файлавведите сюда описание изображения

2
  • 1
    Если все отступы в коде соответствуют тому, что у Вас реально, то всё работает так как и должно. У Вас цикл проходит по всем URL, а вся обработка после цикла, т.е. с последним элементом
    – Evrik
    22 июл 2022 в 12:53
  • Большое спасибо, процесс загрузки пошел,потом напишу,что в json файле. Не думал,что отступы так влияют 22 июл 2022 в 13:09

1 ответ 1

0

Проблема в функции get_data: вы делаете запросы к каждому url:

for url in urls_list:
    response = requests.get( url=url, headers=headers)
    soup = BeautifulSoup(response.text,"lxml")

Но обрабатываете только последний, потому что сама обработка НЕ в цикле.
Чтобы это исправить достаточно весь код после строки soup = BeautifulSoup(response.text,"lxml") и до строки (не включая эту строку) with open ("result.json", "w") as file сдвинуть на один отступ вправо, т.е. внутрь цикла for url in urls_list:

def get_data(file_path):
    with open (file_path) as file:

            urls_list= [url.strip()for url in file.readlines()] # тоже убирает перенос строки,только более короткий способ

    result_list =[]
    urls_count = len(urls_list)
    count = 1

    for url in urls_list:
        response = requests.get( url=url, headers=headers)
        soup = BeautifulSoup(response.text,"lxml")

        try:
            item_name = soup.find("span", {"itemprop":"name"}).text.strip()# ищем span с названием больниц
        except Exception as _ex:
            item_name =None
                

            item_phones_list =[] 
        try:
            item_phones= soup.find("div",class_="service-phones-list").find_all("a", class_="js-phone-number") # ищем нужные классы с номерами телефонов

            for phone in item_phones:
                item_phone = phone.get("href").split(":")[-1].strip() # находим ссылку, разделяем двоеточием, убираем пробелы
                item_phones_list.append(item_phone) #наполянем список на каждой иттерации 
        except Exception as _ex:
                item_phones_list =None
               
        

        try:
            item_address = soup.find("address", class_="iblock").text.strip()# ищем class с адрессом больниц  
        except Exception as _ex:
            item_address =None
        try:
            item_site = soup.find("div", class_= "grid-container bg-gray service-page service-page-premium js-phone-holder").find("div", class_ = "service-website-value").find("a").get("href")
        except Exception as _ex :
            item_site =None

        social_networks_list=[]
        try:
            
            item_vk_link = soup.find("div", class_ = "z-text--13 service-description-social-list").find("a").get("href")
            for i in item_vk_link:
                vk_url = i.get("href")
                sn_short_url = unquote(sn_short_url.split("?to=")[1].split("&")[0]) # укорачиваем ссылку
                social_networks_list.append(vk_url)
        except  Exception as _ex :
            social_networks_list = None
        

        result_list.append(
            {
                "name" :item_name,
                "url": url,
                "phone_number": item_phones_list,
                "address": item_address,
                "site_url": item_site,
                "social_networks_list": social_networks_list
            }

        )
        time.sleep(random.randrange(2,5)) # рандомное приостановление 

        if count%10 == 0:
            time.sleep(random.randrange(5,9)) # рандомное приостановление  на каждой десятой иттерации 
        print(f"[+] Processed: {count}/{urls_count}")
        count += 1 

    with open ("result.json", "w") as file:
        json.dump(result_list, file, indent=4, ensure_ascii=False) # Сохраняем в json файл
    
    return "[INFO] Everything is ok!"

Однако лучше всю обработку вынести в отдельную функцию и уже ёё вызов поместить в цикл, а также вынести сохранение данных в отдельную функцию:

def proc_data(soup):
    try:
        item_name = soup.find("span", {"itemprop":"name"}).text.strip()# ищем span с названием больниц
    except Exception as _ex:
        item_name =None
            

        item_phones_list =[] 
    try:
        item_phones= soup.find("div",class_="service-phones-list").find_all("a", class_="js-phone-number") # ищем нужные классы с номерами телефонов

        for phone in item_phones:
            item_phone = phone.get("href").split(":")[-1].strip() # находим ссылку, разделяем двоеточием, убираем пробелы
            item_phones_list.append(item_phone) #наполянем список на каждой иттерации 
    except Exception as _ex:
            item_phones_list =None
           
    

    try:
        item_address = soup.find("address", class_="iblock").text.strip()# ищем class с адрессом больниц  
    except Exception as _ex:
        item_address =None
    try:
        item_site = soup.find("div", class_= "grid-container bg-gray service-page service-page-premium js-phone-holder").find("div", class_ = "service-website-value").find("a").get("href")
    except Exception as _ex :
        item_site =None

    social_networks_list=[]
    try:
        
        item_vk_link = soup.find("div", class_ = "z-text--13 service-description-social-list").find("a").get("href")
        for i in item_vk_link:
            vk_url = i.get("href")
            sn_short_url = unquote(sn_short_url.split("?to=")[1].split("&")[0]) # укорачиваем ссылку
            social_networks_list.append(vk_url)
    except  Exception as _ex :
        social_networks_list = None
    return {
            "name" :item_name,
            "url": url,
            "phone_number": item_phones_list,
            "address": item_address,
            "site_url": item_site,
            "social_networks_list": social_networks_list
    }

def get_data(file_path):
    with open (file_path) as file:
            urls_list = [url.strip() for url in file.readlines()] # тоже убирает перенос строки,только более короткий способ

    result_list =[]
    urls_count = len(urls_list)
    count = 1

    for url in urls_list:
        response = requests.get( url=url, headers=headers)
        soup = BeautifulSoup(response.text,"lxml")
        result.append(proc_data(soup))
        time.sleep(random.randrange(2,5)) # рандомное приостановление 

        if count%10 == 0:
            time.sleep(random.randrange(5,9)) # рандомное приостановление  на каждой десятой иттерации 
        print(f"[+] Processed: {count}/{urls_count}")
        count += 1
    return result

def save_data(data):
    with open ("result.json", "w") as file:
        json.dump(data, file, indent=4, ensure_ascii=False) # Сохраняем в json файл

Тогда main будет выглядеть так:

def main():
    #get_source_html(url = "https://tyumen.zoon.ru/medical/type/detskaya_poliklinika/")
    #print(get_items_urls(file_path="C:\\Users\Константин\Downloads\dodit\source-page.html"))
    data = get_data(file_path="C:\\Users\Константин\Downloads\dodit\items_urls.txt")
    save_data(data)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.