0

Я хочу достать фамилии с сайта с фамилиями. В ссылке при переходе на след. страницу у них меняются только номера страниц и названия букв. Поэтому я решил просто перебрать все значения до 20 листов и все буквы, чтобы вытащить в список все фамилии следующим образом:

s = ['а', 'б', 'в', 'г', 'д', 'е', 'ё', 'ж', 'з', 'и', 'й', 'к', 'л', 'м', 'н', 'о', 'п', 'р', 'с', 'т', 'у', 'ф', 'х', 'ц', 'ч', 'ш', 'щ', 'ъ', 'ы', 'ь', 'э', 'ю', 'я']
import requests
from bs4 import BeautifulSoup
surnames = [] # Массив, в который буду записывать фамилии

for a in s:                       # Перебор всех букв алфавита
    for b in range(30):
        c = str(b)                # Перебор всех возможных страниц (проверка до 30 страниц на 1 букву)
    # a - буквы
    # c - цифры от 1 до 90
        part_of_link_1 = 'https://gufo.me/dict/surnames_ru?' # Собираю ссылку
        part_of_link_2 = 'page=' 
        part_of_link_3 = c       
        part_of_link_4 = '&'     
        part_of_link_5 = 'letter='
        part_of_link_6 = a

        next_link = str(part_of_link_1) + str(part_of_link_2) + part_of_link_3 + str(part_of_link_4) + str(part_of_link_5) + part_of_link_6
        # Теперь все ссылки по одной содержатся в next_link
        d = requests.get(next_link) #Проверяем
        if d.status_code == 200: # если ссылка есть
            everything_from_html_page = d.text
            soup = BeautifulSoup(everything_from_html_page, 'html.parser')
            soup.prettify()
            surnames_not_filtered = soup.find_all('li') # Теперь в списке ссылки
            count = len(surnames_not_filtered)          # считаю их количество
            i = 0
            for a in range(count):
                for b in surnames_not_filtered[i]:      # тк мне нужны фамилии в ссылке, а ссылка является одним элементом списка
                                                    # то теперь вытащим фамилию из списка. Сейчас "с" - это одна фамилия (перебираются)
                    for c in b:
                        surnames += [c]  # добавляем фамилии по одной в массив
                        i += 1
        else: # если такой страницы нет
            pass # то пропускаем

Все фамилии (c) выводятся хорошо, но записываться в массив не хотят и ошибка:

next_link = str(part_of_link_1) + str(part_of_link_2) + part_of_link_3 + str(part_of_link_4) + str(part_of_link_5) + part_of_link_6 TypeError: can only concatenate str (not "int") to str

Все элементы в next_link являются строковыми и фамилии заисываются в массив, но в уже конце выдает ошибку. Как убрать ошибку или сделать, чтобы он ее не замечал в конце? Заранее благодарю

5
  • Нужно дебажить, где-то вместо строки приходит число, поэтому выводит ошибку.. Или же все part_of_link оберните в str
    – E1mir
    6 окт 2019 в 7:02
  • @E1mir а как задебажить, если я с sublime text 3 пишу (нет дебага для питона), а через онлайн дебаггеры не хочет import делать?
    – quicky
    6 окт 2019 в 7:08
  • У тебя вроде простой python скрипт, скачай бесплатную версию PyCharm, а там офигенный дебаггер, ну или же VisualStudioCode, там тоже он вроде как неплохой, только настраивать надо будет
    – E1mir
    6 окт 2019 в 7:09
  • @E1mir Вообще все заносится же, как просто сделать программе опускание этой ошибки?
    – quicky
    6 окт 2019 в 7:10
  • Внизу Андрей предложил один вариант который опустит данную ошибку, примени и посмотри) Вроде как должно сработать
    – E1mir
    6 окт 2019 в 7:13

1 ответ 1

0
next_link = f'{part_of_link_1}{part_of_link_2}{part_of_link_3}{part_of_link_4}{part_of_link_5}{part_of_link_6}'
3
  • Ошибка исчезла, но после выполнения всего - не хочет выполнять print(surnames) (хочу посмотреть все фамилии в списке)
    – quicky
    6 окт 2019 в 7:16
  • Все заработало! Можно документацию на то, что вы написали и причину неправильности моего кода? Благодарю
    – quicky
    6 окт 2019 в 7:26
  • @quicky python-scripts.com/f-strings 6 окт 2019 в 7:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.