2

У меня есть код:

from bs4 import BeautifulSoup
import requests
head = {'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1)'}
proxi = {
  'http': 'http://195.9.149.198:8081',
}

query = input('What are you searching for?:  ' )
number = input('How many pages:  ' )
url ='http://www.google.com/search?q='
page = requests.get(url + query, headers=head, proxies=proxi)
for index in range(int(number)):
    soup = BeautifulSoup(page.text, "html.parser")
    next_page=soup.find("a",class_="fl")
    next_link=("https://www.google.com"+next_page["href"])
    h3 = soup.find_all("h3",class_="r")
    for elem in h3:
        elem=elem.contents[0]
        link=("https://www.google.com" + elem["href"])
        print(link)
    page = requests.get(next_link)

Пол дня проработав с данным кодом, послав множественное количества запросов для парсинга url адресов у меня шло все отлично, кроме того когда я добавлял inurl:

Данный код работал безупречно. Но вот через кое-какое количество запросов у меня уже выползала постоянно ошибка TypeError: 'NoneType' object is not subscriptable даже не добавляя inurl:

Я так понял, что появляется капча, и пишется что из моей сети исходит очень подозрительный трафик. И из-за этого блокирует, попробовав добавить headers и делать данное действие через proxi сервер. У меня все ровно выскакивала данная ошибка. Что мне делать?

2
  • Может быть добавить try...catch (на весь код внутри for), а в обработке исключения (то есть тогда, когда вам возвращается капча) засыпать минуты на две?
    – diralik
    30 мая 2017 в 19:29
  • @Дмитрий можете пожалуйста добавить в ответ) 30 мая 2017 в 19:32

2 ответа 2

7

TypeError: 'NoneType' object is not subscriptable

Возникает тогда, когда вы пытаетесь по индексу обратиться к None Объекту.

>>> t = None
>>> t[0]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: 'NoneType' object is not subscriptable

Проверяйте обращение по индексу (там в ошибке должен быть номер строки)

4

Возможным решением может быть обернуть весь код внутри for в try...except, а в месте обработки ошибки засыпать на некоторое время. Мне кажется хорошей идеей немного увеличивать это время после каждой капчи. Например, начать со значения равного пяти секундам, и увеличивать на одну секунду. Возможная реализация:

from time import sleep
from bs4 import BeautifulSoup
import requests

head = {'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; AOL 9.0; Windows NT 5.1)'}
proxi = {
    'http': 'http://195.9.149.198:8081',
}

time_to_sleep_when_captcha = 5
query = input('What are you searching for?:  ')
number = input('How many pages:  ')
url = 'http://www.google.com/search?q='
page = requests.get(url + query, headers=head, proxies=proxi)
for index in range(int(number)):
    try:
        soup = BeautifulSoup(page.text, "html.parser")
        next_page = soup.find("a", class_="fl")
        next_link = ("https://www.google.com" + next_page["href"])
        h3 = soup.find_all("h3", class_="r")
        for elem in h3:
            elem = elem.contents[0]
            link = ("https://www.google.com" + elem["href"])
            print(link)
        page = requests.get(next_link)
    except:
        sleep(time_to_sleep_when_captcha)
        time_to_sleep_when_captcha += 1
17
  • 1
    Это очень гениальная идея! Главное что она работает. 30 мая 2017 в 19:42
  • Но что же мне делать с inurl:index.php она не хочет давать мне результаты, почему оно блокирует именно этот запрос? 30 мая 2017 в 19:43
  • @youhavenopass, не совсем понимаю, что такое inurl, куда вы его добавляете?
    – diralik
    30 мая 2017 в 19:46
  • когда я ввожу inurl:check?uri= или index.php?= для поиска дорков и т.д мне не выдает url адресов. Потому что google походу блокирует данный запрос. Как обойти данную блокировка? 30 мая 2017 в 19:50
  • @youhavenopass, сейчас попробовал поискать в гугле используя inurl и мне тоже предложили ввести капчу. Может быть тебе стоит поискать через браузер, ввести капчу, и тогда, возможно, остальные запросы будут корректно проходить.
    – diralik
    30 мая 2017 в 19:56

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.