1

Выполнил авторизацию:

import requests
from bs4 import BeautifulSoup as BS

HEADERS = 'Тут user-agent'

url = 'https://twitter.com/sessions'

session = requests.Session()
r = session.get(url, headers = {
    'User-Agent': HEADERS
})

post_requests = session.post(url, {
     'username': 'логин',
     'password': 'пароль' 
})

Далее нужно перейти на https://twitter.com/elonmusk/followers и спарсить первых 100 фолловеров, но когда перехожу:

s = session.get('https://twitter.com/home', headers = HEADERS)
soup = BS(s.content, "html.parser")
title = soup.find("span", class_ = 'css-901oao css-16my406 r-1qd0xha r-ad9z0x r-bcqeeo r-qvutc0').text
print(title)

получаю ошибку:

for header in headers.items():
AttributeError: 'str' object has no attribute 'items'

Пожалуйста помогите

1 ответ 1

0

session.get в параметре headers ожидает dictionary с HTTP заголовками, а не строку.

s = session.get('https://twitter.com/home', headers = {
    'User-Agent': HEADERS,
})

Точно так же, как вы уже делали при авторизации.

1
  • soup = BS(s.content, "html.parser") title = soup.find("span", class_ = 'css-901oao css-16my406 r-1qd0xha r-ad9z0x r-bcqeeo r-qvutc0') print(title) сделал как вы написали, но при попытке парсинга выдает None
    – Ylanaish
    15 мая 2020 в 7:46

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.