0

Есть вот такая страница:

function getCookie(name) {
      let matches = document.cookie.match(new RegExp(
          "(?:^|; )" + name.replace(/([\.$?*|{}\(\)\[\]\\\/\+^])/g, '\\$1') + "=([^;]*)"
      ));
      return matches ? decodeURIComponent(matches[1]) : undefined;
  };

var theme = getCookie("theme");
document.getElementById("cookie").innerHTML = theme;
<!DOCTYPE html>
<html>
<body>
    <p id="cookie"></p>
    <script src="/assets/js/cookies.js"></script>
</body>
</html>

Это просто страница для обучения парсингу данных с html. Всё парсится просто замечательно, но есть одно НО! Тут должны быть в value cookie, которые передаются странице из js, но я их не наблюдаю.

Как мне получить страницу с уже введёнными cookie?

Парсинг страницы провожу через requests вот таким образом: res = requests.get("http://localhost/cookie.py")

При парсинге я получаю только вот это:

<!DOCTYPE html>
<html>
<body>
    <p id="cookie"></p>
    <script src="/assets/js/cookies.js"></script>
</body>
</html>

Хотя в <p id="cookie"></p> должны быть данные. Что с этим делать?

PS Понял что requests не подходит для этого, т.к. не ждёт конца загрузки страницы. Как дождаться конца загрузки страницы и спарсить уже с данными?

1 ответ 1

0

У requests есть класс Session, который по идее отвечает за хранение cookie и авторизационной информации.

session = requests.Session()
session.get(..)
session.post(...)
2
  • Это всё хорошо, но куки я просто взял чтобы можно было хоть какую-то информацию взять. А на деле мне надо вытащить то значение, которое js передаёт в параграф html файла, но я не знаю как правильно спрасить его...
    – DGDays
    19 ноя 2020 в 5:17
  • Куки посмотреть после запроса можно в сессии. А вот вытащить текст, который js прописывает через requests не получится. Надо парсить с помощью Selenium - то есть фактически через браузер - вот, например, статейка об этом: proglib.io/p/web-scraping
    – Quercus
    19 ноя 2020 в 7:05

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.