Вопросы с меткой [beautiful-soup]

Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.

Фильтрация
Сортировка
Метки
0 голосов
1 ответ
26 показов

BS4 парсинг html

Помогите спарсить информацию в ячейках следующего html кода: <tr style="font-weight:bold;"> <td width="450px" style="border-top:2px solid black;font-weight:bold;...
Сергей's user avatar
0 голосов
1 ответ
22 показа

Трансляция динамического элемента со страницы в файл

Как транслировать в txt файл или в Excel быстро изменяющийся элемент на странице? возможно ли это сделать при помощи Selenium или быть может это правильнее реализовать какими-то другими средствами? ...
n1k0la's user avatar
  • 1
0 голосов
0 ответов
5 показов

Как сделать paging страницы google travel без использования selenium подобных модулей?

Пишу на языке: python Модули: BeutifulSoup4, requests, lxml Есть ли способ получить адреса следующих страниц с помощью get запроса, без роботов и вебдрайверов? Пример страницы: https://www.google.com/...
Smile Rex's user avatar
0 голосов
1 ответ
27 показов

Не работает парсер python

Всем привет. я делал парсер python и при выводе текста в консоль он пишет "None", как это можно исправить? вот код: import requests from bs4 import BeautifulSoup URL = "https://ru....
Олег Python's user avatar
0 голосов
1 ответ
41 показ

Парсинг сайта с динамической типизацией без использования Selenium

Попал в какой-то тупик на самом деле, либо не до конца все просмотрел. Больше склоняюсь к первому конечно) import requests url = 'https://store.steampowered.com/specials' s = requests.Session() s....
shezyy's user avatar
  • 89
0 голосов
0 ответов
19 показов

soup.find_all находит не все классы

Использую Суп soup.find_all("div", class_="ticket-title") в DOM дереве наблюдаю как минимум 20 нужных мне классов.Но Суп упорно отбирает только 10.Почему? К XPath привязаться не ...
Андрей Островский's user avatar
0 голосов
0 ответов
29 показов

Python, beautifulsoup. Не получается получить весь текст со страницы

Не получается корректно получить весь текст с одинаковых div'ов На сайте выглядит так: <div class="c-gruppedprops__group-props"> <span class="c-gruppedprops__prop"> ...
doze1121's user avatar
0 голосов
1 ответ
45 показов

Python Beautiful Soup Помогиту удалить "<tr></tr>"

Вот сам код: with open('index.html') as file: src = file.read() soup = BeautifulSoup(src, 'lxml') tram_schedule = soup.find('div', class_='column working-days').find_all('tr') for tram ...
ruslan's user avatar
  • 122
0 голосов
1 ответ
23 показа

Переход между страничками таблицы

Необходимо достать данные с сайта. Табличку можно переключать кнопкой, всего 6000+ страниц import pandas as pd from selenium import webdriver from selenium.webdriver.chrome.options import Options ...
Тёма Воронков's user avatar
0 голосов
2 ответа
129 показов

Как использовать условный оператор, если позиция отсутствует?

import requests from bs4 import BeautifulSoup import csv import openpyxl import pandas as pd import xlsxwriter import xlrd from openpyxl import load_workbook import numpy as np from csv import writer ...
Максим Довгань's user avatar
0 голосов
0 ответов
56 показов

не могу получить ссылку методом get('href')

Всем добрый день. Пытаюсь спарсить сайт, но не могу получить ссылку из href (получаю ответ None) по второй строке. Поставил сообщалку print, чтоб проанализировать строки супа и получаю: <a href=&...
Vitaliy S's user avatar
2 голоса
1 ответ
47 показов

При парсинге берется английская версия сайта

Пишу парсер, который должен брать дату окончания скидки, но почему-то берется именно английская версия сайта, хотя accept-language указан в headers. Помогите пожалуйста парсить русские данные! import ...
shezyy's user avatar
  • 89
0 голосов
1 ответ
24 показа

Python скачивание изображений с BS4

Код скачивает картинку и она занимает место, но при попытке открыть изображение становится 'ничем'... import requests import re from bs4 import BeautifulSoup as bs link = input("Введите ссылку ...
Ja1k3r37's user avatar
0 голосов
1 ответ
30 показов

python парсинг заголовка на сайте

Не могу понять следующую ошибку: l = self.find_all(name, attrs, recursive, string, 1, _stacklevel=3, ^^^^^^^^^^^^^ AttributeError: 'str' object has no attribute 'find_all' import requests ...
Ja1k3r37's user avatar
-5 голосов
1 ответ
620 показов

Как избавиться от ошибки? [закрыт]

Создайте функцию – контекст менеджер, которая будет получать на вход ID валюты и возвращать информацию о ней в виде: (1 шт.) Австралийский доллар стоит(ят) 49,2779 руб. Если такой валюты нет – ошибка ...
Nermen's user avatar
  • 1
0 голосов
0 ответов
18 показов

ERROR_ZERO_CAPTCHA_FILESIZE - Как исправить?

Есть код: def get_download_link_sharewood(self, link, log, password): resp1 = self.session.get('https://s1.sharewood.co/login/login', headers=self.session.headers) soup = BeautifulSoup(resp1....
floydpower's user avatar
2 голоса
1 ответ
42 показа

Найти все ссылки без двоеточий Python

Хочу собрать с Википедии все ссылки, которые не содержат двоеточий. Но при использовании регулярного выражения почему-то всё работает не так, как ожидалось. html = request.urlopen('https://ru....
Dark Space's user avatar
-1 голос
1 ответ
30 показов

Почему при парсинге сайта выдаёт None (bs4)

Почему при парсинге сайта программа не может найти b-page__container? Вместо этого программа выдаёт None. Как это исправить? https://yandex.ru/pogoda/region/225 import requests from bs4 import ...
Даниил's user avatar
0 голосов
0 ответов
30 показов

AttributeError: 'NoneType' object has no attribute 'find' beautifulsoup

столкнулся с ошибкой при получении данных с сайта при помощи модуля реквестс вот что я получаю в переменной soup (20 строка) послу чего происходит ошибка Traceback (most recent call last): ...
user4362745632's user avatar
0 голосов
1 ответ
34 показа

как при парсинге BS4 получить только родителя

<div class="friend_block_content">Kastunaka Double Kill<br> <span class="friend_small_text"> <span class="friend_game_link">Dota 2</...
Scrapy's user avatar
  • 39
0 голосов
2 ответа
22 показа

Найти данные по определенному условию в xml

Имеется XML в таком виде: <old_numbers> <old_number> <number_type> <code>99</code> <value>Иной номер</value> </number_type> ...
Михаил Ширшов's user avatar
0 голосов
0 ответов
21 показ

Бот в дс для верификации через подписку на ютуб канал

У меня есть свой ютуб канал и дс сервер. Я хочу что бы люди, которые заходят в мой дс сервер могли пройти верификацию только если подписаны на мой ютуб. Я попытался реализовать это через парсер. Как ...
AYS's user avatar
  • 1
1 голос
2 ответа
43 показа

Не могу спарсить значение температуры с сайта https://yandex.ru/pogoda/samara

Задача спарсить значение температуры с сайта https://yandex.ru/pogoda/samara. При поиске по тегу выводится значение None пробовал с других сайтов значение погоды брать, та же проблема везде import ...
pokerfrim's user avatar
0 голосов
0 ответов
107 показов

Как парсить динамический контент на сайте

Есть некий контент на странице: Это размеры одежды которые есть и те которых не осталось Чем нужно парсить страницу чтобы получить точные данные Вот ссылка на пример страницы Вот HTML код с ...
Parzifal's user avatar
5 голосов
2 ответа
81 показ

BeautifulSoup не видит теги, вложенные в тег <h4>

Проблема описана в заголовке. Больше и сказать нечего. 2 дня бился на рабочем сайте - ничего понять не мог. В конце-концов создал минимально воспроизводимый пример. Имеем HTML файл: <!DOCTYPE html&...
Sergey's user avatar
  • 13.2k
0 голосов
0 ответов
146 показов

Как парсить крупные маркетплейсы по типу Ozon, DNS и другие

Решил освоить тему парсинга. Нашёл первый же гайд на ютубе. Решил с ходу повторять за автором, но вместо парсинга каких-то малоизвестных сайтов, решил собрать информацию с OZON. Собственно говоря, вот ...
Cygnus_bewickii's user avatar
-4 голоса
1 ответ
37 показов

как вывести жанры (types) аниме

как вывести жанры (types) аниме, либо выводит весь текст, либо если ты добавил get_text(), пишет ошибку Ошибка в 20 строке types": item.find("span", class_ = "anime-genre d-none d-...
rmkhv's user avatar
  • 3
0 голосов
1 ответ
19 показов

Почему regex в качестве параметра xml.findall не работает?

Есть xml-файл примерно вот такого содержания: <?xml version="1.0" encoding="utf-8"?> <recipes> <recipe> <id>44123</id> <steps> <step ...
Ирина Мухомор's user avatar
1 голос
1 ответ
70 показов

Программа доходит максимум до 1200 игр, хотя всего их 7350, таймер пытался увеличивать, ничего не поменялось, а надо брать все 7350 игр

from selenium import webdriver, common import time from bs4 import BeautifulSoup from selenium import webdriver import time from selenium.webdriver.chrome.options import Options from selenium....
shezyy's user avatar
  • 89
1 голос
1 ответ
113 показов

Создаю парсер, который должен парсить страницу со скидками стима, но в результате парсинга в результате дается только 3-4 игры

from bs4 import BeautifulSoup from selenium import webdriver import time from selenium.webdriver.chrome.options import Options from selenium.webdriver.chrome.service import Service url = f'https://...
shezyy's user avatar
  • 89
0 голосов
1 ответ
41 показ

Как записать все значения в csv файл?

Пишу такой парсер, но в файл записывается только одна строка, не разделённая по столбцам, хотя условие all вроде бы стоит. Данные беру только из тега "р" потому что в других блоках, например ...
Voort's user avatar
  • 45
0 голосов
1 ответ
40 показов

Как записать результаты парсинга из сохранённой страницы в csv файл?

Использую вот такой код, пытаюсь вытащить данные из сохранённой html-страницы: from bs4 import BeautifulSoup import codecs import os import lxml import csv f = codecs.open("ZHVACHKA.html", '...
Voort's user avatar
  • 45
0 голосов
0 ответов
25 показов

В некоторых случаях нет элемента парсинга и тогда выдаёт ошибку

Я новичок в этом деле и как первый проект я решил написать парсер информации с аниме сайта jut.su/user/AngelicKing/anime. Но проблема в том, что при получении оценок аниме от пользователей получаю ...
m0Lb's user avatar
  • 21
0 голосов
0 ответов
35 показов

Как записать результаты парсинга python в json? (windows)

soup = BeautifulSoup(html, "lxml") products = soup.findAll("div", class_="tovar") products_json = [products] for product in products: try: product_name = ...
Voort's user avatar
  • 45
0 голосов
1 ответ
45 показов

Запарсить ссылку из таблицы в википедии на python

r = requests.get(url=url, headers=headers) with open("index.html", "w", encoding="utf-8") as file: file.write(r.text) soup = BeautifulSoup(r.text, "lxml") ...
AkiraZXC's user avatar
1 голос
1 ответ
44 показа

При парсинге html Beautiful Soup выдает пустой список

import requests from bs4 import BeautifulSoup URL = 'https://store.steampowered.com/specials/' r = requests.get(URL) soup = BeautifulSoup(r.text, 'html.parser') games = soup.find_all('div', class_='...
shezyy's user avatar
  • 89
0 голосов
2 ответа
103 показа

Убрать пустые строки или неразрывный пробел BS4

Пытаюсь вывести описание ресторана, но в нём есть символы неразрывного пробела, или что-то типа того, которые никак не удаётся убрать. Подскажите, пожалуйста, как от этого можно избавиться? upd: ...
xOrb1t's user avatar
  • 3
1 голос
1 ответ
46 показов

Как запарсить нужный класс если он дублируется. Python

Есть сайт с погодой, хочу запарсить определенный класс, но их несколько. Как обратиться к нужному? Вот что у меня сейчас: for temp in soup.find_all('span', class_ = 'unit unit_temperature_c'): ...
ADDDoN's user avatar
  • 49
0 голосов
0 ответов
31 показ

При парсинге данных с сайта получаю пустой список

Как и сказано в заголовке, парсер все время возвращает пустой список. Вот кусок, который надо спарсить, а именно, числовое значение: вот моя прога: import requests from bs4 import BeautifulSoup #...
kirill_zet's user avatar
0 голосов
1 ответ
29 показов

Проблема с языком при парсинге сайта

При парсинге страницы данные упорно выдает на китайском языке, хотя в html шаблоне стоит en from bs4 import BeautifulSoup import requests #headers = {"Accept-Language": "en-US,en;q=0.5&...
Антон Николаев's user avatar
0 голосов
1 ответ
15 показов

Не могу получить атрибут

Не могу получить атрибут href и записать в json, помогите пожалуйста import time import requests from bs4 import BeautifulSoup import json import lxml from selenium.webdriver.common.by import By from ...
Akatsyki's user avatar
0 голосов
1 ответ
246 показов

Как подключить расширение vpn к selenium?

Есть расширение VPN в браузере Chrome, по умолчанию vpn включается вместе с браузером. Есть скрипт, который парсит страницы с иностранного сайта новостей и сохраняет в .csv . Скрипт работает в форме ...
YarBurArt's user avatar
0 голосов
1 ответ
16 показов

Нету класса у блока span

из за того что на некоторых отелях нету оценки, выдает ошибку что у блока нету атрибута текст. Как можно обойти это код: import requests import lxml from bs4 import BeautifulSoup import csv def ...
Fesol's user avatar
  • 39
0 голосов
1 ответ
25 показов

Как сделать исключение?

Во время парсинга отелей, у одного из тегов 'a' нету класса(у остальных есть). Как мне сделать исключение? код: import requests import lxml from bs4 import BeautifulSoup import csv def get_data(url): ...
Fesol's user avatar
  • 39
0 голосов
1 ответ
52 показа

python 'NoneType' object has no attribute 'text'

import datetime import requests import lxml from bs4 import BeautifulSoup from fake_useragent import UserAgent url = 'https://magnit.ru/promo/' def collect_data(city_code='2398'): cur_time = ...
Fesol's user avatar
  • 39
2 голоса
1 ответ
51 показ

name 'headers' is not defined

Недавно я начал изучать питон и столкнулся с данной проблемой Нижу я прикрепил код, проблема может быть видна, но я не знаю где Заранее спасибо! import requests from bs4 import BeautifulSoup from ...
Fesol's user avatar
  • 39
0 голосов
1 ответ
60 показов

Как в bs4 удалить дочерний тег?

У тега 'p' есть дочерний тег 'strong', как его удалить из выдачи? soup = BeautifulSoup(r.text , "html.parser") import re for tag in soup.find_all(re.compile('^p'): print(tag)
Alexandr's user avatar
0 голосов
1 ответ
26 показов

Обнуляется html файл с кодом сайта, когда в него заходишь в браузере. Python

Мне нужна полная копия страницы для дальнейшего парсинга, но при открытии html файла сама страница держится всего пару секунд, как это обойти Как обойти ошибку 403 при get запросе этого сайта https://...
Алексей Сафонов's user avatar
-1 голос
2 ответа
56 показов

Python парсинг. Страница не отображает нужные элементы

Хочу спарсить некоторые игры вот здесь https://stopgame.ru/topgames?year_end=2022&p=1 , проблема в том, что html код который я получаю в программе не тот , который наблюдаю на сайте , мне нужно ...
Руслан Камов's user avatar
0 голосов
2 ответа
21 показ

Скрипт не может добавить спаршенные данные в список

Скрипт не может добавить спаршенные данные в список. Код: def test(soup): trs_0 = soup.findAll('div', class_='rcnt tr_0') for i in range(len(trs_0)): fprc = trs_0[i].find('...
C-5807's user avatar
  • 1