Вопросы с меткой [beautiful-soup]
Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.
882
вопроса
0
голосов
1
ответ
26
показов
BS4 парсинг html
Помогите спарсить информацию в ячейках следующего html кода:
<tr style="font-weight:bold;">
<td width="450px" style="border-top:2px solid black;font-weight:bold;...
0
голосов
1
ответ
22
показа
Трансляция динамического элемента со страницы в файл
Как транслировать в txt файл или в Excel быстро изменяющийся элемент на странице? возможно ли это сделать при помощи Selenium или быть может это правильнее реализовать какими-то другими средствами? ...
0
голосов
0
ответов
5
показов
Как сделать paging страницы google travel без использования selenium подобных модулей?
Пишу на языке: python
Модули: BeutifulSoup4, requests, lxml
Есть ли способ получить адреса следующих страниц с помощью get запроса, без роботов и вебдрайверов?
Пример страницы: https://www.google.com/...
0
голосов
1
ответ
27
показов
Не работает парсер python
Всем привет. я делал парсер python и при выводе текста в консоль он пишет "None", как это можно исправить?
вот код:
import requests
from bs4 import BeautifulSoup
URL = "https://ru....
0
голосов
1
ответ
41
показ
Парсинг сайта с динамической типизацией без использования Selenium
Попал в какой-то тупик на самом деле, либо не до конца все просмотрел. Больше склоняюсь к первому конечно)
import requests
url = 'https://store.steampowered.com/specials'
s = requests.Session()
s....
0
голосов
0
ответов
19
показов
soup.find_all находит не все классы
Использую Суп soup.find_all("div", class_="ticket-title") в DOM дереве наблюдаю как минимум 20 нужных мне классов.Но Суп упорно отбирает только 10.Почему?
К XPath привязаться не ...
0
голосов
0
ответов
29
показов
Python, beautifulsoup. Не получается получить весь текст со страницы
Не получается корректно получить весь текст с одинаковых div'ов
На сайте выглядит так:
<div class="c-gruppedprops__group-props">
<span class="c-gruppedprops__prop">
...
0
голосов
1
ответ
45
показов
Python Beautiful Soup Помогиту удалить "<tr></tr>"
Вот сам код:
with open('index.html') as file:
src = file.read()
soup = BeautifulSoup(src, 'lxml')
tram_schedule = soup.find('div', class_='column working-days').find_all('tr')
for tram ...
0
голосов
1
ответ
23
показа
Переход между страничками таблицы
Необходимо достать данные с сайта. Табличку можно переключать кнопкой, всего 6000+ страниц
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
...
0
голосов
2
ответа
129
показов
Как использовать условный оператор, если позиция отсутствует?
import requests
from bs4 import BeautifulSoup
import csv
import openpyxl
import pandas as pd
import xlsxwriter
import xlrd
from openpyxl import load_workbook
import numpy as np
from csv import writer
...
0
голосов
0
ответов
56
показов
не могу получить ссылку методом get('href')
Всем добрый день. Пытаюсь спарсить сайт, но не могу получить ссылку из href (получаю ответ None) по второй строке. Поставил сообщалку print, чтоб проанализировать строки супа и получаю:
<a href=&...
2
голоса
1
ответ
47
показов
При парсинге берется английская версия сайта
Пишу парсер, который должен брать дату окончания скидки, но почему-то берется именно английская версия сайта, хотя accept-language указан в headers. Помогите пожалуйста парсить русские данные!
import ...
0
голосов
1
ответ
24
показа
Python скачивание изображений с BS4
Код скачивает картинку и она занимает место, но при попытке открыть изображение становится 'ничем'...
import requests
import re
from bs4 import BeautifulSoup as bs
link = input("Введите ссылку ...
0
голосов
1
ответ
30
показов
python парсинг заголовка на сайте
Не могу понять следующую ошибку:
l = self.find_all(name, attrs, recursive, string, 1, _stacklevel=3,
^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'find_all'
import requests
...
-5
голосов
1
ответ
620
показов
Как избавиться от ошибки? [закрыт]
Создайте функцию – контекст менеджер, которая будет получать на вход ID валюты и возвращать информацию о ней в виде:
(1 шт.) Австралийский доллар стоит(ят) 49,2779 руб.
Если такой валюты нет – ошибка ...
0
голосов
0
ответов
18
показов
ERROR_ZERO_CAPTCHA_FILESIZE - Как исправить?
Есть код:
def get_download_link_sharewood(self, link, log, password):
resp1 = self.session.get('https://s1.sharewood.co/login/login', headers=self.session.headers)
soup = BeautifulSoup(resp1....
2
голоса
1
ответ
42
показа
Найти все ссылки без двоеточий Python
Хочу собрать с Википедии все ссылки, которые не содержат двоеточий. Но при использовании регулярного выражения почему-то всё работает не так, как ожидалось.
html = request.urlopen('https://ru....
-1
голос
1
ответ
30
показов
Почему при парсинге сайта выдаёт None (bs4)
Почему при парсинге сайта программа не может найти b-page__container? Вместо этого программа выдаёт None.
Как это исправить?
https://yandex.ru/pogoda/region/225
import requests
from bs4 import ...
0
голосов
0
ответов
30
показов
AttributeError: 'NoneType' object has no attribute 'find' beautifulsoup
столкнулся с ошибкой при получении данных с сайта при помощи модуля реквестс
вот что я получаю в переменной soup (20 строка)
послу чего происходит ошибка
Traceback (most recent call last):
...
0
голосов
1
ответ
34
показа
как при парсинге BS4 получить только родителя
<div class="friend_block_content">Kastunaka Double Kill<br>
<span class="friend_small_text">
<span class="friend_game_link">Dota 2</...
0
голосов
2
ответа
22
показа
Найти данные по определенному условию в xml
Имеется XML в таком виде:
<old_numbers>
<old_number>
<number_type>
<code>99</code>
<value>Иной номер</value>
</number_type>
...
0
голосов
0
ответов
21
показ
Бот в дс для верификации через подписку на ютуб канал
У меня есть свой ютуб канал и дс сервер. Я хочу что бы люди, которые заходят в мой дс сервер могли пройти верификацию только если подписаны на мой ютуб. Я попытался реализовать это через парсер. Как ...
1
голос
2
ответа
43
показа
Не могу спарсить значение температуры с сайта https://yandex.ru/pogoda/samara
Задача спарсить значение температуры с сайта https://yandex.ru/pogoda/samara.
При поиске по тегу выводится значение None
пробовал с других сайтов значение погоды брать, та же проблема везде
import ...
0
голосов
0
ответов
107
показов
Как парсить динамический контент на сайте
Есть некий контент на странице:
Это размеры одежды которые есть и те которых не осталось
Чем нужно парсить страницу чтобы получить точные данные
Вот ссылка на пример страницы
Вот HTML код с ...
5
голосов
2
ответа
81
показ
BeautifulSoup не видит теги, вложенные в тег <h4>
Проблема описана в заголовке. Больше и сказать нечего. 2 дня бился на рабочем сайте - ничего понять не мог. В конце-концов создал минимально воспроизводимый пример.
Имеем HTML файл:
<!DOCTYPE html&...
0
голосов
0
ответов
146
показов
Как парсить крупные маркетплейсы по типу Ozon, DNS и другие
Решил освоить тему парсинга. Нашёл первый же гайд на ютубе. Решил с ходу повторять за автором, но вместо парсинга каких-то малоизвестных сайтов, решил собрать информацию с OZON. Собственно говоря, вот ...
-4
голоса
1
ответ
37
показов
как вывести жанры (types) аниме
как вывести жанры (types) аниме, либо выводит весь текст, либо если ты добавил get_text(), пишет ошибку
Ошибка в 20 строке
types": item.find("span", class_ = "anime-genre d-none d-...
0
голосов
1
ответ
19
показов
Почему regex в качестве параметра xml.findall не работает?
Есть xml-файл примерно вот такого содержания:
<?xml version="1.0" encoding="utf-8"?>
<recipes>
<recipe>
<id>44123</id>
<steps>
<step ...
1
голос
1
ответ
70
показов
Программа доходит максимум до 1200 игр, хотя всего их 7350, таймер пытался увеличивать, ничего не поменялось, а надо брать все 7350 игр
from selenium import webdriver, common
import time
from bs4 import BeautifulSoup
from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
from selenium....
1
голос
1
ответ
113
показов
Создаю парсер, который должен парсить страницу со скидками стима, но в результате парсинга в результате дается только 3-4 игры
from bs4 import BeautifulSoup
from selenium import webdriver
import time
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
url = f'https://...
0
голосов
1
ответ
41
показ
Как записать все значения в csv файл?
Пишу такой парсер, но в файл записывается только одна строка, не разделённая по столбцам, хотя условие all вроде бы стоит. Данные беру только из тега "р" потому что в других блоках, например ...
0
голосов
1
ответ
40
показов
Как записать результаты парсинга из сохранённой страницы в csv файл?
Использую вот такой код, пытаюсь вытащить данные из сохранённой html-страницы:
from bs4 import BeautifulSoup
import codecs
import os
import lxml
import csv
f = codecs.open("ZHVACHKA.html", '...
0
голосов
0
ответов
25
показов
В некоторых случаях нет элемента парсинга и тогда выдаёт ошибку
Я новичок в этом деле и как первый проект я решил написать парсер информации с аниме сайта jut.su/user/AngelicKing/anime. Но проблема в том, что при получении оценок аниме от пользователей получаю ...
0
голосов
0
ответов
35
показов
Как записать результаты парсинга python в json? (windows)
soup = BeautifulSoup(html, "lxml")
products = soup.findAll("div", class_="tovar")
products_json = [products]
for product in products:
try:
product_name = ...
0
голосов
1
ответ
45
показов
Запарсить ссылку из таблицы в википедии на python
r = requests.get(url=url, headers=headers)
with open("index.html", "w", encoding="utf-8") as file:
file.write(r.text)
soup = BeautifulSoup(r.text, "lxml")
...
1
голос
1
ответ
44
показа
При парсинге html Beautiful Soup выдает пустой список
import requests
from bs4 import BeautifulSoup
URL = 'https://store.steampowered.com/specials/'
r = requests.get(URL)
soup = BeautifulSoup(r.text, 'html.parser')
games = soup.find_all('div', class_='...
0
голосов
2
ответа
103
показа
Убрать пустые строки или неразрывный пробел BS4
Пытаюсь вывести описание ресторана, но в нём есть символы неразрывного пробела, или что-то типа того, которые никак не удаётся убрать. Подскажите, пожалуйста, как от этого можно избавиться?
upd: ...
1
голос
1
ответ
46
показов
Как запарсить нужный класс если он дублируется. Python
Есть сайт с погодой, хочу запарсить определенный класс, но их несколько.
Как обратиться к нужному?
Вот что у меня сейчас:
for temp in soup.find_all('span', class_ = 'unit unit_temperature_c'):
...
0
голосов
0
ответов
31
показ
При парсинге данных с сайта получаю пустой список
Как и сказано в заголовке, парсер все время возвращает пустой список.
Вот кусок, который надо спарсить, а именно, числовое значение:
вот моя прога:
import requests
from bs4 import BeautifulSoup
#...
0
голосов
1
ответ
29
показов
Проблема с языком при парсинге сайта
При парсинге страницы данные упорно выдает на китайском языке, хотя в html шаблоне стоит en
from bs4 import BeautifulSoup
import requests
#headers = {"Accept-Language": "en-US,en;q=0.5&...
0
голосов
1
ответ
15
показов
Не могу получить атрибут
Не могу получить атрибут href и записать в json, помогите пожалуйста
import time
import requests
from bs4 import BeautifulSoup
import json
import lxml
from selenium.webdriver.common.by import By
from ...
0
голосов
1
ответ
246
показов
Как подключить расширение vpn к selenium?
Есть расширение VPN в браузере Chrome, по умолчанию vpn включается вместе с браузером. Есть скрипт, который парсит страницы с иностранного сайта новостей и сохраняет в .csv . Скрипт работает в форме ...
0
голосов
1
ответ
16
показов
Нету класса у блока span
из за того что на некоторых отелях нету оценки, выдает ошибку что у блока нету атрибута текст. Как можно обойти это
код:
import requests
import lxml
from bs4 import BeautifulSoup
import csv
def ...
0
голосов
1
ответ
25
показов
Как сделать исключение?
Во время парсинга отелей, у одного из тегов 'a' нету класса(у остальных есть). Как мне сделать исключение?
код:
import requests
import lxml
from bs4 import BeautifulSoup
import csv
def get_data(url):
...
0
голосов
1
ответ
52
показа
python 'NoneType' object has no attribute 'text'
import datetime
import requests
import lxml
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
url = 'https://magnit.ru/promo/'
def collect_data(city_code='2398'):
cur_time = ...
2
голоса
1
ответ
51
показ
name 'headers' is not defined
Недавно я начал изучать питон и столкнулся с данной проблемой
Нижу я прикрепил код, проблема может быть видна, но я не знаю где
Заранее спасибо!
import requests
from bs4 import BeautifulSoup
from ...
0
голосов
1
ответ
60
показов
Как в bs4 удалить дочерний тег?
У тега 'p' есть дочерний тег 'strong', как его удалить из выдачи?
soup = BeautifulSoup(r.text , "html.parser")
import re
for tag in soup.find_all(re.compile('^p'):
print(tag)
0
голосов
1
ответ
26
показов
Обнуляется html файл с кодом сайта, когда в него заходишь в браузере. Python
Мне нужна полная копия страницы для дальнейшего парсинга, но при открытии html файла сама страница держится всего пару секунд, как это обойти
Как обойти ошибку 403 при get запросе этого сайта https://...
-1
голос
2
ответа
56
показов
Python парсинг. Страница не отображает нужные элементы
Хочу спарсить некоторые игры вот здесь https://stopgame.ru/topgames?year_end=2022&p=1 , проблема в том, что html код который я получаю в программе не тот , который наблюдаю на сайте , мне нужно ...
0
голосов
2
ответа
21
показ
Скрипт не может добавить спаршенные данные в список
Скрипт не может добавить спаршенные данные в список.
Код:
def test(soup):
trs_0 = soup.findAll('div', class_='rcnt tr_0')
for i in range(len(trs_0)):
fprc = trs_0[i].find('...