Вопросы с меткой [beautiful-soup]
Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.
453
вопроса
0
голосов
1ответ
12 показов
Парсинг BeautifulSoup как спарсить элементы имеющие один класс и не имеющие другого?
Как спарсить item не спарсив при этом item title используя BeautifulSoup?
<div class="item title">
<span class="letter"></span>
</div>
<div class=&...
1
голос
1ответ
29 показов
Python 3, запись данных из цикла в переменную
Есть скрипт парсера на python 3.8 который я использую для парсинга значения слов на английском языке, который по итогу своей работы должен записать данные в файл. Чтобы получить определённые фрагменты ...
0
голосов
1ответ
24 показа
selenium не отдает часть html от страницы
собираю информацию с сайта одного института, url ниже, и хочу взять ссылки сотрудников и их имена, driver подгружает эту информацию её видно в браузере, но html который берется то есть page_source в ...
0
голосов
1ответ
16 показов
Фильтрация текста и ссылок
Нужно получить href и текст из тэга "a" с помощью beautifulsoup
Не знаю как переделать этот код под эту задачу:
def main(speed):
global cycle, url, response, soup
while True:
...
0
голосов
1ответ
33 показа
Парсер на Beautifulsoup + Selenium не парсит элементы со всей прокручивающейся страницы (бесконечный скролл)
Идея – парсер, который собирает артикулы только без картинок, т.е. с содержанием src в виде файла с расширением svg.
Но страница прокручивается полностью, а парсятся максимум первые 30 артикулов.
...
0
голосов
0ответов
31 показ
Парсинг картинок на Python
Хочу спарсить нужные мне "мемы", вот код все работает но получает только 30 картинок, как это исправить?
import requests
from urllib import request, parse
from json import loads
from bs4 ...
0
голосов
2ответа
29 показов
Как спарсить все страницы сайта , загружая только одну страницу
Сайт https://www.livelib.ru/reader/LushbaughPizzicato/read/ автоматически подгружает 20 книг, если нажать "показать еще" он подгрузит еще 20 книг, как можно сделать, чтобы подгрузились ...
0
голосов
1ответ
22 показа
Python BeautifulSoup получить цену [закрыт]
<span class="price"><span>Цена:</span> 58 436 <span class="currency">руб.</span></span>
Как получить только 58436 ?
0
голосов
1ответ
42 показа
Проблема с некорректной работой bs4 BeautifulSoup
response = requests.get(main_page)
html = response.content
html
Выдает, соответственно, неформатированный html файл. И, казалось бы, BeautifulSoup должен сделать из этого структурированное дерево
...
0
голосов
1ответ
41 показ
beautifulsoup не видит сlass при парсинге
float = soup.find('div', class_='text-muted text-center').get_text()
Не видит этот класс, ничего не хочет с ним делать. Div выше - видит, ниже - тоже, а этот не хочет...
PS Использую request и bs4
-1
голос
0ответов
32 показа
Выделен текст жёлтым, не работает парсер [закрыт]
from bs4 import BeautifulSoup
import requests as req
import pandas as pd
import xlsxwriter
import time
new = time.asctime()
def goParse():
page_num = 1
URL = f'https://jut.su/anime/page-{...
0
голосов
1ответ
17 показов
Не получается получить доступ к сайту, блокируется остальной код, парсинг
import requests
from bs4 import BeautifulSoup
import requests as req
import pandas as pd
import xlsxwriter
import time
new = time.asctime()
def goParse():
page_num = 1
URL = 'https://...
-1
голос
1ответ
39 показов
Ошибка при парсинге IndexError: list index out of range [закрыт]
Пишу парсер, выдает ошибку IndexError: list index out of range на line 20. Хочу добиться вывода похожий на [{'title': 'Энергоуголь XXI', 'city': 'Сарань', 'price': '12,24'}]
from bs4 import ...
0
голосов
1ответ
51 показ
Как правильно записать словарь в файл?
Код:
for tr_time in trs:
time_game = tr_time.find('td', class_='first time')
if time_game:
clear_time_game = time_game.text[:5]
# print(clear_time_game)...
0
голосов
1ответ
33 показа
Парсер забирает текст, но не выводит его в консоль
Код:
def g():
r = requests.get()
def get_page_data(html):
soup = BeautifulSoup(html)
trs = soup.find_all('tr')
for tr2 in trs: # Попытка забрать время
try:
...
0
голосов
1ответ
22 показа
Как собрать все теги на странице?
Код:
def g():
r = requests.get()
def write_csv(data):
with open('cmc.csv') as f:
writer = csv.writer(f)
def get_page_data():
soup = BeautifulSoup(html)
Как собрать ...
0
голосов
1ответ
38 показов
Как извлечь информацию из страниц по списку url с помощью python?
У меня есть список urls. Список состоит из нескольких сотен urls.
Каждый из urls относится к отдельной странице со своей структурой, соответственно структура страниц по каждому из urls разная.
Я хочу ...
1
голос
1ответ
26 показов
Ошибка в работе парсера, запись в Excel файл
from bs4 import BeautifulSoup
import requests as req
import pandas as pd
link = 'https://habr.com/ru/top/page2/'
def make_Hyperlink(text, link):
return '=HYPERLINK("%s", "%s" ...
0
голосов
1ответ
34 показа
Не удается обратится к div, нет атрибута 'find'
Код:
def get_html(url):
print(url)
r = requests.get(url)
return r.text
def get_data(html):
soup = BeautifulSoup(html, 'lxml')
pl_list = soup.find('div', id='80').find('div', ...
0
голосов
1ответ
17 показов
requests.get выдает неполную html страницу
Мне нужно достать названия товаров, вот сайт https://inkafarma.pe/categoria/salud/problemas-digestivos Пробовал передать в requests.get heeaders, не помогло. как я понял сервер подгружает мне скрипты ...
0
голосов
1ответ
36 показов
Как извлечь <p>, когда классы одинаковые?
Столкнулся с проблемой при разработке парсера: 'tariff' : item.find() должен спарсить <div class="col col-currency-rate"><p>**12,24**</p><p>**с использованием ...
0
голосов
0ответов
22 показа
Библиотеки requests and BeautifulSoup не работает код из учебника
Изучаю Python, в книге (Автоматизация рутинных задачь с помощью Python) есть код который должен открывать первые 5 ссылок по запросу на гугл, но что-то не так, в классе тега указан "r", ...
2
голоса
2ответа
40 показов
При парсинге данных получаю пустой список
Надо спарсить необходимые данные, они на сайте размещены но при попытке парсинга я получаю пустой список.
from bs4 import BeautifulSoup
URL = 'https://auto.ria.com/uk/legkovie/jeep/'
HEADERS = {'user-...
0
голосов
1ответ
27 показов
помогите c парсером на python
На сайте http://burlang.ru/ нужно вставить в поле ввода слово на русском, и сохранить полученный перевод.
Вот как я это делаю:
import requests
from bs4 import BeautifulSoup
user_agent = ""
...
0
голосов
1ответ
31 показ
как получить soup на странице которая имеет загрузку
Захотелось спарсить с этого сайта книгу, парсить сайты которые загружают свой код сразу я более-менее умею, а такие как эти - нет. Как получить soup с этого сайта после загрузки книги?
Изменено:
...
0
голосов
0ответов
18 показов
Помогите разобраться, видимо что-то с кодировкой, Питон 3
Изучаю програмирование, начал с Питона. Застрял на моменте библиотек BeautifulSoup, пологаю, что дело в кодировках. Прочитал достаточно много статей на эту тему, и не понимаю как правильно нужно ...
0
голосов
1ответ
66 показов
Авторизация на сайте используя requests
Сама проблема - мне нужно переписать код программы указанной ниже на python(не всю программу а только код логина с помощью requests на сайт https://vega.ua/)
Итак есть программа AnyBalance на андройд ...
0
голосов
1ответ
41 показ
Как вытащить “Нужный текст” [закрыт]
<a class="filter__link">Нужный текст<span class="filter__count" >Ненужный текст</span></a>
Как вытащить "Нужный текст" из такой структуры html?
2
голоса
1ответ
45 показов
ошибка в работе парсера
Ошибки в консоли нет, однако в консоли нет и конечного кода.
Все что выводиться в консоли: Process finished with exit code 0
Сам код:
import requests
from bs4 import BeautifulSoup
def parse():
...
2
голоса
1ответ
41 показ
Ошибка в работе парсера: 'NoneType' object has no attribute 'get_text'
Код:
import requests
from bs4 import BeautifulSoup
URL = 'https://auto.ria.com/newauto/marka-jeep/'
HEADERS = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, ...
1
голос
1ответ
60 показов
Вопрос по парсингу
В html коде страницы есть:
В парсере в список контента я добавляю item таким образом:
hero = item.find('td', class_='cell-xlarge').get('data-value')
На выходе ошибка:
AttributeError: 'NoneType' ...
0
голосов
1ответ
24 показа
Не отображаются данные при реализации парсинга Python
заинтересовался идеей парсинга на Python.Суть такова , нужно получить информацию : Цена , название и ссылка с сайта https://matraster.ru/matrasy-ceny/
Написал вот такой код
import requests
def save()...
0
голосов
0ответов
26 показов
Не работает парсинг bs4 на сервере heroku
Локально парсер работает правильно, но на heroku он возвращает пустой список.
Парсер:
import requests
from bs4 import BeautifulSoup
def parser_links():
URL = 'https://site.com/'
HEADERS = {
...
0
голосов
1ответ
27 показов
метод soup.find не находит некоторые строки html кода
import requests
from bs4 import BeautifulSoup
# константы
URL = 'https://steamcommunity.com/market/listings/730/Fracture%20Case'
#получение html кода
def get_html(url):
r = requests.get(URL)
...
0
голосов
0ответов
23 показа
Получить значения конкректных тегов в парсере
Парсил geeksforgeeks. Чуть изменил код - получил список тем из stackoverflow и из ru.stackoverflow. На сайте stackoverflow - спрашивают больше, но там и много вопросов с "-" рейтингом ...
0
голосов
1ответ
47 показов
Как скачать текст в виде базы данных с сайта? [закрыт]
Я новичок в Python. Мне нужно спарсить информацию с сайта https://skazki-basni.ru/skazki/, чтобы она была представлена в виде таблицы с названием сказки и текстом. Когда я пытаюсь вывести все данные ...
0
голосов
1ответ
24 показа
Не получается спарсить <td>
С помощью BeautifulSoup пытаюсь парсить страницу html:
bpoint = soup.find('td', text='tкип').find_next_sibling("td")
bpoint_ex = re.findall(r"[-+]?\d*\.\d+|\d+", bpoint)
...
0
голосов
2ответа
76 показов
Discord.py не может запуститься при парсинге
import requests
from bs4 import BeautifulSoup
import discord
import random
from discord.ext import commands, tasks
import asyncio
import time
URL = 'https://stopgame.ru/news'
HEADERS = {'User-Agent': ...
3
голоса
1ответ
59 показов
Как получить значение из html тега?
Есть, к примеру, такой HTML код:
<img alt="HDG" src="s.png"/>
Учитывая, что HDG и s.png могут быть абсолютно разными, мне нужно получить в чистом виде строку s.png.
ps Видел ...
0
голосов
2ответа
45 показов
Как вывести все элементы парсинга с сайта discord.py?
Код:
def get_content(html):
global v
global newsw
global bb
soup = BeautifulSoup(html, 'html.parser')
for x in soup.select('.article-summary .caption'):
newsw = x.get_text(...
1
голос
1ответ
37 показов
Как спарсить ссылки?
import requests
from bs4 import BeautifulSoup
URL = 'https://stopgame.ru/news'
HEADERS = {'ll'}
def get_html(url, params=None):
r = requests.get(url, headers = HEADERS, params = params ) #...
0
голосов
1ответ
16 показов
Парсер не выводит заголовок статьи
import requests
from bs4 import BeautifulSoup
URL = 'https://stopgame.ru/news'
HEADERS = {'Тут что-то было.'}
def get_html(url, params=None):
r = requests.get(url, headers=HEADERS, params=...
-1
голос
2ответа
45 показов
Как парсить элементы HTML кода, если у них одинаковые названия?
Например, есть код:
1. div class = 'chtoto'
2. div class = 'chtoto'
У них одинаковые названия, и получу я только содержимое того элемента, который был раньше. Как получить данные из 2 choto?
1
голос
1ответ
30 показов
Как написать условие, чтобы при парсинге данных не выводилось время?
Есть задача - вытащить с сайта название банков, цену покупки и продажи валют. В таблице на странице банка есть еще время(которое мне не нужно). Не понимаю как записать условие, при котором время не ...
0
голосов
1ответ
25 показов
BeautifulSoup не парсит блок внутри тега span
Алгоритм парсит нужный элемент span, но не может спарсить его содержимое.
...for pricelist in price:
prices = pricelist.findAll('span')[2]
print(prices)
for divs in prices:
...
0
голосов
0ответов
34 показа
Ошибка при парсинге socialblade
Что хочу спарсить: Все ссылки ютуберов
Мой код:
import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt
import numpy as np
headers = {
'User-Agent': 'Mozilla/5.0 (...
0
голосов
1ответ
33 показа
Не парсятся данные с сайта socialblade
Данные которые хочу спарсить:
Мой код:
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:45.0) Gecko/20100101 Firefox/...
0
голосов
1ответ
39 показов
Выводит ошибку что у объекта нет текста, хотя он там присутсвует
Вот код:
import requests
import datetime
from bs4 import BeautifulSoup
now = datetime.datetime.now()
now_date = now.strftime("%d.%m.%Y")
URL = 'https://sxodim.com/almaty/search-events?...
1
голос
1ответ
39 показов
Beatiful Soup проблема с получение значения атрибута
Не удается спарсить значение атрибута id тега article В чем моя ошибка?:
<article class="post-11632 post type-post status-publish format-standard has-post-thumbnail" id="post-11632&...
1
голос
0ответов
20 показов
При попытке спарсить заведения из Google Maps, beautifulsoup4 не может сарсить объект и выдет ему значение None
from bs4 import BeautifulSoup
import csv
CSV = 'result.csv'
HOST = 'https://www.google.com'
URL = 'https://www.google.com/maps/search/Canggu+villa/@-8.6419077,115.139734,14z'
HEADERS = {
'accept':...