Skip to main content

Вопросы с меткой [beautiful-soup]

Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.

Фильтрация
Сортировка
Метки
0 голосов
0 ответов
19 показов

Ошибка AttributeError: 'NoneType' object has no attribute 'text'

Есть готовый тгбот парсер погоды и вот в чём загвоздка, он работает но через раз, то есть из 10 попыток запуска, он сработает 7-8 раз и это как то странно (то есть всё работает, потом через время ты ...
Артем Марковский's user avatar
0 голосов
1 ответ
34 показа

Beautifull Soup не видит теги и атрибуты

Всем привет. Пытаюсь спарсить цены на газобетонновые блоки с сайта https://sm.lsr.ru/spb/catalog/kirpich-gazobeton/gazobeton/kikerinskiy-gazobetonnyy-zavod/plotnost-d200/. Получаю [] Подскажите, ...
user621807's user avatar
-1 голос
0 ответов
31 показ

Парсинг с сайта Pinterest на python [закрыт]

кто-нибудь может подсказать по парсингу? парсил ссылку на файл(картинка/видео) в коде в браузере норм ссылка: https://v1.pinimg.com/videos/mc/expMp4/72/ba/f6/72baf634752e6888c25ab6f6be808649_t1.mp4 а ...
Xinaomi's user avatar
0 голосов
1 ответ
36 показов

Проблема с выводом в Python

Я хочу парсить сайт вики по террарии и у меня это получилось но проблема вот в чём, когда я пытаюсь вывести текст он выводится слитно типо: я запрашиваю меч зенит мне пишет его крафт "Терра-...
Артем Марковский's user avatar
0 голосов
1 ответ
35 показов

Получение содержимого интернетной страницы

Необходимо получить html-код сайта с помощью Python. При получении содержимого страницы с помощью библиотек requests и bs4, оно не соответствует тому, что реально выводится в браузер, и работать с ...
Никитоз Саныч's user avatar
-3 голоса
2 ответа
53 показа

Ошибка IndexError: list index out of range в парсере. Помогите мучаюсь уже 3 час

Вот код: import requests import fake_useragent import telebot from bs4 import BeautifulSoup KEY = '6470584623:AAHi9QboGdh4KDpM1ZQaDbXXn_f_Q9ZXrBw' bot = telebot.TeleBot(KEY) user = fake_useragent....
Артем Марковский's user avatar
1 голос
2 ответа
35 показов

Python BeautifulSoup проблема с выводом

Пишу парсер для авито на BeautifulSoup. Стоит цель вывести все ссылки со страницы авито по запросу "геймпад" в моем городе. Вроде как все сделано правильно, но при запуске программы получаю ...
Савелий Ковин's user avatar
0 голосов
0 ответов
22 показа

При парсинге сайта TypeError: 'NoneType' object is not subscriptable. Как вытащить ссылку?

Хочу спарсить сайт с фильмами, но не понимаю, как вытащить нужную ссылку. В devTools это выглядит так: <div class="th-item"> <a class="th-in with-mask full-link" href=&...
shenochek's user avatar
0 голосов
0 ответов
40 показов

В чем ошибка кода, я не понимаю, может сработать 1 раз, а потом не работает пол дня

Начал изучать Python и само программирование в целом, по этому я новичек.Писал парсер на Python, но столкнулся с проблемой. Код работает 1 раз, после может не работать, а может и через пол дня снова ...
Roman's user avatar
  • 1
0 голосов
1 ответ
12 показов

Найти повторяющуюся ссылку из html при помощи BeautifulSoup

есть тег вида: <a href="https://mysite.com/mylink" rel="noopener" target="_blank">https://mysite.com/mylink</a> как при помощи BeautifulSoup (или есть что то ...
babyborn's user avatar
  • 961
0 голосов
2 ответа
41 показ

AttributeError: 'NoneType' object has no attribute 'get_text'

Помогите решить проблему. Пишу свой первый парсер и столкнулся с проблемой, не могу вытащить текст из 'div'. Причем в строке где я вывожу описание машины всё прекрасно работает. import requests from ...
PAMPERS_2006's user avatar
0 голосов
1 ответ
45 показов

beautiful-soup: парсит только 1 страницу

Не могу понять, почему парсит только 1 страницу. При добавлении страницы переход не работает. Подскажите, где ошибка? data = [] #page = 2 res = requests.get('https://ryvok.ru/instrumenty/...
Антон Будников's user avatar
0 голосов
1 ответ
23 показа

Div классы имеют одинаковые имена но разные значения, как их перебирать

Я делаю парсер на питоне и столкнулся с проблемой, что div классы имеют одинаковое название, и когда я пытаюсь спарсить любой div класс то берется самый первый, как их пероребирать? import requests ...
FainLight's user avatar
0 голосов
2 ответа
38 показов

Передача аргумента в метод soup.find()

Использую bs4, Python, пытаюсь спарсить из интернет магазина определенные данные, но есть проблема: надо передать в функцию find() аргумент, который должен содержать в названии "-", но ...
Александр Петров's user avatar
0 голосов
0 ответов
47 показов

ошибка в парсере на Python

Вкратце пишу свой первый парсер для сайта днс что бы выводить с него данные название видеокарты, подскажите в чём ошибка я просто не понимаю что не так. from bs4 import BeautifulSoup import requests ...
Артем Марковский's user avatar
0 голосов
1 ответ
44 показа

Как в BeautifulSoup получить текст страницы в <body> с пробелами между текстом в разных тегах

Цель: получить текст из HTML при помощи BeautifulSoup. Текст берется из любых текстовых тегов, за исключением тегов a . Не нашел как можно добавить пробел если текст берется из рядом стоящих тегов. ...
VladimirK's user avatar
0 голосов
0 ответов
35 показов

Проблема с выводом парсера на Python

Проблема вот в чём, есть парсер он должен находить все объявления по запросу, к примеру запрос будет геймпад после запроса он должен выдать ссылки на страницы в авито. В нём вроде нет ошибок но при ...
Артем Марковский's user avatar
0 голосов
2 ответа
121 показ

Проблема при попытке скачивания с сайта jut.su

Я столкнулся с проблемой: я получаю url видео аниме, и отправляю запрос. Например, url будет https://r270106.kujo-jotaro.com/onepiece/1.1080.b7759fb3992d9b4a.mp4?hash1=59a043014cf4f110601c25fcc1a39ccc&...
EldiProgramm's user avatar
0 голосов
0 ответов
31 показ

1 часть цикла делает все как нужно, но дальше не собирает данные

Весь код import requests from bs4 import BeautifulSoup import pandas as pd url = 'https://funpay.com/lots/696/' headers = { 'Accept' : '*/*', 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; ...
Leyner510's user avatar
0 голосов
1 ответ
61 показ

Telegram - бот на сервере выдаёт ошибку. Хотелось бы узнать почему?

Telegram - бот на сервере выдаёт ошибку. Код написан на Python. Налокальном компьютере работает без сбоев. Не пойму в чём причина. Библиотеки все установлены. Сервер: https://www.pythonanywhere.com/ ...
Abram's user avatar
  • 39
0 голосов
0 ответов
25 показов

Как спарсить сайт с динамической подгрузкой элементов

Есть сайт. На нем есть отзывы, но прогружаются они вместе с прокруткой сайта. Если сайт пролистать до конца - сохраняются только 32 отзыва из условных 500. Уже все перепробовал что мог чтобы спарсить ...
pepe1ove's user avatar
0 голосов
0 ответов
214 показов

Парсинг вакансий hh.ru

Пишу код для парсинга hh.ru. Мне нужно достать название вакансии, опыт, название организации и ссылку. Проблема заключается в том, что код выдает не все вакансии (почему-то выдает 5 вакансий). Кроме ...
Starman's user avatar
0 голосов
0 ответов
63 показа

При парсинге через BeautifulSoup, в ответе приходит None

Мне нужно спарсить самую свежую новость которая вышла на сайте (нужен только заголовок новости) https://www.ea.com/ru-ru/games/apex-legends/news#game-updates но в ответ приходит None, делаю тоже самое ...
Jeyhun Ismailov's user avatar
-3 голоса
1 ответ
46 показов

Как сделать так, чтобы

Хочу сделать бот-парсер Флибусты, который бы принимал поисковую фразу, и выдавал ссылки на результаты поиска, и он действительно выдает ссылки, но некорректно. Ссылки многие не относятся к поисковому ...
DN_MMK's user avatar
  • 1
0 голосов
0 ответов
37 показов

Не работает bs.find

Код: import time from bs4 import BeautifulSoup import requests import datetime import telebot bot = telebot.TeleBot("your_token") # сюда вставляете ваш токен бота url = "https://dtf.ru/...
Тимур Шакиров's user avatar
0 голосов
2 ответа
42 показа

Как спарсить данные с сайта в виде одного цельногоизображения?

Условно, есть сайт, мне нужно не конкретное изображение или текст, а всё содержимое заголовка div в виде картинки. Пожалуйста, подскажите как это можно реализовать ссылка на страницу картинки с ...
Ban _dana's user avatar
0 голосов
0 ответов
36 показов

Как я могу спарсить YouTube?

Я пробовал два способа получения html-кода страницы - с помощью requests и с помощью selenium, но у каждого есть критичная для меня проблема: в случае с requests он возвращает неверный код (как я ...
Axaneron's user avatar
  • 131
-2 голоса
1 ответ
35 показов

Cписок которой должен быть один разбился на множество списков

Помогите почему то список которой должен быть один разбился на множество списков вот код: import requests from bs4 import BeautifulSoup url = 'https://www.google.com/search?q=1%24+%D0%B2+%E2%82%BD#ip=...
GatgstaCat's user avatar
0 голосов
0 ответов
31 показ

Как спарсить список каналов Ютуб на Python

Появилась задачка - нужно спарсить список каналов с Ютуба по ссылке на Python. Написал скрипт: from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver....
Brain of Мadness's user avatar
0 голосов
0 ответов
28 показов

element not interactable Selenium Python

Есть код на Selenium, который исправно работает в оконном режиме, нажимает на все необходимые мне кнопки, но если включить режим --headless, то код не может нажать эту синюю кнопку на скрине. Вся ...
Платон's user avatar
0 голосов
1 ответ
45 показов

Получение элемента по его координатам BeautifulSoup python

У меня есть html верстка, которую я валидирую с помощью BeautifulSoup, можно ли как-нибудь получить содержание тэга зная его координаты? Например на ширине экрана в 1400px? parsed_html = BeautifulSoup(...
weironrx's user avatar
1 голос
1 ответ
47 показов

Парсинг сайта с помощью python и requests и bs4

Всем привет! получаю вот такой ответ при парсинге сайта вот фрагмент ответа <movies :movies="[{&quot;id&quot;:9849,&quot;name&quot;:&quot;\u041b\u0451\u0434 3&quot;,&...
Вячеслав Ларин's user avatar
0 голосов
0 ответов
23 показа

Как вскрыть узлы DOM

Доброго времени суток! Вопрос как вытащить данные которые скрываются? Что я пробовал: Прыжок в верхний div тег hj4, bs4 и selenium видят только 180 таких карточек, т.е всего 4 тега hj4 в каждом по 36 ...
Александр Кузьминский's user avatar
0 голосов
1 ответ
44 показа

Прогрузка страницы в BS

Загружаю с помощью beautiful soup ('lxml') страницу любого предмета стима, потом нахожу элемент id='market_commodity_forsale'. @staticmethod def get_item_cost(item_page): #print(item_page) r =...
Роман's user avatar
0 голосов
2 ответа
59 показов

Парсер выдает пустой запрос

пытаюсь запарсить с сайта марку автомобиля, год и цену, почему-то сохраняет пустой запрос. В чем может быть дело? import requests from bs4 import BeautifulSoup as bs import pandas as pd URL_TEMPLATE =...
Ashkael113's user avatar
0 голосов
1 ответ
36 показов

Index error при использовании Beautiful Soup

При выполнении первой части кода, - все работает. При выполнении второй части кода, тоже се работает. Но при выполнении всего кода возникает IndexError, код выполняется и появляется ошибка Index error:...
Vyacheslav Slabinskiy's user avatar
0 голосов
0 ответов
24 показа

Python и BeautifulSoup как вытащить текст из div с переносом строк

Есть такой кусок кода: <div class="text"> Что такое осень? Это небо. <br /> Плачущее небо под ногами. <br /> В лужах разлетаются птицы с облаками <br /> ...
dimas5's user avatar
  • 1
0 голосов
1 ответ
32 показа

Парсинг с бесконечным скроллингом с помощью Selenium, python

Пытаюсь спарсить сайт instajen, где имеется бесконечный скролинг. Однако, получается спарсить только первый 30 постов из 6000, а дальше код больше страницу не скролит. Подскажите, что поменять. Ссылка ...
Vusal Kasumov's user avatar
0 голосов
1 ответ
58 показов

Не работает парсинг PYTHON [дубликат]

from bs4 import BeautifulSoup as BS import os url = 'https://www.citilink.ru/catalog/processory/?p=1' r = requests.get(url) print(r) html = BS(r.text, 'html.parser') for c in html.find_all('div', ...
GFO's user avatar
  • 1
0 голосов
2 ответа
101 показ

Как спарсить определенный текст с сайта Python?

В общем, столкнулся с проблемой. Мне нужно спарсить количество просмотров с сайта "https://pcstonks.ru/note/". Нужно получить только "61541" при помощи библиотек beautiful-soup и ...
UserArgentum78's user avatar
0 голосов
0 ответов
16 показов

Получить содержимое тега после вызова функции js

Пишу парсер на bs4. Проблема в том, что на нужном сайте есть блок iframe, который меняется в зависимости от нажатой кнопки. Сама кнопка вызывает функцию ajax2(1168336933,3), которая меняет контент в ...
betepok's user avatar
  • 199
0 голосов
0 ответов
115 показов

не могу понять в чём ошибка, помогите пожалуйста

Traceback (most recent call last): File "C:\Users\Zahar\PycharmProjects\pythonProject1\Proekt.py", line 51, in <module> req = requests.get(url= categories_href, headers= headerss)...
Mops's user avatar
  • 1
0 голосов
0 ответов
37 показов

Парсером хочу извлечь текст из тега, но он извлекается с символами \t \n

В HTML-коде (который я смотрю в DevTools, вкладка Элементы) в теге есть текст (одно слово). Когда я его извлекаю парсером, то в консоли редактора в тексте появляются неотображаемые символы: '\n\t\t\t\...
Франтишек's user avatar
0 голосов
0 ответов
75 показов

Как заставить телеграмм бота отправить svg изображение https://phys-ege.sdamgia.ru/get_file?id=69140

Делаю телеграмм бота который отправляет задачи с сайта https://phys-ege.sdamgia.ru/ Нужно отправить Изображение. Как я понимаю нужно конвертировать svg в png или jpeg, но при использовании библиотеки ...
denverskill's user avatar
0 голосов
1 ответ
235 показов

Получить get запрос от post запроса python

что делать, если мне нужно получить get запрос от post запроса контента страницы при изменении select тэга , но при этом сам url страницы при изменении select тега не меняется? если пытаться получить ...
Даниил Сорокин's user avatar
0 голосов
1 ответ
37 показов

python error: 'NoneType' object has no attribute 'text' Парсинг новостей с хабра

Код я скопировал с инета, только начинаю изучать bs4. В этом коде по идее должен выводится заголовок,url и описание с последнего поста на хабр'е. По другим вопросам тоже лазал, но там другие сайты. ...
FLACKER's user avatar
  • 19
0 голосов
1 ответ
153 показа

Как распарсить большой xml-файл с помощью Python?

Столкнулся с необходимостью распарсить большой xml файл (более 700к строк) используя Python. Необходимо найти и выписать кадастровые номера с категорией "земли населенных пунктов". В данном ...
Александр Иванов's user avatar
0 голосов
0 ответов
36 показов

Здравствуйте. В CSV-файл записывается только последнее значение из списка, если кто занет подскажите почему?

Выводит на print изаписывается в CSV-файлтолько последнее значение из списка, если кто занет подскажите почему? Код на Python: import bs4 import time import urllib.parse from selenium import webdriver ...
Abram's user avatar
  • 39
0 голосов
1 ответ
58 показов

как сделать чтобы парсер работал через определенное время

Вот, например, на сайте новое обьявление, и я хочу, чтобы он взял сразу эту информацию. Если что, все в таблице excel. import requests from bs4 import BeautifulSoup import pandas as pd url = "...
Данил's user avatar
0 голосов
1 ответ
344 показа

как сделать чтобы парсер работал постоянно?

Вот, например, на сайте новое обьявление, и я хочу, чтобы он взял сразу эту информацию. Если что, все в таблице. import requests from bs4 import BeautifulSoup import pandas as pd url = "https://...
Данил's user avatar