Вопросы с меткой [beautiful-soup]
Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.
954
вопроса
0
голосов
0
ответов
19
показов
Ошибка AttributeError: 'NoneType' object has no attribute 'text'
Есть готовый тгбот парсер погоды и вот в чём загвоздка, он работает но через раз, то есть из 10 попыток запуска, он сработает 7-8 раз и это как то странно (то есть всё работает, потом через время ты ...
0
голосов
1
ответ
34
показа
Beautifull Soup не видит теги и атрибуты
Всем привет.
Пытаюсь спарсить цены на газобетонновые блоки с сайта https://sm.lsr.ru/spb/catalog/kirpich-gazobeton/gazobeton/kikerinskiy-gazobetonnyy-zavod/plotnost-d200/.
Получаю
[]
Подскажите, ...
-1
голос
0
ответов
31
показ
Парсинг с сайта Pinterest на python [закрыт]
кто-нибудь может подсказать по парсингу?
парсил ссылку на файл(картинка/видео)
в коде в браузере норм ссылка: https://v1.pinimg.com/videos/mc/expMp4/72/ba/f6/72baf634752e6888c25ab6f6be808649_t1.mp4
а ...
0
голосов
1
ответ
36
показов
Проблема с выводом в Python
Я хочу парсить сайт вики по террарии и у меня это получилось но проблема вот в чём, когда я пытаюсь вывести текст он выводится слитно типо: я запрашиваю меч зенит мне пишет его крафт
"Терра-...
0
голосов
1
ответ
35
показов
Получение содержимого интернетной страницы
Необходимо получить html-код сайта с помощью Python.
При получении содержимого страницы с помощью библиотек requests и bs4, оно не соответствует тому, что реально выводится в браузер, и работать с ...
-3
голоса
2
ответа
53
показа
Ошибка IndexError: list index out of range в парсере. Помогите мучаюсь уже 3 час
Вот код:
import requests
import fake_useragent
import telebot
from bs4 import BeautifulSoup
KEY = '6470584623:AAHi9QboGdh4KDpM1ZQaDbXXn_f_Q9ZXrBw'
bot = telebot.TeleBot(KEY)
user = fake_useragent....
1
голос
2
ответа
35
показов
Python BeautifulSoup проблема с выводом
Пишу парсер для авито на BeautifulSoup.
Стоит цель вывести все ссылки со страницы авито по запросу "геймпад" в моем городе.
Вроде как все сделано правильно, но при запуске программы получаю ...
0
голосов
0
ответов
22
показа
При парсинге сайта TypeError: 'NoneType' object is not subscriptable. Как вытащить ссылку?
Хочу спарсить сайт с фильмами, но не понимаю, как вытащить нужную ссылку. В devTools это выглядит так:
<div class="th-item">
<a class="th-in with-mask full-link" href=&...
0
голосов
0
ответов
40
показов
В чем ошибка кода, я не понимаю, может сработать 1 раз, а потом не работает пол дня
Начал изучать Python и само программирование в целом, по этому я новичек.Писал парсер на Python, но столкнулся с проблемой. Код работает 1 раз, после может не работать, а может и через пол дня снова ...
0
голосов
1
ответ
12
показов
Найти повторяющуюся ссылку из html при помощи BeautifulSoup
есть тег вида:
<a href="https://mysite.com/mylink" rel="noopener" target="_blank">https://mysite.com/mylink</a>
как при помощи BeautifulSoup (или есть что то ...
0
голосов
2
ответа
41
показ
AttributeError: 'NoneType' object has no attribute 'get_text'
Помогите решить проблему.
Пишу свой первый парсер и столкнулся с проблемой, не могу вытащить текст из 'div'.
Причем в строке где я вывожу описание машины всё прекрасно работает.
import requests
from ...
0
голосов
1
ответ
45
показов
beautiful-soup: парсит только 1 страницу
Не могу понять, почему парсит только 1 страницу. При добавлении страницы переход не работает. Подскажите, где ошибка?
data = []
#page = 2
res = requests.get('https://ryvok.ru/instrumenty/...
0
голосов
1
ответ
23
показа
Div классы имеют одинаковые имена но разные значения, как их перебирать
Я делаю парсер на питоне и столкнулся с проблемой, что div классы имеют одинаковое название, и когда я пытаюсь спарсить любой div класс то берется самый первый, как их пероребирать?
import requests
...
0
голосов
2
ответа
38
показов
Передача аргумента в метод soup.find()
Использую bs4, Python, пытаюсь спарсить из интернет магазина определенные данные, но есть проблема: надо передать в функцию find() аргумент, который должен содержать в названии "-", но ...
0
голосов
0
ответов
47
показов
ошибка в парсере на Python
Вкратце пишу свой первый парсер для сайта днс что бы выводить с него данные название видеокарты, подскажите в чём ошибка я просто не понимаю что не так.
from bs4 import BeautifulSoup
import requests
...
0
голосов
1
ответ
44
показа
Как в BeautifulSoup получить текст страницы в <body> с пробелами между текстом в разных тегах
Цель: получить текст из HTML при помощи BeautifulSoup.
Текст берется из любых текстовых тегов, за исключением тегов a .
Не нашел как можно добавить пробел если текст берется из рядом стоящих тегов. ...
0
голосов
0
ответов
35
показов
Проблема с выводом парсера на Python
Проблема вот в чём, есть парсер он должен находить все объявления по запросу, к примеру запрос будет геймпад после запроса он должен выдать ссылки на страницы в авито. В нём вроде нет ошибок но при ...
0
голосов
2
ответа
121
показ
Проблема при попытке скачивания с сайта jut.su
Я столкнулся с проблемой: я получаю url видео аниме, и отправляю запрос. Например, url будет https://r270106.kujo-jotaro.com/onepiece/1.1080.b7759fb3992d9b4a.mp4?hash1=59a043014cf4f110601c25fcc1a39ccc&...
0
голосов
0
ответов
31
показ
1 часть цикла делает все как нужно, но дальше не собирает данные
Весь код
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://funpay.com/lots/696/'
headers = {
'Accept' : '*/*',
'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; ...
0
голосов
1
ответ
61
показ
Telegram - бот на сервере выдаёт ошибку. Хотелось бы узнать почему?
Telegram - бот на сервере выдаёт ошибку. Код написан на Python. Налокальном компьютере работает без сбоев. Не пойму в чём причина. Библиотеки все установлены. Сервер: https://www.pythonanywhere.com/
...
0
голосов
0
ответов
25
показов
Как спарсить сайт с динамической подгрузкой элементов
Есть сайт. На нем есть отзывы, но прогружаются они вместе с прокруткой сайта. Если сайт пролистать до конца - сохраняются только 32 отзыва из условных 500. Уже все перепробовал что мог чтобы спарсить ...
0
голосов
0
ответов
214
показов
Парсинг вакансий hh.ru
Пишу код для парсинга hh.ru. Мне нужно достать название вакансии, опыт, название организации и ссылку. Проблема заключается в том, что код выдает не все вакансии (почему-то выдает 5 вакансий). Кроме ...
0
голосов
0
ответов
63
показа
При парсинге через BeautifulSoup, в ответе приходит None
Мне нужно спарсить самую свежую новость которая вышла на сайте (нужен только заголовок новости) https://www.ea.com/ru-ru/games/apex-legends/news#game-updates но в ответ приходит None, делаю тоже самое ...
-3
голоса
1
ответ
46
показов
Как сделать так, чтобы
Хочу сделать бот-парсер Флибусты, который бы принимал поисковую фразу, и выдавал ссылки на результаты поиска, и он действительно выдает ссылки, но некорректно. Ссылки многие не относятся к поисковому ...
0
голосов
0
ответов
37
показов
Не работает bs.find
Код:
import time
from bs4 import BeautifulSoup
import requests
import datetime
import telebot
bot = telebot.TeleBot("your_token") # сюда вставляете ваш токен бота
url = "https://dtf.ru/...
0
голосов
2
ответа
42
показа
Как спарсить данные с сайта в виде одного цельногоизображения?
Условно, есть сайт, мне нужно не конкретное изображение или текст, а всё содержимое заголовка div в виде картинки. Пожалуйста, подскажите как это можно реализовать
ссылка на страницу картинки с ...
0
голосов
0
ответов
36
показов
Как я могу спарсить YouTube?
Я пробовал два способа получения html-кода страницы - с помощью requests и с помощью selenium, но у каждого есть критичная для меня проблема: в случае с requests он возвращает неверный код (как я ...
-2
голоса
1
ответ
35
показов
Cписок которой должен быть один разбился на множество списков
Помогите почему то список которой должен быть один разбился на множество списков вот код:
import requests
from bs4 import BeautifulSoup
url = 'https://www.google.com/search?q=1%24+%D0%B2+%E2%82%BD#ip=...
0
голосов
0
ответов
31
показ
Как спарсить список каналов Ютуб на Python
Появилась задачка - нужно спарсить список каналов с Ютуба по ссылке на Python.
Написал скрипт:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver....
0
голосов
0
ответов
28
показов
element not interactable Selenium Python
Есть код на Selenium, который исправно работает в оконном режиме, нажимает на все необходимые мне кнопки, но если включить режим --headless, то код не может нажать эту синюю кнопку на скрине. Вся ...
0
голосов
1
ответ
45
показов
Получение элемента по его координатам BeautifulSoup python
У меня есть html верстка, которую я валидирую с помощью BeautifulSoup, можно ли как-нибудь получить содержание тэга зная его координаты? Например на ширине экрана в 1400px?
parsed_html = BeautifulSoup(...
1
голос
1
ответ
47
показов
Парсинг сайта с помощью python и requests и bs4
Всем привет! получаю вот такой ответ при парсинге сайта вот фрагмент ответа
<movies
:movies="[{"id":9849,"name":"\u041b\u0451\u0434 3",&...
0
голосов
0
ответов
23
показа
Как вскрыть узлы DOM
Доброго времени суток!
Вопрос как вытащить данные которые скрываются?
Что я пробовал:
Прыжок в верхний div тег hj4, bs4 и selenium видят только 180 таких карточек, т.е всего 4 тега hj4 в каждом по 36 ...
0
голосов
1
ответ
44
показа
Прогрузка страницы в BS
Загружаю с помощью beautiful soup ('lxml') страницу любого предмета стима, потом нахожу элемент id='market_commodity_forsale'.
@staticmethod
def get_item_cost(item_page):
#print(item_page)
r =...
0
голосов
2
ответа
59
показов
Парсер выдает пустой запрос
пытаюсь запарсить с сайта марку автомобиля, год и цену, почему-то сохраняет пустой запрос. В чем может быть дело?
import requests
from bs4 import BeautifulSoup as bs
import pandas as pd
URL_TEMPLATE =...
0
голосов
1
ответ
36
показов
Index error при использовании Beautiful Soup
При выполнении первой части кода, - все работает. При выполнении второй части кода, тоже се работает. Но при выполнении всего кода возникает IndexError, код выполняется и появляется ошибка
Index error:...
0
голосов
0
ответов
24
показа
Python и BeautifulSoup как вытащить текст из div с переносом строк
Есть такой кусок кода:
<div class="text">
Что такое осень? Это небо.
<br />
Плачущее небо под ногами.
<br />
В лужах разлетаются птицы с облаками
<br />
...
0
голосов
1
ответ
32
показа
Парсинг с бесконечным скроллингом с помощью Selenium, python
Пытаюсь спарсить сайт instajen, где имеется бесконечный скролинг. Однако, получается спарсить только первый 30 постов из 6000, а дальше код больше страницу не скролит. Подскажите, что поменять. Ссылка ...
0
голосов
1
ответ
58
показов
Не работает парсинг PYTHON [дубликат]
from bs4 import BeautifulSoup as BS
import os
url = 'https://www.citilink.ru/catalog/processory/?p=1'
r = requests.get(url)
print(r)
html = BS(r.text, 'html.parser')
for c in html.find_all('div', ...
0
голосов
2
ответа
101
показ
Как спарсить определенный текст с сайта Python?
В общем, столкнулся с проблемой. Мне нужно спарсить количество просмотров с сайта "https://pcstonks.ru/note/".
Нужно получить только "61541" при помощи библиотек beautiful-soup и ...
0
голосов
0
ответов
16
показов
Получить содержимое тега после вызова функции js
Пишу парсер на bs4. Проблема в том, что на нужном сайте есть блок iframe, который меняется в зависимости от нажатой кнопки. Сама кнопка вызывает функцию ajax2(1168336933,3), которая меняет контент в ...
0
голосов
0
ответов
115
показов
не могу понять в чём ошибка, помогите пожалуйста
Traceback (most recent call last):
File "C:\Users\Zahar\PycharmProjects\pythonProject1\Proekt.py", line 51, in <module>
req = requests.get(url= categories_href, headers= headerss)...
0
голосов
0
ответов
37
показов
Парсером хочу извлечь текст из тега, но он извлекается с символами \t \n
В HTML-коде (который я смотрю в DevTools, вкладка Элементы) в теге есть текст (одно слово). Когда я его извлекаю парсером, то в консоли редактора в тексте появляются неотображаемые символы:
'\n\t\t\t\...
0
голосов
0
ответов
75
показов
Как заставить телеграмм бота отправить svg изображение https://phys-ege.sdamgia.ru/get_file?id=69140
Делаю телеграмм бота который отправляет задачи с сайта https://phys-ege.sdamgia.ru/
Нужно отправить Изображение.
Как я понимаю нужно конвертировать svg в png или jpeg, но при использовании библиотеки ...
0
голосов
1
ответ
235
показов
Получить get запрос от post запроса python
что делать, если мне нужно получить get запрос от post запроса контента страницы при изменении select тэга , но при этом сам url страницы при изменении select тега не меняется? если пытаться получить ...
0
голосов
1
ответ
37
показов
python error: 'NoneType' object has no attribute 'text' Парсинг новостей с хабра
Код я скопировал с инета, только начинаю изучать bs4. В этом коде по идее должен выводится заголовок,url и описание с последнего поста на хабр'е. По другим вопросам тоже лазал, но там другие сайты.
...
0
голосов
1
ответ
153
показа
Как распарсить большой xml-файл с помощью Python?
Столкнулся с необходимостью распарсить большой xml файл (более 700к строк) используя Python. Необходимо найти и выписать кадастровые номера с категорией "земли населенных пунктов". В данном ...
0
голосов
0
ответов
36
показов
Здравствуйте. В CSV-файл записывается только последнее значение из списка, если кто занет подскажите почему?
Выводит на print изаписывается в CSV-файлтолько последнее значение из списка, если кто занет подскажите почему? Код на Python:
import bs4
import time
import urllib.parse
from selenium import webdriver ...
0
голосов
1
ответ
58
показов
как сделать чтобы парсер работал через определенное время
Вот, например, на сайте новое обьявление, и я хочу, чтобы он взял сразу эту информацию. Если что, все в таблице excel.
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = "...
0
голосов
1
ответ
344
показа
как сделать чтобы парсер работал постоянно?
Вот, например, на сайте новое обьявление, и я хочу, чтобы он взял сразу эту информацию. Если что, все в таблице.
import requests
from bs4 import BeautifulSoup
import pandas as pd
url = "https://...