Вопросы с меткой [beautiful-soup]
Beautiful Soup – это Python библиотека для синтаксического разбора файлов HTML/XML, которая может преобразовать даже неправильную разметку в дерево синтаксического разбора.
693
вопроса
0
голосов
1
ответ
13
показов
web scraping - как обратиться к отдельному td внутри tr
всем привет!
Мне необходимо в pandas dataframe записать два элемента внутри каждого ряда
from bs4 import BeautifulSoup
import requests
import html5lib
import pandas as pd
html_data = requests.get('...
0
голосов
0
ответов
15
показов
Как заставить парсер beautifulsoup заходить на сайт под определённым браузером?
Делаю проект, нужно спарсить сайт, на который я уже вошёл под корпоративной учёткой. Как мне запустить этот скрипт именно на той странице, на которой я вошёл?
r = requests.get(url)
soup = ...
0
голосов
0
ответов
22
показа
При парсинге Яндекс Новостей выдает не свежую новость
Проблема заключается в том, что при работе кода, выдает почему то новости которые небыли указаны вообще, я код еще не дописал, но работоспособность решил проверить и вот такая тут проблема, пытаюсь ...
0
голосов
1
ответ
25
показов
Проблема с парсингом ссылки на PDF файл
Всем привет, срочно нужна помощь! Python
Написал парсер и жду от него, что бы он мне пересылал ссылки с сайта на PDF документы, но при работе выдает None
from turtle import Turtle
from requests import ...
0
голосов
0
ответов
10
показов
Ошибка 429 при использовании BeautifulSoup python
Суть программы такова, я захожу на определенную страницу, получаю оттуда название товара и потом отправляю в гугл search запрос в котором написано название этого товара
(товар - стул, тогда запрос ...
0
голосов
1
ответ
16
показов
Как спарсить сайт, через post запрос
Код:
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
ua = UserAgent()
def get_data():
cookies = {
'ASP.NET_SessionId': 'i1gip0fre5uzl4iqlkubv1cp',
'...
0
голосов
0
ответов
25
показов
Как сделать чтобы выводилось когда два или более совпадений (BeautifulSoup)
У меня есть код который смотрит страницу и при нахождении условий присылает сигнал. А именно когда находит на странице red2 или red3 то присылает сигнал. А мне надо его поправить чтобы он присылал ...
0
голосов
1
ответ
24
показа
Как указать определённую валюту, которая будет показана на сайте для дальнейшего парсинга
Проблема заключается в том, что мне необходимо выводить цену предмета ИСКЛЮЧИТЕЛЬНО в рублях, но код выдаёт значение всегда в разных валютах (рубли, йены, тенге, гривны, доллары, злоты и т.д.). Это ...
0
голосов
0
ответов
26
показов
Библиотека BeautifulSoup и его методы
Подскажите, почему выходит ошибка в цикле, почему он не видит метод .find(),
хотя цикл он отработал?
import requests
from bs4 import BeautifulSoup
import lxml.html
from bs4.diagnose import lxml_trace
...
0
голосов
0
ответов
20
показов
Используя BeautifulSoup find_all в список добавляются не все элементы которые есть на сайте
Используя BeautifulSoup для того чтобы получить на сайте цены всех квартир, их адреса и ссылки на объявление, в список добавляются не все элементы (только 9, когда на сайте их 40). Классы у всех ...
0
голосов
1
ответ
18
показов
все привет !помогите)не работает импорт Beautifulsoup в питоне .не высвечивается и поэтому мой код видимо не работает
import requests
from bs4 import BeautifulSoup as BS:
def get_response(url):
response = requests.get()
if response.status_code == 200:
return response.text
...
0
голосов
0
ответов
21
показ
При запуске кода вылетает ошибка на 12 строке AttributeError: 'int' object has no attribute 'get' не могу решить
import requests
from bs4 import BeautifulSoup
import string
url = input("> ")
r = requests.get(url, headers={'Accept-Language': 'en-US,en;q=0.5'})
stat = r.status_code
s = BeautifulSoup(r....
0
голосов
0
ответов
21
показ
Парсинг фото с сайта
Подскажите пожалуйста, как можно реализовать парсинг фото с сайта , для последующие отправки ботом. Пример html кода:
<a href="tortyi/listіvka" class="catalog-product__link-img"...
0
голосов
1
ответ
16
показов
Парсер сайта и не создает csv файл и не возвращает найденные значения
Я новичок в программировании, пытаюсь написать парсер, ноон возвращает пусток значение и не создает csv файл. Не понимаю где именно ошибка или ошибки. Подсккажите, пожалуйстакак сделать так, чтобы код ...
0
голосов
0
ответов
20
показов
Парсинг закрытого блока. Нет доступа к данным
На одноименном сайте букмекера не так давно произошли изменения и теперь необходимая информация по коэффициентам находится в закрытом блоке.
Если перейти по этой ссылке.
И далее в любую игру, то ...
2
голоса
1
ответ
32
показа
Определение падежа в предложении с помощью python
Здравствуйте дорогие программисты, я знаю звучит странно, но мне нужно определить падеж в предложении (русского языка).
Например:
У него проблемы - Именительный.
Актуальность проблемы - Родительный.
...
0
голосов
1
ответ
30
показов
Ошибка при парсинге множества страниц
Возникла ошибка при создании парсера на несколько страниц, суть парсера заключалась в том, что он должен был доставать ссылки со страницы, но произошла загвоздка, дальше первой страницы он искать не ...
0
голосов
0
ответов
11
показов
Почему при парсинге канала на ютубе на python неправильно сохраняется html файл?
Мне нужно было всего лишь кол-во подписчиков, но при парсинге, как я в дальнейшем понял сохраняется вообще не то. В дев тулс есть нормальный html, а при скачивании выходит 99% js, вобщем какая-то ...
1
голос
1
ответ
18
показов
Как изменять элементы сайта через Pyhhon
Я спарсил данные с сайта и создал новый файл parse.html. Не получается заменить ссылку на другую, как это можно сделать ?
import requests
from bs4 import BeautifulSoup
import webbrowser
import re
...
0
голосов
0
ответов
12
показов
Как спарсить нужное из одинаковых тегов и классов
Есть 6 одинаковых строчек"", как мне спарсить со второй строчки?
(цена под "b" всегда меняется).У меня получается спарсить только все числа.
<div class="item-stat">
<...
0
голосов
1
ответ
17
показов
Почему при запросе на сайт отображаются не все теги див с классами?
В парсере проблема в том, что нужных мне тегов 55:
А в итоге их получается только 20 при парсинге. Даже html файл сайта скачивал в поиске этих тегов только 20
Почему?
Код:
from bs4 import ...
0
голосов
0
ответов
13
показов
Не выводится результат парсинга petshop.ru
Пытаюсь спарсить страницу https://www.petshop.ru/catalog/cats/veterinary_feed/dlya_koshek_pri_zapore_fibre_response_fr31_5789/, но не получается.
import requests
from bs4 import BeautifulSoup ...
0
голосов
0
ответов
16
показов
TypeError: cannot set 'sell' attribute of immutable type 'int'
При создании парсера, он выводит с сайта название вещи, из какой она игры и цену за которую можно продать и купить предмет. Хотел сделать алгоритм, в котором считается разность цены продажи и покупки, ...
0
голосов
2
ответа
38
показов
BeautifulSoup - не могу найти тег по имени класса
Есть сайт, содержащий список шаблонов документов. Надо его распарсить.
Пишу простейшую программу:
# Библиотеки для скрапинга
from bs4 import BeautifulSoup
import requests
# Начальный URL
url = 'https:...
0
голосов
2
ответа
31
показ
Возникла проблема при алгоритме if :TypeError: list indices must be integers or slices, not str
Возникла проблема, в моем коде данные записываются в словарь, в графе "sell" может быть как цена, так и пустая графа, поэтому хотел сделать простой алгоритм if, где если в вышеуказанной ...
0
голосов
0
ответов
24
показа
При парсинге определенной страницы стим, не удается вывести название предмета
Хотел сделать парсинг страницы стим, для примера взял эту: https://steamcommunity.com/market/listings/730/Dreams%20%26%20Nightmares%20Case. И тут же возникла такая проблема, когда я захотел вытянуть ...
0
голосов
0
ответов
21
показ
Помогите, как спарсить текст из определенного тега<span></span>
Как спарсить текст из title в классе class="tooltip water-now"
<div class="weather-now-info">
<div class="thermometer" id="thermometer">
<div class="...
0
голосов
1
ответ
19
показов
Хочу добавить коды страниц в source.html но выскакивает ошибка TypeError: write() argument must be str, not BeautifulSoup [закрыт]
import requests
from bs4 import BeautifulSoup
url = input("> ")
r = requests.get(url, headers={'Accept-Language': 'en-US,en;q=0.5'})
stat = r.status_code
s = BeautifulSoup(r.text, "...
0
голосов
1
ответ
19
показов
Ошибка 'NoneType' object has no attribute 'find_all' не могу понять, почему?
Ошибка 'NoneType' object has no attribute 'find_all' не могу понять, почему? Помогите, пожалуйста, мне срочно нужно.
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
soup = soup.find('img'...
0
голосов
1
ответ
29
показов
Как получить значение атрибута в теге html с помощью питона?
Мне нужно получить значение атрибута в теге html. Как это сделать, не знаю.
<img class="icon-btn" border="0" src="../../admin/images/view0.gif" onmouseover="src=&...
1
голос
0
ответов
20
показов
При парсинге сайта выдаёт ошибку 'NoneType' object has no attribute 'text'. На некоторых страницах нормально, на других, несмотря на схожесть, ошибка
При парсинге сайта на питоне выдаёт ошибку 'NoneType' object has no attribute 'text', но по какой-то причине это происходит только на страницах с номером больше 209(если номер меньше, всё нормально)
...
-1
голос
1
ответ
28
показов
Проблемы с кодировкой вывода при парсинге сайта на русском
Всем привет, по результатам парсинга сайта () столкнулся с проблемой что при выводе вместо привычного текста с сайта получаю в значении словаря кракозябру, аброкатабру и т.п...
Вот мой код:
import ...
0
голосов
1
ответ
32
показа
не получается сделать парсер на python [закрыт]
не получается запарсить раздел новостей, нужно чтобы парсились картинка,заголовок и ссылка, и дальее отправлялись через бота пользователю, написал код и не могу понять в чем проблема, уже 2 день сижу ...
-2
голоса
2
ответа
32
показа
Как получить данные из атрибута с разными значениями?
С помощью bs4 нужно получить текст из div с тегом “id”. У тега «id» значение может быть 1, 2 или 3. Нужно получить текст, если он равен 1 или 3
Кусок html кода, который повторяется с разными ...
0
голосов
1
ответ
47
показов
Нужно спарсить все фото на сайте, но у меня получется только одну
import requests
from bs4 import BeautifulSoup
import telebot
@bot.message_handler(content_types=['text'])
def parse(message):
url = "https://wallpapers.com/" + message.text
r = ...
0
голосов
1
ответ
19
показов
Как записать все данные из ссылок?
Пожалуйста, помогите найти решение, мне нужно скачать все файлы стилей со страницы в один файл. Для этого я использую bs4 для получения всех ссылок. Для получения контента со страницы я использую ...
0
голосов
0
ответов
47
показов
python При попытке получить html страницы возвращается странный html код. Парсинг идет через request
Я пытаюсь спарсить фото с объявлений, но мне возвращается html страница не полная.
Парсю с этого сайта: https://www.vinted.it/vetements?catalog[]=1904&order=newest_first
Проблема еще в том,что при ...
0
голосов
1
ответ
28
показов
Проблема вывода данных с сайта с помощью BeautifulSoup
Я начинаю практиковаться в BeautifulSoup и попытался достать с сайта https://www.citilink.ru/catalog/shiny/ названия и цены шин. Вот мой код:
import requests
from bs4 import BeautifulSoup
url='https:/...
0
голосов
1
ответ
49
показов
Выводится только последний элемент
Телеграм бот выводит только последние значение (элемент). При том что в консоль выводит все. Я в таком новенький. Дайте совет: что тут не так?
Код:
import requests
import telebot
import random
from ...
0
голосов
2
ответа
32
показа
Ошибка: 'NoneType' object has no attribute 'get_text'
Код:
import requests
from bs4 import BeautifulSoup
import csv
import os
HOST = 'https://www.drom.ru/'
URL = 'https://auto.drom.ru/'
HEADERS = {
'Accept': 'text/html,application/xhtml+xml,...
0
голосов
2
ответа
27
показов
Как выводить полученную после парсинга информацию в красивом виде? Python
Как изменить вывод информации, что записывается в info, чтобы полученная информация выводилась в столбик, например?
def getcontent(html):
soup = BS(html, 'html.parser')
items = soup.find_all('...
1
голос
1
ответ
29
показов
хотел создать программу, которая принимает название кроссовок, и выдаёт все варианты , которые нашлись на сайте. Код не работает, не понимаю почему
import re
import requests
from bs4 import BeautifulSoup
def FunkyDunky(small_name):
url = 'https://funkydunky.ru/search/?query=%D0%BE%D0%B1%D1%83%D0%B2%D1%8C'
brand = []
response = ...
0
голосов
0
ответов
12
показов
Объект принадлежит NoneType, хотя по идее должен принадлежать классу bs4
from bs4 import BeautifulSoup as BS
from requests import get
responce = get(site+user).text
soup = BS(responce, "lxml")
sec = soup.find(class_="l-page").find("div")
head ...
0
голосов
0
ответов
18
показов
Сейчас занимаюсь парсингом сайта Grailed. И мне при GET запросе выдает не весь html сайта
Всем здраствуйте. Для парсинга использую python и библиотеку requests. При парсинге сайта получаю <Response [200]> и html код(казалось бы все хорошо). но когда начинаю проверять этот код, вижу ...
0
голосов
2
ответа
30
показов
Как вывести все HTML теги используя beautifulsoup?
Для парсинга сайтов я использую библиотеку BeautifulSoup и мне нужно вывести все теги li, но выводиться только один(у этого тега нет класса). Как это сделать?
Вот код:
page = requests.get(url)
print(...
0
голосов
2
ответа
36
показов
При парсинге сайта не могу найти нужные теги
Достаточно типовая задача:
Есть сайт (например: https://mirturbaz.ru/russia).
Надо спарсить карточки товара/услуг и составить таблицу, содержащую некоторую информацию из этих карточек.
Программу ...
0
голосов
1
ответ
18
показов
Что нужно сделать, чтобы в поля вводилось информаиця? (Python)
У меня есть сайт, на котором нужно авторизоваться через login и password. Я пытаюсь авторизоваться через скрипт, но это не срабатывает. Ошибок нет. Что я делаю не так? Может я что-то вписал не так(...
0
голосов
0
ответов
53
показа
Постинг свежих новостей в телеграм-канал через бота
Есть бот, который парсит новостной сайт и отправляет каждую свежую новость в телеграм-канал. В теории, он должен каждые полчаса проверять, не появилось ли на сайте чего-то нового, если не появилось - ...
0
голосов
0
ответов
39
показов
Как вытащить необходимое значение из тега?
Как под записью в одноклассниках на странице какой-либо группы получить количество поделившихся этой записью?
Пыталась реализовывать так
user = fake_useragent.UserAgent().random
header = {
'user-...
0
голосов
0
ответов
36
показов
Как в парсере указать геолокацию?
Пробую создать небольшой парсер для https://sbermarket.ru/, собирающий список магазинов (название, логотип, url), осуществляющих доставку.
При первоначальном входе на сайт, до тех пор пока ты не ...