Вопросы с меткой [lxml]
Руководство по использованию метки lxml отсутствует.
145
вопросов
0
голосов
0
ответов
42
показа
Как применить XSLT к XML или HTML?
Есть вот такой код:
from lxml import etree
with open('xslt_orgdo.xsl') as file:
xslt_root = etree.XML(file.read())
Падает ошибка:
ValueError: Unicode strings with encoding declaration are not ...
-1
голос
2
ответа
71
показ
Как запарсить необычную html страничку без div и class
Помогите разобраться, как запарсить страничку по ссылке:
https://iss.moex.com/iss/engines/stock/markets/bonds/securities?marketprice_board=1
Делаю по методу
soup = bs(response, 'lxml')
мне выдает ...
0
голосов
1
ответ
44
показа
Прогрузка страницы в BS
Загружаю с помощью beautiful soup ('lxml') страницу любого предмета стима, потом нахожу элемент id='market_commodity_forsale'.
@staticmethod
def get_item_cost(item_page):
#print(item_page)
r =...
0
голосов
1
ответ
50
показов
Как спарсить динамичный HTML элемент <li> если они все одинаковы?
dp.message_handler(text='Столовая')
async def help(message: types.Message, state: FSMContext):
url = 'https://foodmonitoring.ru/13188/food'
headers = {'Accept': '*/*',
'User-...
0
голосов
1
ответ
54
показа
TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта
import requests
from bs4 import BeautifulSoup
import os
soup = BeautifulSoup
url = "https://health-diet.ru/table_calorie"
headers = {
"Accept": "text/html,application/...
1
голос
1
ответ
172
показа
Ускорение парсера на питоне
Я решил переделать асинхронный парсер с нуля. Убрал всё что мешало, а именно bs4 и заменил его на lxml(Xpath). Работа моего парсера заключается в сборе данных с сайта animedia, но пока для теста я ...
5
голосов
2
ответа
327
показов
BeautifulSoup не видит теги, вложенные в тег <h4>
Проблема описана в заголовке. Больше и сказать нечего. 2 дня бился на рабочем сайте - ничего понять не мог. В конце-концов создал минимально воспроизводимый пример.
Имеем HTML файл:
<!DOCTYPE html&...
0
голосов
2
ответа
162
показа
Почему при запуске кода выдается ошибка('NoneType' object has no attribute 'text')?
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
def g(url):
...
1
голос
1
ответ
322
показа
Конвертация json в xml в python
Есть json:
{
"Response": {
"TransactionId":"12345",
"ResultCode": "0",
"Fields": {
"field1": {
&...
0
голосов
1
ответ
68
показов
Как спарсить изображение на python?
Не понимаю почему не могу скачать изображение с сайта html.
import requests
import fake_useragent
from bs4 import BeautifulSoup
import lxml
image_number = 0
storage_name = 1
link = f"https://...
1
голос
0
ответов
179
показов
Как или чем спарсить динамический текст
Пытаюсь написать парсер на языке python при помощи Scrapy.
Вот сайт https://1wtuer.top/casino/play/1play_1play_luckyjet
Нужно как то считывать числа которые выпадают, в одном из классов, и по ...
0
голосов
1
ответ
54
показа
Не отображается текст страницы в excel но в блокноте он есть
В скрипте для парсинга сайта в excel колонка с именем продуктов не выводитcя name.text, но если убрать .text выводится класс но без имени .Файл расширения csv.
Если открывать этот же файл например ...
0
голосов
1
ответ
98
показов
BeautifulSoup и lxml урезает html файл
Сохраняю страницу с помощью Selenium'а
with open("source-page.html", "w") as file:
file.write(driver.page_source)
get_items_urls("source-page.html")
Все ...
3
голоса
1
ответ
40
показов
Как ускорить парсер Аватарок?
Я практиковался в мнопоточности и решил сделать парсер аватарок. Но скорость сбора данных оставляет желать лучшего. Что я делаю не так? Или может это всё под asyncio переделать?
import threading
...
0
голосов
1
ответ
72
показа
удалить лишний атрибут из класса html
сделал парсер, который выводит текст стиха с сайта: https://stihibase.ru/author/t/tjutchev/vesennjaja_groza/
но, помимо текста, выводит еще block-poema-left-control и пишет: "по теме и по автору&...
0
голосов
1
ответ
85
показов
Как скопировать текст в <span> игнорируя вложенные <span> элементы? beautifulsoup4
На странице есть динамическая таблица, которая обновляется раз в 30 секунд. С помощью beautifulsoup4 и lxml нахожу нужную ячейку и копирую ее текст current_l[item] = current_d[8].find("span"...
0
голосов
0
ответов
171
показ
Не удаётся установить библиотеку lxml в python
PS E:\PyProjects> pip install lxml
Collecting lxml
Using cached lxml-4.9.1.tar.gz (3.4 MB)
Preparing metadata (setup.py) ... done
Building wheels for collected packages: lxml
Building wheel for ...
0
голосов
0
ответов
62
показа
Парсер для Анимедиа Версия 0.2
Немного переделал парсер по очень хорошему совету, добавил grequests, скорость значительно увеличилась, но возникли другие проблемы!
Собираются не все ссылки по аниме их примерно 1645, а собираются ...
-1
голос
1
ответ
48
показов
пытаюсь научиться парсингу, не понимаю, что сделать с кодировкой русских символов, подскажите как сделать так, чтобы выводило русские буквы
снизу вывод, пытался сделать с помощью encode, но не помогло
0
голосов
1
ответ
55
показов
в библиотеке lxml нет xpath
использую python3.10.4
import xml.etree.ElementTree as ET
import lxml
from lxml import etree
file = "123.xml"
parser = etree.XMLParser(
encoding='utf-8',
recover=True,
)
root = ...
-1
голос
1
ответ
54
показа
не работает парсинг пустая консоль
Пытаюсь просто вывести код страницы в консоль. Почему не работает? Программа просто заканчивает работу сразу после включения, ничего не выдав в консоль. Два разных кода попробовал:
import requests
...
0
голосов
0
ответов
115
показов
Выдает None при парсинге страницы python bs4
Появилась такая проблема что парсер просто не находит данные хотя на странице они есть. Вот сам код:
from bs4 import BeautifulSoup as bs
import requests
url = 'https://docdoc.ru/doctor'
req = ...
0
голосов
1
ответ
249
показов
Возможно ли при редактировании в lxml сохранить декларацию как в исходном файле?
Заголовок моей модели в виде xml выглядит следующим образом:
<?xml version="1.0" standalone="yes"?>
<!-- Generated by BEAUTi v1.10.4 Prerelease #bc6cbd9 ...
0
голосов
2
ответа
324
показа
Как правильно написать парсер на python?
Я написал код нахождения заголовков и скачивания изображений. Только по отдельности коды работают, а вместе нет. Мне нужно сделать чтобы название было заголовком и к нему скачивалось его изображение.
...
0
голосов
2
ответа
169
показов
как правильно написать сохранение в json формат
мне нужно чтоб все спарсенные заголовки сохранялись в список и json файл, но я не знаю как правильно это делать. Вот сам код :
from bs4 import BeautifulSoup as bs
import requests
name_image = []
page ...
3
голоса
1
ответ
604
показа
Как расширить объект родительского класса в дочерний?
У меня есть класс Operator, который будет добавлять ряд полезных методов и, быть может, атрибутов к xml-элементу, характеризующему оператор алгоритма Метрополиса-Гастингса:
class Operator(lxml.etree....
0
голосов
0
ответов
44
показа
Парсинг фото с сайта
Подскажите пожалуйста, как можно реализовать парсинг фото с сайта , для последующие отправки ботом. Пример html кода:
<a href="tortyi/listіvka" class="catalog-product__link-img"...
0
голосов
1
ответ
229
показов
Почему при запросе на сайт отображаются не все теги див с классами?
В парсере проблема в том, что нужных мне тегов 55:
А в итоге их получается только 20 при парсинге. Даже html файл сайта скачивал в поиске этих тегов только 20
Почему?
Код:
from bs4 import ...
1
голос
0
ответов
174
показа
При парсинге сайта выдаёт ошибку 'NoneType' object has no attribute 'text'. На некоторых страницах нормально, на других, несмотря на схожесть, ошибка
При парсинге сайта на питоне выдаёт ошибку 'NoneType' object has no attribute 'text', но по какой-то причине это происходит только на страницах с номером больше 209(если номер меньше, всё нормально)
...
1
голос
1
ответ
183
показа
Как с помощью Python можно обработать XML файл полученный из SOAP?
Имеется вот такой код
# coding: utf-8
from lxml import etree
s = """<?xml version='1.0' encoding='UTF-8'?><S:Envelope xmlns:S="http://schemas.xmlsoap.org/soap/envelope/&...
0
голосов
1
ответ
92
показа
Как спарсить картинку с сайта?
Получаю: TypeError: a bytes-like object is required, not 'ResultSet'
Как я парсю:
def get_img(filt1 = "nedvizhimost", filt2 = "doma"):
response = requests.get(url = f"...
0
голосов
1
ответ
744
показа
Парсер всех XML файлов в папке
Есть задача - сделать парсер для всех XML файлов, лежащих в папке на рабочем столе, используя BS4 и/или LXML.
Я новичок в этом вопросе, и единственное, на что хватило чтения документации - написать ...
0
голосов
2
ответа
64
показа
Меняется значение при записи в список python
Спарсил данные с Яндекса, с помощью BeautifulSoup4 получил элементы
При записи чисел 2498, 2129, 1646, 1208 в список, строки меняются на такие значения:
'''
['2\u2009498', '2\u2009129', '1\u2009646', '...
0
голосов
1
ответ
206
показов
python как корректно спарсить содержимое блока <div содержащего множество других <div>
Есть допустим обычный сайт букмекера: https://melbet.ru/live/football/
from bs4 import BeautifulSoup as bs
import requests
from loguru import logger
url = 'https://melbet.ru/live/football/'
response =...
0
голосов
1
ответ
96
показов
Как достать ссылку из content='link'?
Допустим, существует элемент:
<meta property="og:audio" content="https://freesound.org/data/previews/611/611605_1648170-lq.mp3" />
Как мне получить в переменную https://...
1
голос
1
ответ
292
показа
как забрать данные из span
<span class="price-text-E1Y7h text-text-LurtD text-size-s-BxGpL">34 790<!-- --> <span class="price-currency-_B87m">₽</span></span>
Парсил авито , ...
0
голосов
1
ответ
605
показов
Добавление тегов в xml файл
Python, библиотека lxml. У меня есть массив элементов, которые мне нужно в цикле упаковать в xml файл. Вот разметка xml.
page = etree.Element("Arrays")
doc = etree.ElementTree(page)
...
0
голосов
0
ответов
116
показов
Не верный результат при парсинге html страницы при помощи lxml
Имеется код на Python, который парсит страницу https://wordpress.org/plugins/. В коде используется фреймворк BeautifulSoup в связке с парсером lxml. Страница имеет 4 блока по 4 плагина. Результат ...
0
голосов
2
ответа
192
показа
Парсинг корректного числа с сайта [закрыт]
1.Пишу парсер, не могу понять почему при печати словаря из переменной 'price' на экран выводит некорректный текст, когда при печати 'price' отдельно, выводит цену корректно?
2.Что нужно использовать ...
0
голосов
1
ответ
148
показов
Парсинг сайтов, но в результате появляется много отступов, исправимо?
Я попробовал парсинг, у меня по сути получилось, вот только, в результате у меня появились отступы. Бот должен был по команде скидывать погоду. Можно ли их убрать? Код ниже
url = 'https://pogoda.mail....
0
голосов
1
ответ
903
показа
Как записать в файл результат парсинга на Python?
Нужно из страницы вытащить таблицу, которую по итогу буду парсить и положу в .csv файл.
Ниже код вытягивает нужную мне таблицу, а как мне результат выполнения записать в файл, чтобы мне с ним уже ...
0
голосов
1
ответ
166
показов
Парсинг html страницы. Как извлечь два значения между тегами?
<html>
.....
<tr.........
<tr bgcolor="#d3d3d3"><td>Last Week:<td><font color="darkblue">98076543788965678</font><td>Last Month:<td&...
0
голосов
0
ответов
51
показ
Не видет xpath после 10 элемента
Парсил я значит 100 монет с сайта coinmarketcap.com/ru/ хочу сделать через request потому что так удобнее и быстрее нежели через selenium. Сохраняю я сайт в файл и через etree пытаюсь находить то что ...
0
голосов
1
ответ
51
показ
При парсинге возвращается список элементов lxml, когда нужен лишь один элемент
Вот часть кода:
# Получаю список всех товаров со страницы
all_products = tree.xpath(
'//div[@class="iva-item-content-m2FiN"]'
)
for product in all_products:
title = product....
0
голосов
1
ответ
657
показов
Ошибка: TypeError: string indices must be integers
В чем ошибка?
import requests
from bs4 import BeautifulSoup
import csv
FILE="games.csv"
def get_html(url):
r = requests.get(url)
r.encoding = 'utf8'
return r.text
def get_link(...
1
голос
1
ответ
370
показов
Парсинг xml Python
Есть файл xml, который нужно парсить на python, для нахождения тегов. Подскажите, как посчитать количество повторений этих тегов? Вывести в самом конце сам тег - количество.
Вот файл xml:
<?xml ...
0
голосов
1
ответ
198
показов
XPath как из нескольких блоков записать в один словарь данные
Хочу собрать данные с страницы, но они все в разных классах/дивах/улах. В ChroPath по данным xpath_string выделяет нужные данные, но как в питоне из xpath_string записать в словарь отдельно для ...
1
голос
1
ответ
94
показа
Почему вместо text я получаю None?
У меня есть вот такая таблица
<yml_catalog date="2021-01-08 05:00:24">
<shop>
<name>ISSA PLUS</name>
<company>ISSA PLUS</company>
<url>https://...
0
голосов
1
ответ
965
показов
Как выбрать все теги “<li>”?
имею такую структура сайта:
<div class="wrapper">
<div class="menu">
<ul>
<li><a href="index.php" class="active">Главная</a></li>
...
0
голосов
0
ответов
84
показа
возникает исключение при парсинге
Захотел спарсить сайт вроде всё вышло но захотел усложнить парсер , задача была переходить по каждому фрагменту с игрой и забирать ссылку на торрент, вроде requests переходит по ссылке даже отдаёт ...