Вопросы с меткой [lxml]
Руководство по использованию метки lxml отсутствует.
126
вопросов
0
голосов
1
ответ
35
показов
Возможно ли при редактировании в lxml сохранить декларацию как в исходном файле?
Заголовок моей модели в виде xml выглядит следующим образом:
<?xml version="1.0" standalone="yes"?>
<!-- Generated by BEAUTi v1.10.4 Prerelease #bc6cbd9 ...
0
голосов
0
ответов
23
показа
Сохранение в excel файл в python
Мне надо написать сохранение спарсеных данных в excel файл, но сохраняется только одна статья, а их 4. Вот сам код:
from bs4 import BeautifulSoup as bs
import requests
import json
import pandas as pd
...
0
голосов
2
ответа
71
показ
Как правильно написать парсер на python?
Я написал код нахождения заголовков и скачивания изображений. Только по отдельности коды работают, а вместе нет. Мне нужно сделать чтобы название было заголовком и к нему скачивалось его изображение.
...
0
голосов
2
ответа
37
показов
как правильно написать сохранение в json формат
мне нужно чтоб все спарсенные заголовки сохранялись в список и json файл, но я не знаю как правильно это делать. Вот сам код :
from bs4 import BeautifulSoup as bs
import requests
name_image = []
page ...
3
голоса
1
ответ
39
показов
Как расширить объект родительского класса в дочерний?
У меня есть класс Operator, который будет добавлять ряд полезных методов и, быть может, атрибутов к xml-элементу, характеризующему оператор алгоритма Метрополиса-Гастингса:
class Operator(lxml.etree....
0
голосов
0
ответов
23
показа
Парсинг фото с сайта
Подскажите пожалуйста, как можно реализовать парсинг фото с сайта , для последующие отправки ботом. Пример html кода:
<a href="tortyi/listіvka" class="catalog-product__link-img"...
0
голосов
1
ответ
18
показов
Почему при запросе на сайт отображаются не все теги див с классами?
В парсере проблема в том, что нужных мне тегов 55:
А в итоге их получается только 20 при парсинге. Даже html файл сайта скачивал в поиске этих тегов только 20
Почему?
Код:
from bs4 import ...
1
голос
0
ответов
25
показов
При парсинге сайта выдаёт ошибку 'NoneType' object has no attribute 'text'. На некоторых страницах нормально, на других, несмотря на схожесть, ошибка
При парсинге сайта на питоне выдаёт ошибку 'NoneType' object has no attribute 'text', но по какой-то причине это происходит только на страницах с номером больше 209(если номер меньше, всё нормально)
...
1
голос
1
ответ
39
показов
Как с помощью Python можно обработать XML файл полученный из SOAP?
Имеется вот такой код
# coding: utf-8
from lxml import etree
s = """<?xml version='1.0' encoding='UTF-8'?><S:Envelope xmlns:S="http://schemas.xmlsoap.org/soap/envelope/&...
0
голосов
1
ответ
23
показа
Как спарсить картинку с сайта?
Получаю: TypeError: a bytes-like object is required, not 'ResultSet'
Как я парсю:
def get_img(filt1 = "nedvizhimost", filt2 = "doma"):
response = requests.get(url = f"...
0
голосов
1
ответ
63
показа
Парсер всех XML файлов в папке
Есть задача - сделать парсер для всех XML файлов, лежащих в папке на рабочем столе, используя BS4 и/или LXML.
Я новичок в этом вопросе, и единственное, на что хватило чтения документации - написать ...
0
голосов
2
ответа
22
показа
Меняется значение при записи в список python
Спарсил данные с Яндекса, с помощью BeautifulSoup4 получил элементы
При записи чисел 2498, 2129, 1646, 1208 в список, строки меняются на такие значения:
'''
['2\u2009498', '2\u2009129', '1\u2009646', '...
0
голосов
1
ответ
54
показа
python как корректно спарсить содержимое блока <div содержащего множество других <div>
Есть допустим обычный сайт букмекера: https://melbet.ru/live/football/
from bs4 import BeautifulSoup as bs
import requests
from loguru import logger
url = 'https://melbet.ru/live/football/'
response =...
0
голосов
1
ответ
35
показов
Как достать ссылку из content='link'?
Допустим, существует элемент:
<meta property="og:audio" content="https://freesound.org/data/previews/611/611605_1648170-lq.mp3" />
Как мне получить в переменную https://...
0
голосов
0
ответов
35
показов
BS4 не видит полный код страницы
Пример страницы https://zarabotay-na-domu.ru/c52-235697.html имеет такой блок кода
<index>
<h1 class="message_title">Зарабатываем дома по интернету.</h1>
<div class="...
1
голос
1
ответ
35
показов
как забрать данные из span
<span class="price-text-E1Y7h text-text-LurtD text-size-s-BxGpL">34 790<!-- --> <span class="price-currency-_B87m">₽</span></span>
Парсил авито , ...
0
голосов
1
ответ
78
показов
Добавление тегов в xml файл
Python, библиотека lxml. У меня есть массив элементов, которые мне нужно в цикле упаковать в xml файл. Вот разметка xml.
page = etree.Element("Arrays")
doc = etree.ElementTree(page)
...
0
голосов
0
ответов
24
показа
Не верный результат при парсинге html страницы при помощи lxml
Имеется код на Python, который парсит страницу https://wordpress.org/plugins/. В коде используется фреймворк BeautifulSoup в связке с парсером lxml. Страница имеет 4 блока по 4 плагина. Результат ...
0
голосов
2
ответа
35
показов
Парсинг корректного числа с сайта [закрыт]
1.Пишу парсер, не могу понять почему при печати словаря из переменной 'price' на экран выводит некорректный текст, когда при печати 'price' отдельно, выводит цену корректно?
2.Что нужно использовать ...
0
голосов
1
ответ
42
показа
Парсинг сайтов, но в результате появляется много отступов, исправимо?
Я попробовал парсинг, у меня по сути получилось, вот только, в результате у меня появились отступы. Бот должен был по команде скидывать погоду. Можно ли их убрать? Код ниже
url = 'https://pogoda.mail....
0
голосов
1
ответ
308
показов
Как записать в файл результат парсинга на Python?
Нужно из страницы вытащить таблицу, которую по итогу буду парсить и положу в .csv файл.
Ниже код вытягивает нужную мне таблицу, а как мне результат выполнения записать в файл, чтобы мне с ним уже ...
0
голосов
1
ответ
53
показа
Парсинг html страницы. Как извлечь два значения между тегами?
<html>
.....
<tr.........
<tr bgcolor="#d3d3d3"><td>Last Week:<td><font color="darkblue">98076543788965678</font><td>Last Month:<td&...
0
голосов
0
ответов
44
показа
Не видет xpath после 10 элемента
Парсил я значит 100 монет с сайта coinmarketcap.com/ru/ хочу сделать через request потому что так удобнее и быстрее нежели через selenium. Сохраняю я сайт в файл и через etree пытаюсь находить то что ...
0
голосов
0
ответов
43
показа
При парсинге не считываются все элементы класса div
Один из моих первых парсеров. Захотел сделать ассортимент сайта. При считывании элементов класса "div" по тегу "product flexdiscount-product-wrap" выдаёт список из 24 элементов, а ...
0
голосов
1
ответ
20
показов
При парсинге возвращается список элементов lxml, когда нужен лишь один элемент
Вот часть кода:
# Получаю список всех товаров со страницы
all_products = tree.xpath(
'//div[@class="iva-item-content-m2FiN"]'
)
for product in all_products:
title = product....
0
голосов
1
ответ
148
показов
Ошибка: TypeError: string indices must be integers
В чем ошибка?
import requests
from bs4 import BeautifulSoup
import csv
FILE="games.csv"
def get_html(url):
r = requests.get(url)
r.encoding = 'utf8'
return r.text
def get_link(...
1
голос
1
ответ
123
показа
Парсинг xml Python
Есть файл xml, который нужно парсить на python, для нахождения тегов. Подскажите, как посчитать количество повторений этих тегов? Вывести в самом конце сам тег - количество.
Вот файл xml:
<?xml ...
0
голосов
1
ответ
69
показов
XPath как из нескольких блоков записать в один словарь данные
Хочу собрать данные с страницы, но они все в разных классах/дивах/улах. В ChroPath по данным xpath_string выделяет нужные данные, но как в питоне из xpath_string записать в словарь отдельно для ...
1
голос
1
ответ
51
показ
Почему вместо text я получаю None?
У меня есть вот такая таблица
<yml_catalog date="2021-01-08 05:00:24">
<shop>
<name>ISSA PLUS</name>
<company>ISSA PLUS</company>
<url>https://...
0
голосов
1
ответ
234
показа
Как выбрать все теги “<li>”?
имею такую структура сайта:
<div class="wrapper">
<div class="menu">
<ul>
<li><a href="index.php" class="active">Главная</a></li>
...
0
голосов
0
ответов
56
показов
возникает исключение при парсинге
Захотел спарсить сайт вроде всё вышло но захотел усложнить парсер , задача была переходить по каждому фрагменту с игрой и забирать ссылку на торрент, вроде requests переходит по ссылке даже отдаёт ...
0
голосов
1
ответ
434
показа
Как спарсить динамические значения?
Изучая парсинг поставил себе задачу спарсить данные с сайта https://www.binance.com/ru/markets ради интереса попытался вытащить имя по типу : BNB/ BTC но но почему то выходит исключения
ic| name: 'BNB'...
0
голосов
1
ответ
294
показа
как записать в json файл несколько значений с Python кода
Задача записать в json файл 4 значения которые были спарсины
for items in items:
name = items.find('div', class_="iva-item-titleStep-2bjuh").find('span', class_="title-root-395AQ ...
0
голосов
1
ответ
21
показ
почему парится только один запрос?
import requests
from bs4 import BeautifulSoup
import json
URL = 'https://miped.ru/'
HEDERS = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,...
1
голос
0
ответов
27
показов
Как спарсить ссылки на новости? Неверный CSS selector?
Пытаюсь спарсить ссылки на старые новости из архива сайта https://www.vedomosti.ru/archive/ с помощью css selector. Искал селектор с помощью SelectorGadget для Chrome, показывает что нужный мне имеет ...
0
голосов
0
ответов
27
показов
Как получить фрагмент html кода?
xxp= '//*[contains(@class, "iongIs")]//*[preceding::*[contains(text(), "Кэшбэк")]]'
soup = BeautifulSoup(page,'html.parser') # получаем страницу
dom = etree.HTML(str(soup))
content ...
0
голосов
1
ответ
42
показа
python lxml objectify скопировать элемент со всеми субэлементами
Есть файл формата XML, в нем, в корне есть много дочерних элементов, которые имеют атрибуты и свои дочерние элементы. Необходимо скопировать один корневой дочерний элемент и добавить эту копию с ...
1
голос
1
ответ
145
показов
Python. Выгрузка sql запроса в xml
Столкнулся с проблемой выгрузки в xml нескольких связных таблиц. Получается, что при связке 1 к многим повторяются заголовки,то есть в 1 накладной несколько ресурсов и выводится все построчно. Поэтому ...
0
голосов
0
ответов
43
показа
Парсинг динамически подгружаемого контента BS4, lxml, requests
подскажите куда копать в данной ситуации, есть сайт "https://vk.com/@yvkurse", необходимо спарсить каждую статью из группы. Дело в том, что при скроллинге вниз страницы, контент подгружается ...
0
голосов
0
ответов
121
показ
Игнорирование определенных тегов в XPath lxml
Подскажите, пожалуйста, возможно ли как-то игнорировать определенные html-теги, находящиеся внутри текста при разборе XPath? В моем случае это тег <br>. Пример:
from lxml import html
def main():...
0
голосов
0
ответов
31
показ
lxml xpath выдает случайные значения
Нужно получить ссылку с кнопки Скачать на сайте: https://ru.sefon.cc/mp3/5055-bravo-ehtot-gorod/
Прописываю путь по XPath и в итоге интерпритатор каждый раз выдает совсем разные значения и не те, ...
0
голосов
1
ответ
251
показ
Как установить lxml в виртуальное окружение PyCharm
У меня:
Python 3.8.1
Windows 10 - 64
На PyCharm'е в виртуальное окружение пытаюсь поставить lxml:
(venv) F:\testProjekt\Fs_h>pip install lxml
Получаю в конце примерно следующее:
running build_ext
...
2
голоса
1
ответ
70
показов
Парсер данных из сайта новостей "gorod48.ru" на lxml
Пробую парсить данные из сайта новостей "gorod48.ru" в формате 'Название новости', 'Ссылка', 'Количество комментариев'. Там где нет комментариев должно проставляться 0, а там где есть, ...
0
голосов
0
ответов
91
показ
BS4: парсятся ненужные символы вместе с нужными
Почему парсит кучу ненужных символов вместе с нужным текстом? Обычные способы не помогают
Взял для примера нетрудный для парса сайт auto.ru. Выбрав модель, пасрю каждую карточку по ее характеристикам. ...
0
голосов
1
ответ
85
показов
Как спарсить весь текст на веб-странице, включая кнопки, поля, выпадающие списки и т.п?
Хочу вытащить абсолютно весь текст с веб-странице, делаю с помощью python + BeautifulSoup + xlmxl.
Сейчас пишу каждый класс, но хочу узнать может как-то можно ускорить процесс?
0
голосов
1
ответ
194
показа
Распарсить строку в XML на Python
Есть XML такого вида
<offer>
<param name="Размер">36, 37, 38,42</param>
</offer>
<offer>
<param name="Размер">36, 42</param>
</offer>
...
0
голосов
2
ответа
238
показов
Не работает скрипт с BeautifulSoup и requests (Python3x)
Попытался запарсить адреса картинок с сайта(https://amitego.ru/)
Получилось так:
import requests
from bs4 import BeautifulSoup
HEADERS = {
'user-agent': '*Скрыто*',
'accept': '*/*'
}
def get_html(...
0
голосов
1
ответ
106
показов
Парсер запускается, но ничего не происходит:данные в csv не записываются,но и ошибки не появляется
Наткнулся в интернете на парсер.
При запуске никаких ошибок не возникает, но и полезных действий не происходит (данные в файл не записываются).
Может ли кто-то подсказать, в чем проблема со скриптом и ...
0
голосов
0
ответов
78
показов
Не могу найти свою ошибку в парсере Python
Всем привет. Начал практиковаться в парсинге, собственно не имея весомого опыта за спиной, парсил себе в удовольствие обычные сайты и дошел до Яндекс-Маркета. До последнего не хотел писать сюда, ...
0
голосов
0
ответов
33
показа
Как вытянуть значение alt?
Пользуюсь библиотеками lxml и urllib, нужно альтернативный ответ решения уравнения, он находится в тэге , в атрибуте alt='то что мне нужно', как мне достать это значение?