Вопросы с меткой [lxml]
Руководство по использованию метки lxml отсутствует.
144
вопроса
0
голосов
0
ответов
17
показов
Ускорение парсера animebuff
Я сейчас работаю над асинхронным парсером для animebuff, но столкнулся с проблемой скорости сбора данных парсера(это может затянуться до нескольких минут от 15 до 20 вроде, а может и больше). Хотел ...
0
голосов
1
ответ
26
показов
TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта
import requests
from bs4 import BeautifulSoup
import os
soup = BeautifulSoup
url = "https://health-diet.ru/table_calorie"
headers = {
"Accept": "text/html,application/...
1
голос
1
ответ
80
показов
Ускорение парсера на питоне
Я решил переделать асинхронный парсер с нуля. Убрал всё что мешало, а именно bs4 и заменил его на lxml(Xpath). Работа моего парсера заключается в сборе данных с сайта animedia, но пока для теста я ...
5
голосов
2
ответа
134
показа
BeautifulSoup не видит теги, вложенные в тег <h4>
Проблема описана в заголовке. Больше и сказать нечего. 2 дня бился на рабочем сайте - ничего понять не мог. В конце-концов создал минимально воспроизводимый пример.
Имеем HTML файл:
<!DOCTYPE html&...
0
голосов
2
ответа
51
показ
Почему при запуске кода выдается ошибка('NoneType' object has no attribute 'text')?
import requests
from bs4 import BeautifulSoup
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36'
}
def g(url):
...
0
голосов
0
ответов
83
показа
Не получается парсить сайт яндекса
Мне нужно сделать так чтобы мой код парсил рейтинг организации в поисковике яндекс, допустим на примере магазина "ЦУМ" . Если вбить в поисковик яндекса этот запрос, то выдаст описание ...
1
голос
1
ответ
101
показ
Конвертация json в xml в python
Есть json:
{
"Response": {
"TransactionId":"12345",
"ResultCode": "0",
"Fields": {
"field1": {
&...
0
голосов
1
ответ
60
показов
Как спарсить изображение на python?
Не понимаю почему не могу скачать изображение с сайта html.
import requests
import fake_useragent
from bs4 import BeautifulSoup
import lxml
image_number = 0
storage_name = 1
link = f"https://...
1
голос
0
ответов
98
показов
Как или чем спарсить динамический текст
Пытаюсь написать парсер на языке python при помощи Scrapy.
Вот сайт https://1wtuer.top/casino/play/1play_1play_luckyjet
Нужно как то считывать числа которые выпадают, в одном из классов, и по ...
0
голосов
1
ответ
33
показа
Не отображается текст страницы в excel но в блокноте он есть
В скрипте для парсинга сайта в excel колонка с именем продуктов не выводитcя name.text, но если убрать .text выводится класс но без имени .Файл расширения csv.
Если открывать этот же файл например ...
0
голосов
1
ответ
40
показов
BeautifulSoup и lxml урезает html файл
Сохраняю страницу с помощью Selenium'а
with open("source-page.html", "w") as file:
file.write(driver.page_source)
get_items_urls("source-page.html")
Все ...
3
голоса
1
ответ
33
показа
Как ускорить парсер Аватарок?
Я практиковался в мнопоточности и решил сделать парсер аватарок. Но скорость сбора данных оставляет желать лучшего. Что я делаю не так? Или может это всё под asyncio переделать?
import threading
...
0
голосов
0
ответов
18
показов
Как вводить данные в поле input с Beutifulsoup4
у меня есть задача, мне необходимо доставать данные игрока с https://statname.net/
но чтобы перейти на страницу игрока нужно знать playerid который не совпадает с id игрока.
я хочу попробовать ...
0
голосов
1
ответ
48
показов
удалить лишний атрибут из класса html
сделал парсер, который выводит текст стиха с сайта: https://stihibase.ru/author/t/tjutchev/vesennjaja_groza/
но, помимо текста, выводит еще block-poema-left-control и пишет: "по теме и по автору&...
0
голосов
1
ответ
53
показа
Как скопировать текст в <span> игнорируя вложенные <span> элементы? beautifulsoup4
На странице есть динамическая таблица, которая обновляется раз в 30 секунд. С помощью beautifulsoup4 и lxml нахожу нужную ячейку и копирую ее текст current_l[item] = current_d[8].find("span"...
0
голосов
0
ответов
82
показа
Не удаётся установить библиотеку lxml в python
PS E:\PyProjects> pip install lxml
Collecting lxml
Using cached lxml-4.9.1.tar.gz (3.4 MB)
Preparing metadata (setup.py) ... done
Building wheels for collected packages: lxml
Building wheel for ...
0
голосов
0
ответов
51
показ
Парсер для Анимедиа Версия 0.2
Немного переделал парсер по очень хорошему совету, добавил grequests, скорость значительно увеличилась, но возникли другие проблемы!
Собираются не все ссылки по аниме их примерно 1645, а собираются ...
-1
голос
1
ответ
44
показа
пытаюсь научиться парсингу, не понимаю, что сделать с кодировкой русских символов, подскажите как сделать так, чтобы выводило русские буквы
снизу вывод, пытался сделать с помощью encode, но не помогло
0
голосов
1
ответ
33
показа
в библиотеке lxml нет xpath
использую python3.10.4
import xml.etree.ElementTree as ET
import lxml
from lxml import etree
file = "123.xml"
parser = etree.XMLParser(
encoding='utf-8',
recover=True,
)
root = ...
-1
голос
1
ответ
41
показ
не работает парсинг пустая консоль
Пытаюсь просто вывести код страницы в консоль. Почему не работает? Программа просто заканчивает работу сразу после включения, ничего не выдав в консоль. Два разных кода попробовал:
import requests
...
0
голосов
0
ответов
109
показов
Выдает None при парсинге страницы python bs4
Появилась такая проблема что парсер просто не находит данные хотя на странице они есть. Вот сам код:
from bs4 import BeautifulSoup as bs
import requests
url = 'https://docdoc.ru/doctor'
req = ...
0
голосов
1
ответ
219
показов
Возможно ли при редактировании в lxml сохранить декларацию как в исходном файле?
Заголовок моей модели в виде xml выглядит следующим образом:
<?xml version="1.0" standalone="yes"?>
<!-- Generated by BEAUTi v1.10.4 Prerelease #bc6cbd9 ...
0
голосов
2
ответа
184
показа
Как правильно написать парсер на python?
Я написал код нахождения заголовков и скачивания изображений. Только по отдельности коды работают, а вместе нет. Мне нужно сделать чтобы название было заголовком и к нему скачивалось его изображение.
...
0
голосов
2
ответа
64
показа
как правильно написать сохранение в json формат
мне нужно чтоб все спарсенные заголовки сохранялись в список и json файл, но я не знаю как правильно это делать. Вот сам код :
from bs4 import BeautifulSoup as bs
import requests
name_image = []
page ...
3
голоса
1
ответ
318
показов
Как расширить объект родительского класса в дочерний?
У меня есть класс Operator, который будет добавлять ряд полезных методов и, быть может, атрибутов к xml-элементу, характеризующему оператор алгоритма Метрополиса-Гастингса:
class Operator(lxml.etree....
0
голосов
0
ответов
30
показов
Парсинг фото с сайта
Подскажите пожалуйста, как можно реализовать парсинг фото с сайта , для последующие отправки ботом. Пример html кода:
<a href="tortyi/listіvka" class="catalog-product__link-img"...
0
голосов
1
ответ
112
показов
Почему при запросе на сайт отображаются не все теги див с классами?
В парсере проблема в том, что нужных мне тегов 55:
А в итоге их получается только 20 при парсинге. Даже html файл сайта скачивал в поиске этих тегов только 20
Почему?
Код:
from bs4 import ...
1
голос
0
ответов
156
показов
При парсинге сайта выдаёт ошибку 'NoneType' object has no attribute 'text'. На некоторых страницах нормально, на других, несмотря на схожесть, ошибка
При парсинге сайта на питоне выдаёт ошибку 'NoneType' object has no attribute 'text', но по какой-то причине это происходит только на страницах с номером больше 209(если номер меньше, всё нормально)
...
1
голос
1
ответ
105
показов
Как с помощью Python можно обработать XML файл полученный из SOAP?
Имеется вот такой код
# coding: utf-8
from lxml import etree
s = """<?xml version='1.0' encoding='UTF-8'?><S:Envelope xmlns:S="http://schemas.xmlsoap.org/soap/envelope/&...
0
голосов
1
ответ
55
показов
Как спарсить картинку с сайта?
Получаю: TypeError: a bytes-like object is required, not 'ResultSet'
Как я парсю:
def get_img(filt1 = "nedvizhimost", filt2 = "doma"):
response = requests.get(url = f"...
0
голосов
1
ответ
415
показов
Парсер всех XML файлов в папке
Есть задача - сделать парсер для всех XML файлов, лежащих в папке на рабочем столе, используя BS4 и/или LXML.
Я новичок в этом вопросе, и единственное, на что хватило чтения документации - написать ...
0
голосов
2
ответа
45
показов
Меняется значение при записи в список python
Спарсил данные с Яндекса, с помощью BeautifulSoup4 получил элементы
При записи чисел 2498, 2129, 1646, 1208 в список, строки меняются на такие значения:
'''
['2\u2009498', '2\u2009129', '1\u2009646', '...
0
голосов
1
ответ
144
показа
python как корректно спарсить содержимое блока <div содержащего множество других <div>
Есть допустим обычный сайт букмекера: https://melbet.ru/live/football/
from bs4 import BeautifulSoup as bs
import requests
from loguru import logger
url = 'https://melbet.ru/live/football/'
response =...
0
голосов
1
ответ
77
показов
Как достать ссылку из content='link'?
Допустим, существует элемент:
<meta property="og:audio" content="https://freesound.org/data/previews/611/611605_1648170-lq.mp3" />
Как мне получить в переменную https://...
1
голос
1
ответ
178
показов
как забрать данные из span
<span class="price-text-E1Y7h text-text-LurtD text-size-s-BxGpL">34 790<!-- --> <span class="price-currency-_B87m">₽</span></span>
Парсил авито , ...
0
голосов
1
ответ
389
показов
Добавление тегов в xml файл
Python, библиотека lxml. У меня есть массив элементов, которые мне нужно в цикле упаковать в xml файл. Вот разметка xml.
page = etree.Element("Arrays")
doc = etree.ElementTree(page)
...
0
голосов
0
ответов
79
показов
Не верный результат при парсинге html страницы при помощи lxml
Имеется код на Python, который парсит страницу https://wordpress.org/plugins/. В коде используется фреймворк BeautifulSoup в связке с парсером lxml. Страница имеет 4 блока по 4 плагина. Результат ...
0
голосов
2
ответа
127
показов
Парсинг корректного числа с сайта [закрыт]
1.Пишу парсер, не могу понять почему при печати словаря из переменной 'price' на экран выводит некорректный текст, когда при печати 'price' отдельно, выводит цену корректно?
2.Что нужно использовать ...
0
голосов
1
ответ
103
показа
Парсинг сайтов, но в результате появляется много отступов, исправимо?
Я попробовал парсинг, у меня по сути получилось, вот только, в результате у меня появились отступы. Бот должен был по команде скидывать погоду. Можно ли их убрать? Код ниже
url = 'https://pogoda.mail....
0
голосов
1
ответ
719
показов
Как записать в файл результат парсинга на Python?
Нужно из страницы вытащить таблицу, которую по итогу буду парсить и положу в .csv файл.
Ниже код вытягивает нужную мне таблицу, а как мне результат выполнения записать в файл, чтобы мне с ним уже ...
0
голосов
1
ответ
144
показа
Парсинг html страницы. Как извлечь два значения между тегами?
<html>
.....
<tr.........
<tr bgcolor="#d3d3d3"><td>Last Week:<td><font color="darkblue">98076543788965678</font><td>Last Month:<td&...
0
голосов
0
ответов
49
показов
Не видет xpath после 10 элемента
Парсил я значит 100 монет с сайта coinmarketcap.com/ru/ хочу сделать через request потому что так удобнее и быстрее нежели через selenium. Сохраняю я сайт в файл и через etree пытаюсь находить то что ...
0
голосов
1
ответ
38
показов
При парсинге возвращается список элементов lxml, когда нужен лишь один элемент
Вот часть кода:
# Получаю список всех товаров со страницы
all_products = tree.xpath(
'//div[@class="iva-item-content-m2FiN"]'
)
for product in all_products:
title = product....
0
голосов
1
ответ
500
показов
Ошибка: TypeError: string indices must be integers
В чем ошибка?
import requests
from bs4 import BeautifulSoup
import csv
FILE="games.csv"
def get_html(url):
r = requests.get(url)
r.encoding = 'utf8'
return r.text
def get_link(...
1
голос
1
ответ
310
показов
Парсинг xml Python
Есть файл xml, который нужно парсить на python, для нахождения тегов. Подскажите, как посчитать количество повторений этих тегов? Вывести в самом конце сам тег - количество.
Вот файл xml:
<?xml ...
0
голосов
1
ответ
146
показов
XPath как из нескольких блоков записать в один словарь данные
Хочу собрать данные с страницы, но они все в разных классах/дивах/улах. В ChroPath по данным xpath_string выделяет нужные данные, но как в питоне из xpath_string записать в словарь отдельно для ...
1
голос
1
ответ
79
показов
Почему вместо text я получаю None?
У меня есть вот такая таблица
<yml_catalog date="2021-01-08 05:00:24">
<shop>
<name>ISSA PLUS</name>
<company>ISSA PLUS</company>
<url>https://...
0
голосов
1
ответ
799
показов
Как выбрать все теги “<li>”?
имею такую структура сайта:
<div class="wrapper">
<div class="menu">
<ul>
<li><a href="index.php" class="active">Главная</a></li>
...
0
голосов
0
ответов
72
показа
возникает исключение при парсинге
Захотел спарсить сайт вроде всё вышло но захотел усложнить парсер , задача была переходить по каждому фрагменту с игрой и забирать ссылку на торрент, вроде requests переходит по ссылке даже отдаёт ...
0
голосов
1
ответ
891
показ
Как спарсить динамические значения?
Изучая парсинг поставил себе задачу спарсить данные с сайта https://www.binance.com/ru/markets ради интереса попытался вытащить имя по типу : BNB/ BTC но но почему то выходит исключения
ic| name: 'BNB'...