Вопросы с меткой [lxml]

Руководство по использованию метки отсутствует.

Фильтрация
Сортировка
Метки
-1 голос
2 ответа
40 показов

Как запарсить необычную html страничку без div и class

Помогите разобраться, как запарсить страничку по ссылке: https://iss.moex.com/iss/engines/stock/markets/bonds/securities?marketprice_board=1 Делаю по методу soup = bs(response, 'lxml') мне выдает ...
Alexander Shemetov's user avatar
0 голосов
1 ответ
28 показов

Прогрузка страницы в BS

Загружаю с помощью beautiful soup ('lxml') страницу любого предмета стима, потом нахожу элемент id='market_commodity_forsale'. @staticmethod def get_item_cost(item_page): #print(item_page) r =...
Роман's user avatar
0 голосов
1 ответ
46 показов

Как спарсить динамичный HTML элемент <li> если они все одинаковы?

dp.message_handler(text='Столовая') async def help(message: types.Message, state: FSMContext): url = 'https://foodmonitoring.ru/13188/food' headers = {'Accept': '*/*', 'User-...
Kavermoki's user avatar
0 голосов
0 ответов
31 показ

Ускорение парсера animebuff

Я сейчас работаю над асинхронным парсером для animebuff, но столкнулся с проблемой скорости сбора данных парсера(это может затянуться до нескольких минут от 15 до 20 вроде, а может и больше). Хотел ...
The Fallen Angel's user avatar
0 голосов
1 ответ
42 показа

TypeError: Tag.find_all() missing 1 required positional argument: 'self' при парсинге сайта

import requests from bs4 import BeautifulSoup import os soup = BeautifulSoup url = "https://health-diet.ru/table_calorie" headers = { "Accept": "text/html,application/...
today's user avatar
  • 3
1 голос
1 ответ
146 показов

Ускорение парсера на питоне

Я решил переделать асинхронный парсер с нуля. Убрал всё что мешало, а именно bs4 и заменил его на lxml(Xpath). Работа моего парсера заключается в сборе данных с сайта animedia, но пока для теста я ...
Red Fox's user avatar
  • 69
5 голосов
2 ответа
252 показа

BeautifulSoup не видит теги, вложенные в тег <h4>

Проблема описана в заголовке. Больше и сказать нечего. 2 дня бился на рабочем сайте - ничего понять не мог. В конце-концов создал минимально воспроизводимый пример. Имеем HTML файл: <!DOCTYPE html&...
Sergey's user avatar
  • 13.5k
0 голосов
2 ответа
96 показов

Почему при запуске кода выдается ошибка('NoneType' object has no attribute 'text')?

import requests from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; ) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36' } def g(url): ...
Тигран's user avatar
1 голос
1 ответ
235 показов

Конвертация json в xml в python

Есть json: { "Response": { "TransactionId":"12345", "ResultCode": "0", "Fields": { "field1": { &...
andrzejvod's user avatar
0 голосов
1 ответ
65 показов

Как спарсить изображение на python?

Не понимаю почему не могу скачать изображение с сайта html. import requests import fake_useragent from bs4 import BeautifulSoup import lxml image_number = 0 storage_name = 1 link = f"https://...
Иван Иванов's user avatar
1 голос
0 ответов
148 показов

Как или чем спарсить динамический текст

Пытаюсь написать парсер на языке python при помощи Scrapy. Вот сайт https://1wtuer.top/casino/play/1play_1play_luckyjet Нужно как то считывать числа которые выпадают, в одном из классов, и по ...
Nik's user avatar
  • 11
0 голосов
1 ответ
46 показов

Не отображается текст страницы в excel но в блокноте он есть

В скрипте для парсинга сайта в excel колонка с именем продуктов не выводитcя name.text, но если убрать .text выводится класс но без имени .Файл расширения csv. Если открывать этот же файл например ...
Maksim's user avatar
  • 17
0 голосов
1 ответ
69 показов

BeautifulSoup и lxml урезает html файл

Сохраняю страницу с помощью Selenium'а with open("source-page.html", "w") as file: file.write(driver.page_source) get_items_urls("source-page.html") Все ...
Fkup's user avatar
  • 3
3 голоса
1 ответ
37 показов

Как ускорить парсер Аватарок?

Я практиковался в мнопоточности и решил сделать парсер аватарок. Но скорость сбора данных оставляет желать лучшего. Что я делаю не так? Или может это всё под asyncio переделать? import threading ...
Red Fox's user avatar
  • 69
0 голосов
1 ответ
67 показов

удалить лишний атрибут из класса html

сделал парсер, который выводит текст стиха с сайта: https://stihibase.ru/author/t/tjutchev/vesennjaja_groza/ но, помимо текста, выводит еще block-poema-left-control и пишет: "по теме и по автору&...
kan3k1k3n's user avatar
0 голосов
1 ответ
71 показ

Как скопировать текст в <span> игнорируя вложенные <span> элементы? beautifulsoup4

На странице есть динамическая таблица, которая обновляется раз в 30 секунд. С помощью beautifulsoup4 и lxml нахожу нужную ячейку и копирую ее текст current_l[item] = current_d[8].find("span"...
Null Null's user avatar
0 голосов
0 ответов
126 показов

Не удаётся установить библиотеку lxml в python

PS E:\PyProjects> pip install lxml Collecting lxml Using cached lxml-4.9.1.tar.gz (3.4 MB) Preparing metadata (setup.py) ... done Building wheels for collected packages: lxml Building wheel for ...
Vlad's user avatar
  • 46
0 голосов
0 ответов
58 показов

Парсер для Анимедиа Версия 0.2

Немного переделал парсер по очень хорошему совету, добавил grequests, скорость значительно увеличилась, но возникли другие проблемы! Собираются не все ссылки по аниме их примерно 1645, а собираются ...
Red Fox's user avatar
  • 69
-1 голос
1 ответ
46 показов

пытаюсь научиться парсингу, не понимаю, что сделать с кодировкой русских символов, подскажите как сделать так, чтобы выводило русские буквы

снизу вывод, пытался сделать с помощью encode, но не помогло
swlrorp 17's user avatar
0 голосов
1 ответ
43 показа

в библиотеке lxml нет xpath

использую python3.10.4 import xml.etree.ElementTree as ET import lxml from lxml import etree file = "123.xml" parser = etree.XMLParser( encoding='utf-8', recover=True, ) root = ...
Hramoff's user avatar
-1 голос
1 ответ
48 показов

не работает парсинг пустая консоль

Пытаюсь просто вывести код страницы в консоль. Почему не работает? Программа просто заканчивает работу сразу после включения, ничего не выдав в консоль. Два разных кода попробовал: import requests ...
den's user avatar
  • 1
0 голосов
0 ответов
113 показов

Выдает None при парсинге страницы python bs4

Появилась такая проблема что парсер просто не находит данные хотя на странице они есть. Вот сам код: from bs4 import BeautifulSoup as bs import requests url = 'https://docdoc.ru/doctor' req = ...
user avatar
0 голосов
1 ответ
243 показа

Возможно ли при редактировании в lxml сохранить декларацию как в исходном файле?

Заголовок моей модели в виде xml выглядит следующим образом: <?xml version="1.0" standalone="yes"?> <!-- Generated by BEAUTi v1.10.4 Prerelease #bc6cbd9 ...
Vovin's user avatar
  • 190
0 голосов
2 ответа
304 показа

Как правильно написать парсер на python?

Я написал код нахождения заголовков и скачивания изображений. Только по отдельности коды работают, а вместе нет. Мне нужно сделать чтобы название было заголовком и к нему скачивалось его изображение. ...
user avatar
0 голосов
2 ответа
133 показа

как правильно написать сохранение в json формат

мне нужно чтоб все спарсенные заголовки сохранялись в список и json файл, но я не знаю как правильно это делать. Вот сам код : from bs4 import BeautifulSoup as bs import requests name_image = [] page ...
user avatar
3 голоса
1 ответ
468 показов

Как расширить объект родительского класса в дочерний?

У меня есть класс Operator, который будет добавлять ряд полезных методов и, быть может, атрибутов к xml-элементу, характеризующему оператор алгоритма Метрополиса-Гастингса: class Operator(lxml.etree....
Vovin's user avatar
  • 190
0 голосов
0 ответов
39 показов

Парсинг фото с сайта

Подскажите пожалуйста, как можно реализовать парсинг фото с сайта , для последующие отправки ботом. Пример html кода: <a href="tortyi/listіvka" class="catalog-product__link-img"...
Derlin Top's user avatar
0 голосов
1 ответ
189 показов

Почему при запросе на сайт отображаются не все теги див с классами?

В парсере проблема в том, что нужных мне тегов 55: А в итоге их получается только 20 при парсинге. Даже html файл сайта скачивал в поиске этих тегов только 20 Почему? Код: from bs4 import ...
Vadim Ganin's user avatar
1 голос
0 ответов
169 показов

При парсинге сайта выдаёт ошибку 'NoneType' object has no attribute 'text'. На некоторых страницах нормально, на других, несмотря на схожесть, ошибка

При парсинге сайта на питоне выдаёт ошибку 'NoneType' object has no attribute 'text', но по какой-то причине это происходит только на страницах с номером больше 209(если номер меньше, всё нормально) ...
SVEDETEL's user avatar
1 голос
1 ответ
157 показов

Как с помощью Python можно обработать XML файл полученный из SOAP?

Имеется вот такой код # coding: utf-8 from lxml import etree s = """<?xml version='1.0' encoding='UTF-8'?><S:Envelope xmlns:S="http://schemas.xmlsoap.org/soap/envelope/&...
Vasilijs's user avatar
  • 143
0 голосов
1 ответ
74 показа

Как спарсить картинку с сайта?

Получаю: TypeError: a bytes-like object is required, not 'ResultSet' Как я парсю: def get_img(filt1 = "nedvizhimost", filt2 = "doma"): response = requests.get(url = f"...
c1vgk's user avatar
  • 49
0 голосов
1 ответ
657 показов

Парсер всех XML файлов в папке

Есть задача - сделать парсер для всех XML файлов, лежащих в папке на рабочем столе, используя BS4 и/или LXML. Я новичок в этом вопросе, и единственное, на что хватило чтения документации - написать ...
dslogin's user avatar
  • 25
0 голосов
2 ответа
53 показа

Меняется значение при записи в список python

Спарсил данные с Яндекса, с помощью BeautifulSoup4 получил элементы При записи чисел 2498, 2129, 1646, 1208 в список, строки меняются на такие значения: ''' ['2\u2009498', '2\u2009129', '1\u2009646', '...
Neverniy's user avatar
0 голосов
1 ответ
175 показов

python как корректно спарсить содержимое блока <div содержащего множество других <div>

Есть допустим обычный сайт букмекера: https://melbet.ru/live/football/ from bs4 import BeautifulSoup as bs import requests from loguru import logger url = 'https://melbet.ru/live/football/' response =...
almaz's user avatar
  • 613
0 голосов
1 ответ
86 показов

Как достать ссылку из content='link'?

Допустим, существует элемент: <meta property="og:audio" content="https://freesound.org/data/previews/611/611605_1648170-lq.mp3" /> Как мне получить в переменную https://...
Houne's user avatar
  • 1
1 голос
1 ответ
249 показов

как забрать данные из span

<span class="price-text-E1Y7h text-text-LurtD text-size-s-BxGpL">34 790<!-- --> <span class="price-currency-_B87m">₽</span></span> Парсил авито , ...
BadTrip174's user avatar
0 голосов
1 ответ
528 показов

Добавление тегов в xml файл

Python, библиотека lxml. У меня есть массив элементов, которые мне нужно в цикле упаковать в xml файл. Вот разметка xml. page = etree.Element("Arrays") doc = etree.ElementTree(page) ...
denikotin's user avatar
0 голосов
0 ответов
102 показа

Не верный результат при парсинге html страницы при помощи lxml

Имеется код на Python, который парсит страницу https://wordpress.org/plugins/. В коде используется фреймворк BeautifulSoup в связке с парсером lxml. Страница имеет 4 блока по 4 плагина. Результат ...
Olejan's user avatar
  • 546
0 голосов
2 ответа
172 показа

Парсинг корректного числа с сайта [закрыт]

1.Пишу парсер, не могу понять почему при печати словаря из переменной 'price' на экран выводит некорректный текст, когда при печати 'price' отдельно, выводит цену корректно? 2.Что нужно использовать ...
aspitsin's user avatar
0 голосов
1 ответ
135 показов

Парсинг сайтов, но в результате появляется много отступов, исправимо?

Я попробовал парсинг, у меня по сути получилось, вот только, в результате у меня появились отступы. Бот должен был по команде скидывать погоду. Можно ли их убрать? Код ниже url = 'https://pogoda.mail....
user avatar
0 голосов
1 ответ
862 показа

Как записать в файл результат парсинга на Python?

Нужно из страницы вытащить таблицу, которую по итогу буду парсить и положу в .csv файл. Ниже код вытягивает нужную мне таблицу, а как мне результат выполнения записать в файл, чтобы мне с ним уже ...
Захар Елисеев's user avatar
0 голосов
1 ответ
156 показов

Парсинг html страницы. Как извлечь два значения между тегами?

<html> ..... <tr......... <tr bgcolor="#d3d3d3"><td>Last Week:<td><font color="darkblue">98076543788965678</font><td>Last Month:<td&...
markeyaspi's user avatar
0 голосов
0 ответов
50 показов

Не видет xpath после 10 элемента

Парсил я значит 100 монет с сайта coinmarketcap.com/ru/ хочу сделать через request потому что так удобнее и быстрее нежели через selenium. Сохраняю я сайт в файл и через etree пытаюсь находить то что ...
Degree's user avatar
  • 151
0 голосов
1 ответ
42 показа

При парсинге возвращается список элементов lxml, когда нужен лишь один элемент

Вот часть кода: # Получаю список всех товаров со страницы all_products = tree.xpath( '//div[@class="iva-item-content-m2FiN"]' ) for product in all_products: title = product....
borrya's user avatar
  • 117
0 голосов
1 ответ
634 показа

Ошибка: TypeError: string indices must be integers

В чем ошибка? import requests from bs4 import BeautifulSoup import csv FILE="games.csv" def get_html(url): r = requests.get(url) r.encoding = 'utf8' return r.text def get_link(...
zxc 's user avatar
  • 13
1 голос
1 ответ
347 показов

Парсинг xml Python

Есть файл xml, который нужно парсить на python, для нахождения тегов. Подскажите, как посчитать количество повторений этих тегов? Вывести в самом конце сам тег - количество. Вот файл xml: <?xml ...
xxxzeddd's user avatar
0 голосов
1 ответ
175 показов

XPath как из нескольких блоков записать в один словарь данные

Хочу собрать данные с страницы, но они все в разных классах/дивах/улах. В ChroPath по данным xpath_string выделяет нужные данные, но как в питоне из xpath_string записать в словарь отдельно для ...
Ольга Паршина's user avatar
1 голос
1 ответ
90 показов

Почему вместо text я получаю None?

У меня есть вот такая таблица <yml_catalog date="2021-01-08 05:00:24"> <shop> <name>ISSA PLUS</name> <company>ISSA PLUS</company> <url>https://...
sortfact's user avatar
0 голосов
1 ответ
913 показов

Как выбрать все теги “<li>”?

имею такую структура сайта: <div class="wrapper"> <div class="menu"> <ul> <li><a href="index.php" class="active">Главная</a></li> ...
user avatar
0 голосов
0 ответов
82 показа

возникает исключение при парсинге

Захотел спарсить сайт вроде всё вышло но захотел усложнить парсер , задача была переходить по каждому фрагменту с игрой и забирать ссылку на торрент, вроде requests переходит по ссылке даже отдаёт ...
BadTrip174's user avatar