Имеется XML тут. Для начала необходимо представить его в видео дерева.
def parse_xml(page_text):
return etree.XML(page_text)
page_text - Это ответ от сервера (aiohttp)
Выдает ошибку:
Traceback (most recent call last):
File "D:/Git/sdvk-oboi.ru/sdvk-oboi.ru.py", line 80, in crawl
urls = await future
File "C:\ProgramData\Anaconda3\lib\concurrent\futures\thread.py", line 57, in run
result = self.fn(*self.args, **self.kwargs)
File "D:/Git/sdvk-oboi.ru/sdvk-oboi.ru.py", line 69, in parse
print(parse_xml(page_text))
File "D:/Git/sdvk-oboi.ru/sdvk-oboi.ru.py", line 61, in parse_xml
return etree.XML(page_text.text)
File "src\lxml\etree.pyx", line 3192, in lxml.etree.XML
File "src\lxml\parser.pxi", line 1876, in lxml.etree._parseMemoryDocument
ValueError: can only parse strings
Попробовал так return etree.XML(page_text.text())
и так return etree.XML(page_text.text)
все равно туже ошибку выкидывает.
Может я делаю что-то не так? Просто до этого LXML использовал только для парсинга HTML и решил почему бы им и XML не спарсить.
HTML парсил так:
def get_html (request):
return lxml.html.fromstring(request.text())
Update:
log = logging.getLogger(__name__)
format = '%(asctime)s %(levelname)s:%(message)s'
logging.basicConfig(format=format, level=logging.INFO)
# logging.basicConfig(level=logging.DEBUG)
count_thread = os.cpu_count()
limit = asyncio.Semaphore(50) #Количество одновременных запросов, которые были отправлены серверы, но еще не получен от них ответ. Не означает одновременную отправку 10 запросов
headers = {'Accept': 'text/html,application/xhtml+xml,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, br',
'Accept-Language': 'ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:61.0) Gecko/20100101 Firefox/61.0'}
url_main = ["https://sdvk-oboi.ru/sitemap.xml"
async def request(client, url):
global limit, headers
for i in range(50):
print(i)
async with limit:
try:
async with client.get(url, headers=headers) as r:
log.info('Запрос: %s', url)
print(r.status)
if(r.status == 200):
return r
else:
log.info("Ошибка статус: %s", r.status)
await asyncio.sleep(i)
except Exception as e:
print(e)
await asyncio.sleep(i)
def get_html (request):
return lxml.html.fromstring(request.text())
def parse_xml(page_text):
return etree.XML(page_text)
def print_html(html):
print(lxml.html.tostring(html, encoding='unicode', pretty_print=True))
def parse(page_text):
urls = []
print(get_html(page_text))
return urls
async def crawl(future, client, pool):
futures = []
# Получаем из футуры ссылки
urls = await future
# Выгребаем для каждой ссылки разметку страницы
for request_future in asyncio.as_completed([request(client, url) for url in urls]):
# Передаём парсинг разметки в пул потоков
parse_future = loop.run_in_executor(pool, parse, (await request_future))
# parse_future = loop.run_in_executor(pool, parse, (await request_future))
# Рекурсивно вызываем себя для парсинга новой порции ссылок
futures.append(asyncio.ensure_future(crawl(parse_future, client, pool)))
if futures:
await asyncio.wait(futures)
async def start_main(root_urls):
loop = asyncio.get_event_loop()
# loop.set_debug(True)
# Создаём пул потоков по количеству процессоров
# with ThreadPoolExecutor(max_workers=os.cpu_count()) as pool:
with ThreadPoolExecutor(count_thread) as pool:
# Создаём клиентскую сессию
async with aiohttp.ClientSession() as client:
# Создаём корневую футуру
initial_future = loop.create_future()
# Помещаем в неё ссылки, с которых начнём парсить
initial_future.set_result(root_urls)
# Передаём эту футуру в сопрограмму обхода ссылок
# вместе с пулом потоков и клиентской сессией
await crawl(initial_future, client, pool)
if __name__ == '__main__':
start_time = time.time()
loop = asyncio.get_event_loop()
# loop.set_debug(True)
try:
loop.run_until_complete(start_main(url_main))
except KeyboardInterrupt:
for task in asyncio.Task.all_tasks():
task.cancel()
with suppress(asyncio.CancelledError):
loop.run_until_complete(task)
finally:
loop.close()
print(type(page_text))
? Не хватает в вопросе минимального примера чтобы посмотреть ваш случай :)print((await page_text).text())
или с учетом, приведенного в вопросе, кода так:parse_future = loop.run_in_executor(pool, parse_xml, (await request_future))
. А вparse_xml
измените наreturn etree.XML(page_text.text())