2

У меня есть вот такой HTML элемент:

<script type="application/ld+json">&#13;
    {&#13;
  "@context": "http://schema.org",&#13;
  "BaseSalary": {&#13;
    "Currency": "USD",&#13;
    "Value": {&#13;
      "UnitText": "YEAR",&#13;
      "@type": "QuantitativeValue"&#13;
    },&#13;
    "@type": "MonetaryAmount"&#13;
  },&#13;
  "DatePosted": "2020-05-15T05:04:20.193",&#13;
  "EducationRequirements": "",&#13;
  "EmploymentType": [&#13;
    "FULL_TIME"&#13;
  ],&#13;
  "ExperienceRequirements": "",&#13;
  "Identifier": "927323",&#13;
  "HiringOrganization": {&#13;
    "Name": "Staples Stores",&#13;
    "@type": "Organization"&#13;
  },&#13;
  "JobLocation": {&#13;
    "Address": {&#13;
      "AddressLocality": "Elgin",&#13;
      "AddressRegion": "IL",&#13;
      "AddressCountry": "US",&#13;
      "PostalCode": "60123",&#13;
      "@type": "PostalAddress"&#13;
    },&#13;
    "Geo": {&#13;
      "Latitude": 42.03891,&#13;
      "Longitude": -88.31189,&#13;
      "@type": "GeoCoordinates"&#13;
    },&#13;
    "@type": "Place"&#13;
  },&#13;
  "Title": "Xerox Certified iGen Operator",&#13;
  "@type": "JobPosting"&#13;
}&#13;
</script>&#13;

Надо текст, заключенный в тег <script>, извлечь в виде JSON, чтобы удобнее было с ним работать.

0

2 ответа 2

4

Можно обработать html с помощью lxml:

# Сократил html из вопроса, чтобы не занимать лишнее место в ответе
text = '''
<script type="application/ld+json">&#13;
    {&#13;
  "@context": "http://s...content-available-to-author-only...a.org"&#13;
}&#13;
</script>&#13;
'''
 
import json
import html
import lxml.html

data = lxml.html.fromstring(text)
print(json.loads(
    html.unescape(
        data.xpath('//script[@type="application/ld+json"]/text()')[0])))

Вывод:

{'@context': 'http://s...content-available-to-author-only...a.org'}
4
  • Парсить html как xml - это извращение, причём провальное.
    – Qwertiy
    13 авг 2020 в 10:32
  • И replace &#13; - тоже костыль.
    – Qwertiy
    13 авг 2020 в 10:32
  • @Qwertiy по поводу xml - соглашусь, в данном случае я бы тоже просто регулярками вытащил содержимое, но вы дали ответ быстрее) Попробую через HTMLParser переделать, хотя это наверное тоже overkill в данном случае. С replace - да, костыль, тут конечно лучше html.unescape использовать. Пока просто перенес код, который для коммента к вопросу на коленке написал.
    – insolor
    13 авг 2020 в 10:42
  • 2
    В итоге переделал через lxml
    – insolor
    13 авг 2020 в 11:26
3

https://ideone.com/AQm09c

import re
import html
import json

s= """j kj klajkldj lkdjslak jk
<script type="application/ld+json">&#13;
    {&#13;
  "@context": "..."&#13;
    }&#13;
</script>&#13;
ds ad sad ksalkd l;ask;l"""

print(
  json.loads(
    html.unescape(
      re.search(
        r"""<script\s+type\s*=\s*(["']?)application/ld\+json\1\s*>((?:(?!</script>)[\s\S])+)</script>""",
        s
      ).group(2)
    )
  )
)
3
  • 1
    Парсить html регулярками - это извращение, причём провальное. :) 13 авг 2020 в 12:31
  • @AlexanderPetrov, не провальное. Xml-парсер на html свалится, потому что html не является валидным xml'ем. А регулярка строку обработает. Ну и конкретно с тегом script содержимое регуляркой извлекается легко и правильно, хотя в своей версии я запретил ему иметь другие атрибуты.
    – Qwertiy
    13 авг 2020 в 14:38
  • @AlexanderPetrov полноценно парсить - да, извращение. Просто вытащить кусок текста - вполне нормальное решение, ИМХО.
    – insolor
    14 авг 2020 в 6:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.