0

Всем привет. Необходимо получать главный текст по ссылке. В этом проблем особо нет, благо json все ещё работает, но проблема в том, что надо получать текст с любого сайта(если текст там есть) и при этом, не нужно получать хлам(комменты, разделы меню, и т.д ) есть ли какое то решение?

2 ответа 2

0

Если нужно распарсить html, то Jsoup для этой цели подойдет. Там можно задать, какие именно элементы вам нужны.

2
  • Это я в курсе. Вопрос не в том чтобы распарить 1 сайт, а в том чтобы из всех сайтов(или из большинства) получать инфу. Инфа это текст. И вот тут проблемы, т.к. сайты пишут разные люди, и кто то пишет норм, кто то не норм. Кто то посещает инфу в тэг с атрибутом контент, кто то туда и переходы на другие страницы кладет, а у кого то и нет вовсе такого тэга. Как быть во всех этих случаях?
    – Arty Mart
    1 мая 2020 в 16:22
  • Такой универсальный парсер вряд ли удастся сделать. Но можно вручную делать парсер для каждого сайта. Здесь тебе поможет паттерн "Стратегия"
    – NarasuOo
    1 мая 2020 в 19:13
0

В общем резюмируя: супер решения для своей проблемы я не нашел, но методом проб и ошибок вывел такой вид селектора для Jsoup

document.select("div[class*='content'] p").text();

Это не поможет получить вам главный текст со всех сайтов в мире, но русскоязычные сайты оно парсит ~ процентов на 70. Может кому будет полезно.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.