3

Здрасьте. Помогите с алгоритмом парсера. Тока надо учесть, что структура сайта не известна. Известна нам только ссылка к странице, надо естественно выдернуть оттуда контент. То есть надо заставить скрипт думать, как (почти как) человек.

Полагаю, без некоего общего шаблона не получится. Посему предлагаю обсудить и разработать такой "шаблон". Скажем, выявить общность между сайтами, например. В общем, как дать понять скрипту, что контент находиться именно "тут", а не там, где баннер.

Например, можно взять title документа (обычно она совпадает на 90% с заголовком статьи), найти его в документе и парсить уже ниже.

Можно ограничиться новостными сайтами.

0

3 ответа 3

3

Серьезные вопрос.

На мой взгляд парсер в лучшем случае будет работать % на 15-20.

Каждый сайт построен со своими HTML архитектурными премудростями.

Не факт что контент будет лежать именно в теги с ID или Class "content".

Быстрее под каждый сайт парсер написать, нежели мудрить со структурой и "учить" скрипт работать с сотней другой сайтов.

ps Это конкретная задача под что-то, или так просто для себя попробовать?

Новостные сайты обычно выкладывают rss канал который можно спокойно забирать от них.

3
  • Скорее для познавательных целей, ежели корыстных. Но применяться будет. RSS каналы - копался в этом направлении. Там слишком просто)))) 28 апр 2012 в 10:05
  • 1
    Для того RSS и придуман чтобы было все легко! Если задача такая, то я бы не рылся, а пользовался RSS если уж на то пошло. Многие сайты предоставляют не только новости по RSS а еще и статьи.
    – Artem
    28 апр 2012 в 10:12
  • Да не, дело не в легкости и сложности. Я все изучаю ПХП. За одн и использую 28 апр 2012 в 10:28
3

Я бы смотрел в сторону веса каждого тега. Т.е. сколько чистого текста в каком теге, и как-то выбирать золотую середину. Т.е. допустим если в теге 60% всего текста страницы - это нужная статья.

Ну или вариант 2

Если есть возможность загрузить несколько разных статей с сайта, но сделать некое сравнение. Сразу же удалить всё что на 3 и более страницах повторяется, остальное попробовать алгоритмом 1 определить.

Как-то так абстрактно.

5
  • Была такая мысля, но нужно еще что-то, но что... Второй вариант имеет место быть. Сравнение...хм... надо подумать в эту сторону. 28 апр 2012 в 10:06
  • 1
    Зря отмахиваетесь - идея искать общие элементы в большом объему поможет уменьшит объём мусора который прийдется обрабатывать. Причем если использовать не строгие сравнения (чувствуете масштаб задачи?) можно попробовать сдлеать что-то типа автогенератор шаблонов для парсера.
    – SilverIce
    28 апр 2012 в 10:29
  • Солидарен, я и не отмахиваюсь, пока что все собираю в "кучку"... 28 апр 2012 в 10:48
  • Ещё бы, для начала, я бы собрал "песочницу" - список сайтов, желательно разных и популярных, на которых можно тестировать алгоритмы и принимать решение об их эффективности. И всё же, я считаю что мой первый алгоритм имеет право на жизнь, т.к. я считаю что основной контент обычно(и даже не побоюсь сказать, почти всегда) обвёрнут в какой-то один тег, и если научиться этот тег находиь, задача в основном решена.
    – Nord001
    28 апр 2012 в 10:53
  • Этот тэг всегда <body> ))) Совместить оба варианта = высший пилотаж! Я уже начал реализацию... 28 апр 2012 в 11:02
1

Честно говоря я видел такие верстки, что там и человек хрен поймет))

Если вам нужны гарантии - то только индивидуальный шаблон, ну или хотя бы типовой.

Я бы пробовал искать блоки DIVы в которых много теста, и есть тайтлы класса Н2, Н3 ...

Во-вторых смотрел бы в ID, CLASS слова типа main, content ))

Для этого я бы дробил всё на ДИВы. Для каждого считал:

  • количество ссылок;
  • количество li'шек;
  • количество картинок;
  • и количество слов;

Если число a'шек (и возможно li'шек) соизмерима с числом слов - то это скорее всего меню. Если там вообще 1-2 картинки и пару ссылок - то это баннер. Если слов много (ощутимо больше всего остального) и есть заголовки (пару картинок, пару ссылок) и т.п. - вот это контент.

Идея поиска тайтла - хороша, но есть нюанс - заголовок, который для пользователя (виден пользователю) и который для СЕО (идет в тайтл и Н1) у меня, например, очень часто отличаются. Да они отличаются не радикально, но для машинного анализа уже не пойдут.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.