3

Здрасьте. Помогите с алгоритмом парсера. Тока надо учесть, что структура сайта не известна. Известна нам только ссылка к странице, надо естественно выдернуть оттуда контент. То есть надо заставить скрипт думать, как (почти как) человек.

Полагаю, без некоего общего шаблона не получится. Посему предлагаю обсудить и разработать такой "шаблон". Скажем, выявить общность между сайтами, например. В общем, как дать понять скрипту, что контент находиться именно "тут", а не там, где баннер.

Например, можно взять title документа (обычно она совпадает на 90% с заголовком статьи), найти его в документе и парсить уже ниже.

Можно ограничиться новостными сайтами.

0

3 ответа 3

3

Серьезные вопрос.

На мой взгляд парсер в лучшем случае будет работать % на 15-20.

Каждый сайт построен со своими HTML архитектурными премудростями.

Не факт что контент будет лежать именно в теги с ID или Class "content".

Быстрее под каждый сайт парсер написать, нежели мудрить со структурой и "учить" скрипт работать с сотней другой сайтов.

ps Это конкретная задача под что-то, или так просто для себя попробовать?

Новостные сайты обычно выкладывают rss канал который можно спокойно забирать от них.

3
  • Скорее для познавательных целей, ежели корыстных. Но применяться будет. RSS каналы - копался в этом направлении. Там слишком просто)))) 28 апр 2012 в 10:05
  • 1
    Для того RSS и придуман чтобы было все легко! Если задача такая, то я бы не рылся, а пользовался RSS если уж на то пошло. Многие сайты предоставляют не только новости по RSS а еще и статьи.
    – Artem
    28 апр 2012 в 10:12
  • Да не, дело не в легкости и сложности. Я все изучаю ПХП. За одн и использую 28 апр 2012 в 10:28
3

Я бы смотрел в сторону веса каждого тега. Т.е. сколько чистого текста в каком теге, и как-то выбирать золотую середину. Т.е. допустим если в теге 60% всего текста страницы - это нужная статья.

Ну или вариант 2

Если есть возможность загрузить несколько разных статей с сайта, но сделать некое сравнение. Сразу же удалить всё что на 3 и более страницах повторяется, остальное попробовать алгоритмом 1 определить.

Как-то так абстрактно.

5
  • Была такая мысля, но нужно еще что-то, но что... Второй вариант имеет место быть. Сравнение...хм... надо подумать в эту сторону. 28 апр 2012 в 10:06
  • 1
    Зря отмахиваетесь - идея искать общие элементы в большом объему поможет уменьшит объём мусора который прийдется обрабатывать. Причем если использовать не строгие сравнения (чувствуете масштаб задачи?) можно попробовать сдлеать что-то типа автогенератор шаблонов для парсера.
    – SilverIce
    28 апр 2012 в 10:29
  • Солидарен, я и не отмахиваюсь, пока что все собираю в "кучку"... 28 апр 2012 в 10:48
  • Ещё бы, для начала, я бы собрал "песочницу" - список сайтов, желательно разных и популярных, на которых можно тестировать алгоритмы и принимать решение об их эффективности. И всё же, я считаю что мой первый алгоритм имеет право на жизнь, т.к. я считаю что основной контент обычно(и даже не побоюсь сказать, почти всегда) обвёрнут в какой-то один тег, и если научиться этот тег находиь, задача в основном решена.
    – Nord001
    28 апр 2012 в 10:53
  • Этот тэг всегда <body> ))) Совместить оба варианта = высший пилотаж! Я уже начал реализацию... 28 апр 2012 в 11:02
1

Честно говоря я видел такие верстки, что там и человек хрен поймет))

Если вам нужны гарантии - то только индивидуальный шаблон, ну или хотя бы типовой.

Я бы пробовал искать блоки DIVы в которых много теста, и есть тайтлы класса Н2, Н3 ...

Во-вторых смотрел бы в ID, CLASS слова типа main, content ))

Для этого я бы дробил всё на ДИВы. Для каждого считал:

  • количество ссылок;
  • количество li'шек;
  • количество картинок;
  • и количество слов;

Если число a'шек (и возможно li'шек) соизмерима с числом слов - то это скорее всего меню. Если там вообще 1-2 картинки и пару ссылок - то это баннер. Если слов много (ощутимо больше всего остального) и есть заголовки (пару картинок, пару ссылок) и т.п. - вот это контент.

Идея поиска тайтла - хороша, но есть нюанс - заголовок, который для пользователя (виден пользователю) и который для СЕО (идет в тайтл и Н1) у меня, например, очень часто отличаются. Да они отличаются не радикально, но для машинного анализа уже не пойдут.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.