1

Я использую для парсинга html библиотеку htmlcxx. Написала простейшую программу обхода в глубину html-странички. Функцию "walk_tree" обхода взяла вот здесь htmlcxx API usage и немного модернизировала таким образом, чтобы функция не просто выводила всё, что есть, а чтобы она искала нужный тег с нужным атрибутом и выводила его значение на экран. Но, программа выводит только то, что находится в открывающем тэге. А мне бы хотелось, чтобы она выводила текст, содержащийся внутри тэга. Помогите пжл разобраться, какой функцией можно его получить. Привожу код своей программы:

#include <iostream>
#include <dlfcn.h>
#include <strings.h>
#include <ParserDom.h>

using namespace htmlcxx;

void walk_tree( tree<HTML::Node> const & dom , std::string tagName, bool flag)
{
    std::cout << "I'm recurse call!" << std::endl;
    tree<HTML::Node>::iterator it = dom.begin();

    if (strcasecmp(it->tagName().c_str(), tagName.c_str()) == 0) {
        it->parseAttributes();
        if (it->attribute("class").first)
        {
            std::cout << "I FOUNDED THIS TAG = p" << std::endl;
            std::cout << it->text() << std::endl;
            flag = true;
        }
        return;
    }
    if (!flag) {
        for ( unsigned i = 0; i < dom.number_of_children(it); i++ )
        {
            walk_tree( dom.child(it,i), tagName, flag);
        }
    }
    else
    {
        return;
    }
}

int main()
{
    std::string str =  "<!DOCTYPE html>"
                       "<html>"
                        "<head>"
                            "<title>Пример 1</title>"
                        "</head>"
                        "<body>"
                            "<H1>Привет!</H1>"
                            "<P class=\"TextBox\">Это простейший пример HTML-документа.</P>"
                            "<P>Этот *.html-файл может быть одновременно открыт"
                                "и в Notepad, и в Netscape."
                                "Сохранив изменения в Notepad, просто нажмите кнопку"
                                "Reload ('перезагрузить') в Netscape, чтобы увидеть"
                                "эти изменения реализованными в HTML-документе.</P>"
                        "</body>"
                      "</html>";

    HTML::ParserDom parser;
    tree<HTML::Node> dom = parser.parseTree(str);

    //Dump all links in the tree
    tree<HTML::Node>::iterator it = dom.begin();
    tree<HTML::Node>::iterator end = dom.end();

    bool flag = false;
    walk_tree(dom, "p", flag);

    return 0;
}

Фразу "I'm recurse call!" прописала специально, чтобы посмотреть глубину рекурсии. Вот, что выводит программа:

I'm recurse call!    
I'm recurse call!   
I'm recurse call!   
I'm recurse call!    
I'm recurse call!    
I'm recurse call!    
I'm recurse call!    
I'm recurse call!    
I'm recurse call!    
I'm recurse call!    
I FOUNDED THIS TAG = p   

    <P class="TextBox">

I'm recurse call!

2 ответа 2

2

Ответ найден. Оказывается, нужно насильно передвинуть итератор так, чтобы он указывал не на тэг, а на текст после тэга.

if (it->attribute("class").first)
{
     std::cout << "I FOUNDED THIS TAG = p" << std::endl;
     ++it;
     std::cout << it->text() << std::endl;
     flag = true;
}
1

Если вам всё равно, какой библиотекой пользоваться, то возьмите популярную библиотеку с нормальной документацией, полноценно реализующую необходимые фичи, а не малоизвестную библиотеку, базовый код для которой приходится разыскивать по Stack Overflow.

Например, gumbo-parser ("An HTML5 parsing library in pure C99") + gumbo-query ("C++ library to provide jQuery style API for gumbo library") дадут нормально читаемый код (пример с GitHub):

#include <iostream>
#include <string>
#include "Document.h"
#include "Node.h"

int main(int argc, char * argv[])
{
  std::string page("<h1><a>some link</a></h1>");
  CDocument doc;
  doc.parse(page.c_str());

  CSelection c = doc.find("h1 a");
  std::cout << c.nodeAt(0).text() << std::endl;
  return 0;
}

В вашем случае это будет doc.find("p.TextBox") в компании с c.nodeAt(0).text(), а не ручной обход дерева с монструозным кодом.

Gumbo написан гуглом и имеет тысячи звёзд на гитхабе — с этой библиотекой вряд ли будут подобные трудности с банальными задачами.

5
  • Сам парсер, конечно, хорош, а вот C++ обертка gumbo-query - не очень. Попробовал, очень сырая библиотека, повсюду утечки памяти, даже крэш, кидает голые строки вместо std::exception, да и функционал бедноват.
    – Sergey S
    16 мая 2015 в 17:44
  • @zenden2k У обёртки мало звёзд, поэтому у меня были такие подозрения... Можете предложить какую-то другую библиотеку, у которой в порядке и документация, и API?
    – Kyubey
    16 мая 2015 в 18:05
  • 1
    Честно говоря, не знаю. Пока буду приводить в чувство gumbo-query. Там ошибки реально детские, такое ощущение, что библиотеку писал человек, мало знакомый с C++. Уже сделал небольшой пулл-реквест. Сейчас у меня проблема в том, что оно течет при эксепшенах (например, при синтаксической ошибке в селекторе). В своем проекте я использую C++11, поэтому, наверно, избавлюсь от их кривого подсчета ссылок на объекты и заменю все голые указатели на std::shared_ptr.
    – Sergey S
    16 мая 2015 в 18:35
  • @Discord, мне не всё равно, какой библиотекой пользоваться. Меня интересует именно эта.
    – neo
    19 мая 2015 в 7:44
  • @cat_woman Чем вам так приглянулась библиотека с неполным функционалом и без документации?
    – Kyubey
    19 мая 2015 в 14:17

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.