Ars Longa, Vita Brevis » XML http://blog.sjinks.pro Quod scripsi, scripsi Mon, 06 Feb 2012 17:56:02 +0000 en hourly 1 HTML Parser для Qt http://blog.sjinks.pro/c-cpp/qt/942-html-parser-qt/ http://blog.sjinks.pro/c-cpp/qt/942-html-parser-qt/#comments Wed, 07 Sep 2011 08:03:07 +0000 Vladimir http://blog.sjinks.pro/?p=942 © 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> Использование libxml2 для разбора документов в

 — это, конечно, хорошо, но очень часто требуется разбирать документы HTML, которые могут и не быть валидными.

В Qt есть множество классов для работы с XML, но они не подходят для HTML, так как ошибки в HTML для них фатальны.

Ниже приведён вариант парсера для HTML, основанный на библиотеке libxml2.

#ifndef LIBXML2READER_H
#define LIBXML2READER_H

#include <QtXml/QXmlReader>
#include <libxml/xmlstring.h>

class LibXml2ReaderPrivate;

class LibXml2Reader : public QXmlReader {
public:
    LibXml2Reader(void);
    virtual ~LibXml2Reader(void);

    virtual bool feature(const QString& name, bool* ok = 0) const;
    virtual void setFeature(const QString& name, bool value);
    virtual bool hasFeature(const QString& name) const;
    virtual void* property(const QString& name, bool* ok = 0) const;
    virtual void setProperty(const QString& name, void* value);
    virtual bool hasProperty(const QString& name) const;

    virtual void setEntityResolver(QXmlEntityResolver* handler);
    virtual QXmlEntityResolver* entityResolver(void) const;
    virtual void setDTDHandler(QXmlDTDHandler* handler);
    virtual QXmlDTDHandler* DTDHandler(void) const;
    virtual void setContentHandler(QXmlContentHandler* handler);
    virtual QXmlContentHandler* contentHandler(void) const;
    virtual void setErrorHandler(QXmlErrorHandler* handler);
    virtual QXmlErrorHandler* errorHandler(void) const;
    virtual void setLexicalHandler(QXmlLexicalHandler* handler);
    virtual QXmlLexicalHandler* lexicalHandler(void) const;
    virtual void setDeclHandler(QXmlDeclHandler* handler);
    virtual QXmlDeclHandler* declHandler(void) const;

    virtual bool parse(const QXmlInputSource& input);
    virtual bool parse(const QXmlInputSource* input);


private:
    Q_DISABLE_COPY(LibXml2Reader)
    Q_DECLARE_PRIVATE(LibXml2Reader)
    QScopedPointer<LibXml2ReaderPrivate> d_ptr;

    friend class LibXml2ReaderLocator;
};

#endif // LIBXML2READER_H
#include "libxml2reader.h"
#include <cstring>
#include <libxml/tree.h>
#include <libxml/parser.h>
#include <libxml/HTMLparser.h>

class LibXml2ReaderLocator : public QXmlLocator {
public:
    LibXml2ReaderLocator(LibXml2Reader* r) : reader(r) {}
    virtual int columnNumber(void) const;
    virtual int lineNumber(void) const;
private:
    LibXml2Reader* reader;
};

class LibXml2ReaderPrivate {
public:
    ~LibXml2ReaderPrivate(void) {}
private:
    LibXml2ReaderPrivate(LibXml2Reader* reader);

    static void startDocument(void* c);
    static void endDocument(void* c);
    static void startElement(void* c, const xmlChar* name, const xmlChar** attrs);
    static void endElement(void* c, const xmlChar* name);
    static void comment(void* c, const xmlChar* value);
    static void cdataBlock(void* c, const xmlChar* value, int len);
    static void processingInstruction(void* c, const xmlChar* target, const xmlChar* data);
    static void characters(void* c, const xmlChar* ch, int len);
    static void ignorableWhitespace(void* c, const xmlChar* ch, int len);
    static void internalSubset(void* c, const xmlChar* name, const xmlChar* publicId, const xmlChar* systemId);

    void parse(const QXmlInputSource* input);

    QScopedPointer<LibXml2ReaderLocator> locator;
    Q_DECLARE_PUBLIC(LibXml2Reader)
    LibXml2Reader* q_ptr;

    QXmlEntityResolver* entityresolver;
    QXmlDTDHandler*     dtdhandler;
    QXmlContentHandler* contenthandler;
    QXmlErrorHandler*   errorhandler;
    QXmlLexicalHandler* lexicalhandler;
    QXmlDeclHandler*    declhandler;

    xmlParserCtxt* context;

    friend class LibXml2ReaderLocator;
};

LibXml2ReaderPrivate::LibXml2ReaderPrivate(LibXml2Reader* reader)
    : q_ptr(reader), entityresolver(0), dtdhandler(0), contenthandler(0), errorhandler(0), lexicalhandler(0), declhandler(0), context(0)
{
    this->locator.reset(new LibXml2ReaderLocator(reader));
}

void LibXml2ReaderPrivate::parse(const QXmlInputSource* input)
{
    htmlSAXHandler handler;
    QByteArray arr = input->data().toLocal8Bit();
    const char* data = arr.data();

    std::memset(&handler, 0, sizeof(handler));
    handler.startDocument         = &LibXml2ReaderPrivate::startDocument;
    handler.endDocument           = &LibXml2ReaderPrivate::endDocument;
    handler.startElement          = &LibXml2ReaderPrivate::startElement;
    handler.endElement            = &LibXml2ReaderPrivate::endElement;
    handler.comment               = &LibXml2ReaderPrivate::comment;
    handler.cdataBlock            = &LibXml2ReaderPrivate::cdataBlock;
    handler.processingInstruction = &LibXml2ReaderPrivate::processingInstruction;
    handler.characters            = &LibXml2ReaderPrivate::characters;
    handler.ignorableWhitespace   = &LibXml2ReaderPrivate::ignorableWhitespace;
    handler.internalSubset        = &LibXml2ReaderPrivate::internalSubset;

    this->context = htmlCreatePushParserCtxt(&handler, this, data, xmlStrlen(reinterpret_cast<const xmlChar*>(data)), "", XML_CHAR_ENCODING_NONE);
    htmlParseChunk(this->context, NULL, 0, 1);
    htmlFreeParserCtxt(this->context);
    xmlCleanupParser();
}

void LibXml2ReaderPrivate::startDocument(void* c)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->startDocument();
    }
}

void LibXml2ReaderPrivate::endDocument(void* c)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->endDocument();
    }
}

void LibXml2ReaderPrivate::startElement(void* c, const xmlChar* name, const xmlChar** attrs)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        QXmlAttributes a;

        int i = 0;
        if (attrs) {
            while (attrs[i]) {
                const char* name  = reinterpret_cast<const char*>(attrs[i]);
                const char* value = reinterpret_cast<const char*>(attrs[i+1]);
                i += 2;
                a.append(name, "", "", value ? value : name);
            }
        }

        QString uri = "";
        QString localName = "";
        QString qName = reinterpret_cast<const char*>(name);
        r->contenthandler->startElement(uri, localName, qName, a);
    }
}

void LibXml2ReaderPrivate::endElement(void* c, const xmlChar* name)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->endElement(QString(""), QString(""), QString(reinterpret_cast<const char*>(name)));
    }
}

void LibXml2ReaderPrivate::comment(void* c, const xmlChar* value)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->lexicalhandler) {
        r->lexicalhandler->comment(QString::fromLocal8Bit(reinterpret_cast<const char*>(value)));
    }
}

void LibXml2ReaderPrivate::cdataBlock(void* c, const xmlChar* value, int len)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->lexicalhandler) {
        r->lexicalhandler->startCDATA();
        if (r->contenthandler) {
            QByteArray arr(reinterpret_cast<const char*>(value), len);
            r->contenthandler->characters(arr);
        }

        r->lexicalhandler->endCDATA();
    }
}

void LibXml2ReaderPrivate::processingInstruction(void* c, const xmlChar* target, const xmlChar* data)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->processingInstruction(reinterpret_cast<const char*>(target), reinterpret_cast<const char*>(data));
    }
}

void LibXml2ReaderPrivate::characters(void* c, const xmlChar* ch, int len)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->characters(QString::fromLocal8Bit(reinterpret_cast<const char*>(ch), len));
    }
}

void LibXml2ReaderPrivate::ignorableWhitespace(void* c, const xmlChar* ch, int len)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->contenthandler) {
        r->contenthandler->ignorableWhitespace(QString::fromLocal8Bit(reinterpret_cast<const char*>(ch), len));
    }
}

void LibXml2ReaderPrivate::internalSubset(void* c, const xmlChar* name, const xmlChar* publicId, const xmlChar* systemId)
{
    LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
    if (r->lexicalhandler) {
        QString n(QString::fromLocal8Bit(reinterpret_cast<const char*>(name)));
        QString p(QString::fromLocal8Bit(reinterpret_cast<const char*>(publicId)));
        QString s(QString::fromLocal8Bit(reinterpret_cast<const char*>(systemId)));
        r->lexicalhandler->startDTD(n, p, s);
        r->lexicalhandler->endDTD();
    }

}

LibXml2Reader::LibXml2Reader(void)
    : d_ptr(new LibXml2ReaderPrivate(this))
{
}

LibXml2Reader::~LibXml2Reader(void)
{
}

bool LibXml2Reader::feature(const QString&, bool* ok) const
{
    if (ok) {
        *ok = false;
    }

    return false;
}

void LibXml2Reader::setFeature(const QString&, bool)
{
}

bool LibXml2Reader::hasFeature(const QString&) const
{
    return false;
}

void* LibXml2Reader::property(const QString&, bool* ok) const
{
    if (ok) {
        *ok = false;
    }

    return 0;
}

void LibXml2Reader::setProperty(const QString&, void*)
{
}

bool LibXml2Reader::hasProperty(const QString&) const
{
    return false;
}

void LibXml2Reader::setEntityResolver(QXmlEntityResolver* handler)
{
    Q_D(LibXml2Reader);
    d->entityresolver = handler;
}

QXmlEntityResolver* LibXml2Reader::entityResolver(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->entityresolver;
}

void LibXml2Reader::setDTDHandler(QXmlDTDHandler* handler)
{
    Q_D(LibXml2Reader);
    d->dtdhandler = handler;
}

QXmlDTDHandler* LibXml2Reader::DTDHandler(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->dtdhandler;
}

void LibXml2Reader::setContentHandler(QXmlContentHandler* handler)
{
    Q_D(LibXml2Reader);
    d->contenthandler = handler;
}

QXmlContentHandler* LibXml2Reader::contentHandler(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->contenthandler;
}

void LibXml2Reader::setErrorHandler(QXmlErrorHandler* handler)
{
    Q_D(LibXml2Reader);
    d->errorhandler = handler;
}

QXmlErrorHandler* LibXml2Reader::errorHandler(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->errorhandler;
}

void LibXml2Reader::setLexicalHandler(QXmlLexicalHandler* handler)
{
    Q_D(LibXml2Reader);
    d->lexicalhandler = handler;
}

QXmlLexicalHandler* LibXml2Reader::lexicalHandler(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->lexicalhandler;
}

void LibXml2Reader::setDeclHandler(QXmlDeclHandler* handler)
{
    Q_D(LibXml2Reader);
    d->declhandler = handler;
}

QXmlDeclHandler* LibXml2Reader::declHandler(void) const
{
    const LibXml2ReaderPrivate* d = this->d_func();
    return d->declhandler;
}

bool LibXml2Reader::parse(const QXmlInputSource& input)
{
    return this->parse(&input);
}

bool LibXml2Reader::parse(const QXmlInputSource* input)
{
    Q_D(LibXml2Reader);

    if (d->contenthandler) {
        d->contenthandler->setDocumentLocator(d->locator.data());
    }

    d->parse(input);

    return true;
}

int LibXml2ReaderLocator::columnNumber(void) const
{
    return this->reader->d_func()->context->input->col;
}

int LibXml2ReaderLocator::lineNumber(void) const
{
    return this->reader->d_func()->context->input->line;
}

Использование:

    QByteArray data;
    QXmlInputSource src;
    LibXml2Reader reader;
    QDomDocument doc;

    /* здесь читаем данные в data */

    src.setData(data);
    doc.setContent(&src, &reader);

    /* doc будет содержать дерево DOM, построенное из документа HTML */

В файл проекта нужно будет добавить две строки:

INCLUDEPATH += /usr/include/libxml2
LIBS        += -lxml2

В INCLUDEPATH помещается путь к заголовочным файлам libxml2, в LIBS — опции компилятора для подключения библиотеки libxml2.

Скачать:

© 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> http://blog.sjinks.pro/c-cpp/qt/942-html-parser-qt/feed/ 3 Пример рабочей реализации QDomDocument::elementById http://blog.sjinks.pro/c-cpp/qt/906-working-qdomdocument-elementbyid/ http://blog.sjinks.pro/c-cpp/qt/906-working-qdomdocument-elementbyid/#comments Sat, 19 Mar 2011 13:52:03 +0000 Vladimir http://blog.sjinks.pro/?p=906 © 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> Избавляемся от ошибки «elementById() is not implemented and will always return a null node»

Так сложилось, что в реализация метода QDomDocument::elementById() нерабочая: при попытке использования данного метода выдаётся предупреждение elementById() is not implemented and will always return a null node и возвращается пустой элемент .

Временами это очень неудобно: например, вместо использования из QXmlPatterns может быть проще получить элемент DOM по его id и пройтись по его потомкам. А при использовании XPath функцию id() использовать не получится в силу тех же причин.

Ниже приведён пример рабочей реализации QDomDocument::elementById().

#include <QtXml/QDomDocument>
#include <QMap>

class QMyDomDocument : public QDomDocument {
public:
    QMyDomDocument() : QDomDocument() {}
    QMyDomDocument(const QString& name) : QDomDocument(name) {}
    QMyDomDocument(const QDomDocumentType& doctype) : QDomDocument(doctype) {}

    QDomElement elementById(const QString& id)
    {
        if (map.contains(id)) {
            QDomElement e = map[id];
            if (e.parentNode().nodeType() != QDomNode::BaseNode) {
                return e;
            }

            map.remove(id);
        }

        bool res = this->find(this->documentElement(), id);
        if (res) {
            return map[id];
        }

        return QDomElement();
    }

private:
    QMap<QString, QDomElement> map;

    bool find(QDomElement node, const QString& id)
    {
        if (node.hasAttribute("id")) {
            QString value = node.attribute("id");
            this->map[value] = node;
            if (value == id) {
                return true;
            }
        }

        for (unsigned int i=0; i<node.childNodes().length(); ++i) {
            QDomNode n = node.childNodes().at(i);
            if (n.isElement()) {
                bool res = this->find(n.toElement(), id);
                if (res) {
                    return true;
                }
            }
        }

        return false;
    }
};

Один из тонких моментов реализации — определение принадлежности вершины документу. Так как для ускорения поиска используется отображение <id, элемент>, может возникнуть ситуация, когда запрашиваемый элемент уже удалён из документа (в результате в отображении остаются неактуальные данные).

Если удалить элемент из документа, он «лишается» родителя — в результате его родительская (псевдо)вершина имеет тип QDomNode::BaseNode. Это свойство и используется для определения актуальности элемента.

© 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> http://blog.sjinks.pro/c-cpp/qt/906-working-qdomdocument-elementbyid/feed/ 4 Генерация карты сайта в HTML из XML: часть 2 http://blog.sjinks.pro/seo/849-html-stemap-generation-from-xml-part-2/ http://blog.sjinks.pro/seo/849-html-stemap-generation-from-xml-part-2/#comments Mon, 08 Nov 2010 12:04:38 +0000 Vladimir http://blog.sjinks.pro/?p=849 © 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> Как сделать не более N ссылок на файл

Продолжение статьи «Генерация карты сайта в HTML из XML».

В этой части мы рассмотрим, как сделать так, чтобы на одной генерируемой странице располагалось не более определённого количества ссылок.

Нам понадобятся:

  • из статьи «Преобразование карты сайта в список адресов для siege»:
    <?xml version="1.0" encoding="utf-8"?>
    <xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9">
        <xsl:output method="text" media-type="text-plain" indent="no"/>
        <xsl:strip-space elements="*"/>
        <xsl:template match="/x:urlset/x:url">
            <xsl:value-of select="x:loc" disable-output-escaping="yes"/>
            <xsl:text>&#x000A;</xsl:text>
        </xsl:template>
    </xsl:stylesheet>
  • XSL из статьи «Генерация карты сайта в HTML из XML»:
    <?xml version="1.0" encoding="utf-8"?>
    <xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns="http://www.w3.org/1999/xhtml" exclude-result-prefixes="x">
        <xsl:output method="xml" indent="yes" encoding="UTF-8" doctype-public="-//W3C//DTD XHTML 1.0 Transitional//EN" doctype-system="http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"/>
        <xsl:strip-space elements="*"/>

        <xsl:template match="/x:urlset">
            <html>
                <head>
                    <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
                    <title>Site Map</title>
                </head>
                <body>
                    <h1><a href="http://blog.sjinks.pro/">Карта сайта</a></h1>
                    <ul>
                        <xsl:apply-templates select="x:url"/>
                    </ul>
                </body>
            </html>
        </xsl:template>

        <xsl:template match="/x:urlset/x:url">
            <li><strong><a href="{x:loc}"><xsl:value-of select="x:loc" disable-output-escaping="yes"/></a></strong></li>
        </xsl:template>
    </xsl:stylesheet>
  • Немного фантазии :)

Алгоритм работы простой:

  1. Преобразовываем исходную карту в текстовый список адресов (один URL на строку)
  2. Разбиваем файл на несколько частей с заданным количеством строк
  3. Преобразовываем каждый из полученных файлов в
  4. Преобразовываем полученные XML-файлы в

Пункты 3 и 4 можно совместить: вместо генерации XML-файла можно сразу генерировать HTML. Но на всякий случай будем генерировать и XML, и HTML.

Получим такой скрипт:

#! /bin/sh

xsltproc -o urls.txt sitemap2txt.xsl sitemap.xml
split -d -l 100 urls.txt map
for i in map*; do
    awk '
    BEGIN {
        print "<?xml version=\"1.0\"?>\
<urlset\
    xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\"\
    xsi:schemaLocation=\"http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd\"\
    xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\">"
    }
    {
        print "<url><loc>"$1"</loc></url>"
    }
    END {
        print "</urlset>"
    }
    ' $i > site$i.xml
    xsltproc -o site$i.html sitemap2html.xsl site$i.xml
done

Всё просто!™

© 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> http://blog.sjinks.pro/seo/849-html-stemap-generation-from-xml-part-2/feed/ 4 Генерация карты сайта в HTML из XML http://blog.sjinks.pro/seo/847-html-stemap-generation-from-xml/ http://blog.sjinks.pro/seo/847-html-stemap-generation-from-xml/#comments Sun, 07 Nov 2010 01:22:20 +0000 Wandering Soul http://blog.sjinks.pro/?p=847 © 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> Помогаем ботам найти все страница сайта

Проблема: есть достаточно большой сайт, у которого есть карта в формате XML. Есть бот, который этот сайт индексирует. Но бот не может найти страницы, имеющие уровень вложенности больше трёх. Нужно помочь боту проиндексировать весь сайт.

Самый простой способ — создание страницы, в которой будут перечислены все страницы сайта и размещение на неё ссылки из подвала сайта. Идеальный кандидат на такую страницу — карта сайта в формате . Проблема в том, что не все боты утруждают себя разбором -карт. Для таких ботов карту нужно преобразовывать в формат .

Как и в другом похожем случае, на помощь приходит преобразование .

Пример шаблона стилей XML:

<?xml version="1.0" encoding="utf-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns="http://www.w3.org/1999/xhtml" exclude-result-prefixes="x">
    <xsl:output method="xml" indent="yes" encoding="UTF-8" doctype-public="-//W3C//DTD XHTML 1.0 Transitional//EN" doctype-system="http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"/>
    <xsl:strip-space elements="*"/>

    <xsl:template match="/x:urlset">
        <html>
            <head>
                <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>
                <title>Site Map</title>
            </head>
            <body>
                <h1><a href="http://blog.sjinks.pro/">Карта сайта</a></h1>
                <ul>
                    <xsl:apply-templates select="x:url">
                        <xsl:sort select="lastmod" order="descending"/>
                    </xsl:apply-templates>
                </ul>
            </body>
        </html>
    </xsl:template>

    <xsl:template match="/x:urlset/x:url">
        <li><strong><a href="{x:loc}"><xsl:value-of select="x:loc" disable-output-escaping="yes"/></a></strong><xsl:if test="x:lastmod"> (<xsl:value-of select="x:lastmod" disable-output-escaping="yes"/>)</xsl:if></li>
    </xsl:template>
</xsl:stylesheet>

Преобразование выполняется так:

xsltproc -o /path/to/sitemap.html /path/to/sitemap2html.xml /path/to/sitemap.xml

Можно выполнение xsltproc повесить на крон и наслаждаться результатом.

© 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> http://blog.sjinks.pro/seo/847-html-stemap-generation-from-xml/feed/ 5 Преобразование карты сайта в список адресов для siege http://blog.sjinks.pro/linux/722-transform-sitemap-to-siege-url-list/ http://blog.sjinks.pro/linux/722-transform-sitemap-to-siege-url-list/#comments Fri, 11 Dec 2009 07:32:18 +0000 Vladimir http://blog.sjinks.pro/?p=722 © 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> Использование -преобразований для перевода в текст

Siege — утилита для нагрузочного тестирования web-серверов, целью которой является дать разработчикам возможность проверить быстродействие/ресурсоёмкость кода в условиях, максимально приближенных к реальным.

В режимах регрессионного тестирования и «имитации Internet» siege использует текстовый файл со списком адресов для тестирования.

В качестве такого файла очень удобно было бы использовать карту сайта (sitemap), но, к сожалению, siege не понимает XML. В данной статье рассмотрено одно из возможных решений по преобразованию карты сайта из XML в текстовый формат.

Как уже было отмечено, карта сайта представляет собой XML-файл, формат которого подробно описан здесь. Задача заключается в преобразовании XML-файла в текстовый формат (каждый адрес в отдельной строке и без лишних пробелов).

Самый надёжный способ — использование «родных» для XML XSL-преобразований. В отличие от регулярных выражений XSL-преобразования будут правильно работать даже в том случае, если используется расширенный формат карты (с элементами из других пространств имён).

Для преобразования понадобится данный XSL-файл:

<?xml version="1.0" encoding="utf-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9">
    <xsl:output method="text" media-type="text-plain" indent="no"/>
    <xsl:strip-space elements="*"/>
    <xsl:template match="/x:urlset/x:url">
        <xsl:value-of select="x:loc" disable-output-escaping="yes"/>
        <xsl:text>&#x000A;</xsl:text>
    </xsl:template>
</xsl:stylesheet>

Элемент <xsl:output> задаёт формат результата (обычный текст), <xsl:strip-space elements="*"/> указывает, что у всех элементов нужно удалять лишние пробельные символы, а секция <xsl:template/> делает выборку по всем блокам <url> и собирает значения элементов <loc>, добавляя новую строку (<xsl:text>&#x000A;</xsl:text>) после каждого адреса.

Загружаем файл и натравливаем xsltproc на сайтмап (например, sitemap.xml):

xsltproc sitemap2txt.xml sitemap.xml -o urls.txt

Вуаля, список готов. Важно, чтобы карта сайта не содержала директив <?xml-stylesheet ?>.

Помимо XSL-преобразований есть еще способ с использованием потокового редактора sed, но способ достаточно хрупкий. Представляет собой типичный пример использования чёрной магии.

#! /bin/sh

sed -r 's/<loc/\n<loc/g; s!</loc>!</loc>\n!g' $1 | sed -r -n '/<loc>.*?<\/loc>/! D; /<loc>.*?<\/loc>/ s!</?loc>!!g; s!\s+!!g; P'

Работает эта магия следующим образом: перед всеми открывающими тэгами и после всех закрывающих тэгов </loc> добавляется символ новой строки — это делается для того, чтобы все адреса гарантированно располагались на разных строках. Результат отдаётся второму sed, работающему в «бесшумном» режиме. Удаляется всё, что не находится внутри тэгов <loc>…</loc>, затем удаляются сами тэги <loc> и, наконец, удаляются лишние пробелы и выводится результат.

Работает так:

sitemap2list.sh sitemap.xml > list.txt

Не будет работать, если пространство имён по умолчанию не http://www.sitemaps.org/schemas/sitemap/0.9, а также если блок <loc>…</loc> располагается на нескольких строках. XSLT всё-таки лучше.

© 2012 Ars Longa, Vita Brevis. Все права защищены. Перепубликация материалов без разрешения автора запрещена.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

]]> http://blog.sjinks.pro/linux/722-transform-sitemap-to-siege-url-list/feed/ 6