Ars Longa, Vita Brevis » XSL

Генерация карты сайта в HTML из XML: часть 3

Vladimir — Sun, 28 Nov 2010 00:30:50 +0000

Автоматизация: перекладываем работу на Google XML Sitemaps

Продолжение цикла статей на тему генерации карты сайта в HTML из карты XML.

В данной статье будет рассмотрен вопрос модификации плагина Google XML Sitemaps с целью добавления поддержки автоматической генерации HTML-версии карты сайта; как и в предыдущих статьях, преобразование будет осуществляться средствами XSL.

В первой части статьи мы рассматривали вариант, основанный на использовании утилиты xsltproc. Предполагалось, что генерация HTML-версии карты сайта осуществляется с использованием cron. Создание карты по расписанию означает, что построение HTML-карты будет запаздывать на некоторое время; а если не сравнивать время модификации XML- и HTML-версий карт, получим бесполезные вызовы xsltproc.

Те, кто используют WordPress, очень часто для автоматического построения карты сайта используют плагин Google XML Sitemaps; для них предлагается вариант с модификацией кода плагина для автоматической генерации HTML-карты.

Плагин позволяет задавать свою таблицу стилей XSLT:

Мы изменим плагин таким образом, чтобы при заданной таблице стилей XSL плагин создавал HTML-файл с результатами преобразований XSL.

В файле sitemap-core.php ищем такой кусок кода:

if($this->GetOption("b_xml")) {
if($this->_fileHandle && fclose($this->_fileHandle)) {
$this->_fileHandle = null;
$status->EndXml(true);
$pingUrl=$this->GetXmlUrl();
} else $status->EndXml(false,"Could not close the sitemap file.");

После него добавляем такой:

if (class_exists('XSLTProcessor', true)) {
$file = $this->GetXmlPath();
$styleSheet = ($this->GetDefaultStyle() && $this->GetOption('b_style_default') === true ? $this->GetDefaultStyle() : $this->GetOption('b_style'));
if (!empty($styleSheet)) {
$xsl = new DOMDocument();
$xsl->load($styleSheet);

$xml = new DOMDocument();
$xml->load($file);

$proc = new XSLTProcessor();
$proc->importStyleSheet($xsl);
$proc->transformToURI($xml, 'file://' . str_replace('.xml', '.html', $file));
}
}

Данный код требует PHP 5 и расширения XSLT (в Debian/Ubuntu оно предоставляется пакетом php5-xsl). Код получает имя файла с картой сайта и адрес таблицы стилей (этот адрес должен быть задан абсолютным URL); XML и XSL скармливаются XSLT Processor’у, результат записывается в файл с тем же именем, что и карта сайта XML, но с расширением .html.

Теперь при каждом построении карты сайта будет создаваться и HTML-версия.

Тем, кто любит патчи (патч кумулятивный, исправляет и некоторые другие недостатки плагина):

--- sitemap-core.php.orig 2010-08-16 10:49:16.000000000 +0300
+++ sitemap-core.php 2010-11-28 02:10:08.000000000 +0200
@@ -1654,9 +1654,9 @@
$this->AddElement(new GoogleSitemapGeneratorXmlEntry('<' . '?xml-stylesheet type="text/xsl" href="' . $styleSheet . '"?' . '>'));
}

- $this->AddElement(new GoogleSitemapGeneratorDebugEntry("generator=\"wordpress/" . get_bloginfo('version') . "\""));
- $this->AddElement(new GoogleSitemapGeneratorDebugEntry("sitemap-generator-url=\"http://www.arnebrachhold.de\" sitemap-generator-version=\"" . $this->GetVersion() . "\""));
- $this->AddElement(new GoogleSitemapGeneratorDebugEntry("generated-on=\"" . date(get_option("date_format") . " " . get_option("time_format")) . "\""));
+// $this->AddElement(new GoogleSitemapGeneratorDebugEntry("generator=\"wordpress/" . get_bloginfo('version') . "\""));
+// $this->AddElement(new GoogleSitemapGeneratorDebugEntry("sitemap-generator-url=\"http://www.arnebrachhold.de\" sitemap-generator-version=\"" . $this->GetVersion() . "\""));
+// $this->AddElement(new GoogleSitemapGeneratorDebugEntry("generated-on=\"" . date(get_option("date_format") . " " . get_option("time_format")) . "\""));

//All comments as an asso. Array (postID=>commentCount)
$comments=($this->GetOption("b_prio_provider")!=""?$this->GetComments():array());
@@ -2172,6 +2172,22 @@
$status->EndXml(true);
$pingUrl=$this->GetXmlUrl();
} else $status->EndXml(false,"Could not close the sitemap file.");
+
+ if (class_exists('XSLTProcessor', true)) {
+ $file = $this->GetXmlPath();
+ $styleSheet = ($this->GetDefaultStyle() && $this->GetOption('b_style_default') === true ? $this->GetDefaultStyle() : $this->GetOption('b_style'));
+ if (!empty($styleSheet)) {
+ $xsl = new DOMDocument();
+ $xsl->load($styleSheet);
+
+ $xml = new DOMDocument();
+ $xml->load($file);
+
+ $proc = new XSLTProcessor();
+ $proc->importStyleSheet($xsl);
+ $proc->transformToURI($xml, 'file://' . str_replace('.xml', '.html', $file));
+ }
+ }
}

if($this->IsGzipEnabled()) {
@@ -2514,9 +2530,9 @@
* @return int The time in seconds
*/
function GetTimestampFromMySql($mysqlDateTime) {
- list($date, $hours) = split(' ', $mysqlDateTime);
- list($year,$month,$day) = split('-',$date);
- list($hour,$min,$sec) = split(':',$hours);
+ list($date, $hours) = explode(' ', $mysqlDateTime);
+ list($year,$month,$day) = explode('-',$date);
+ list($hour,$min,$sec) = explode(':',$hours);
return mktime(intval($hour), intval($min), intval($sec), intval($month), intval($day), intval($year));
}

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

Генерация карты сайта в HTML из XML: часть 2

Vladimir — Mon, 08 Nov 2010 12:04:38 +0000

Как сделать не более N ссылок на файл

Продолжение статьи «Генерация карты сайта в HTML из XML».

В этой части мы рассмотрим, как сделать так, чтобы на одной генерируемой странице располагалось не более определённого количества ссылок.

Нам понадобятся:

XSL из статьи «Преобразование карты сайта в список адресов для siege»:

version="1.0" encoding="utf-8"?>
version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9">
method="text" media-type="text-plain" indent="no"/>
elements="*"/>
match="/x:urlset/x:url">
select="x:loc" disable-output-escaping="yes"/>
> >
>
>
XSL из статьи «Генерация карты сайта в HTML из XML»:

version="1.0" encoding="utf-8"?>
version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns="http://www.w3.org/1999/xhtml" exclude-result-prefixes="x">
method="xml" indent="yes" encoding="UTF-8" doctype-public="-//W3C//DTD XHTML 1.0 Transitional//EN" doctype-system="http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"/>
elements="*"/>

match="/x:urlset">
>
>
http-equiv="Content-Type" content="text/html; charset=utf-8"/>
>Site Map>
>
>
> href="http://blog.sjinks.pro/">Карта сайта>>
>
select="x:url"/>
>
>
>
>

match="/x:urlset/x:url">
>> href="{x:loc}"> select="x:loc" disable-output-escaping="yes"/>>>>
>
>
Немного фантазии

Алгоритм работы простой:

Преобразовываем исходную карту в текстовый список адресов (один URL на строку)
Разбиваем файл на несколько частей с заданным количеством строк
Преобразовываем каждый из полученных файлов в XML
Преобразовываем полученные XML-файлы в HTML

Пункты 3 и 4 можно совместить: вместо генерации XML-файла можно сразу генерировать HTML. Но на всякий случай будем генерировать и XML, и HTML.

Получим такой скрипт:

#! /bin/sh

xsltproc -o urls.txt sitemap2txt.xsl sitemap.xml
split -d -l 100 urls.txt map
for i in map*; do
awk '
BEGIN {
print "\
xmlns:xsi=\"http://www.w3.org/2001/XMLSchema-instance\"\
xsi:schemaLocation=\"http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd\"\
xmlns=\"http://www.sitemaps.org/schemas/sitemap/0.9\">"
}
{
print ""$1""
}
END {
print ""
}
' $i > site$i.xml
xsltproc -o site$i.html sitemap2html.xsl site$i.xml
done

Всё просто!™

Генерация карты сайта в HTML из XML

Wandering Soul — Sun, 07 Nov 2010 01:22:20 +0000

Помогаем ботам найти все страница сайта

Проблема: есть достаточно большой сайт, у которого есть карта в формате XML. Есть бот, который этот сайт индексирует. Но бот не может найти страницы, имеющие уровень вложенности больше трёх. Нужно помочь боту проиндексировать весь сайт.

Самый простой способ — создание страницы, в которой будут перечислены все страницы сайта и размещение на неё ссылки из подвала сайта. Идеальный кандидат на такую страницу — карта сайта в формате XML. Проблема в том, что не все боты утруждают себя разбором XML-карт. Для таких ботов карту нужно преобразовывать в формат HTML.

Как и в другом похожем случае, на помощь приходит преобразование XSL.

Пример шаблона стилей XML:

version="1.0" encoding="utf-8"?>
version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns="http://www.w3.org/1999/xhtml" exclude-result-prefixes="x">
method="xml" indent="yes" encoding="UTF-8" doctype-public="-//W3C//DTD XHTML 1.0 Transitional//EN" doctype-system="http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"/>

elements="*"/>

match="/x:urlset">
>
>
http-equiv="Content-Type" content="text/html; charset=utf-8"/>
>Site Map>
>
>
> href="http://blog.sjinks.pro/">Карта сайта>>
>

select="x:url">

select="lastmod" order="descending"/>
>
>
>
>
>

match="/x:urlset/x:url">
>> href="{x:loc}">

select="x:loc" disable-output-escaping="yes"/>>

> test="x:lastmod"> (

select="x:lastmod" disable-output-escaping="yes"/>

)>>
>
>

Преобразование выполняется так:

xsltproc -o /path/to/sitemap.html /path/to/sitemap2html.xml /path/to/sitemap.xml

Можно выполнение xsltproc повесить на крон и наслаждаться результатом.

Преобразование карты сайта в список адресов для siege

Vladimir — Fri, 11 Dec 2009 07:32:18 +0000

Использование XSL-преобразований для перевода XML в текст

Siege — утилита для нагрузочного тестирования web-серверов, целью которой является дать разработчикам возможность проверить быстродействие/ресурсоёмкость кода в условиях, максимально приближенных к реальным.

В режимах регрессионного тестирования и «имитации Internet» siege использует текстовый файл со списком адресов для тестирования.

В качестве такого файла очень удобно было бы использовать карту сайта (sitemap), но, к сожалению, siege не понимает XML. В данной статье рассмотрено одно из возможных решений по преобразованию карты сайта из XML в текстовый формат.

Как уже было отмечено, карта сайта представляет собой XML-файл, формат которого подробно описан здесь. Задача заключается в преобразовании XML-файла в текстовый формат (каждый адрес в отдельной строке и без лишних пробелов).

Самый надёжный способ — использование «родных» для XML XSL-преобразований. В отличие от регулярных выражений XSL-преобразования будут правильно работать даже в том случае, если используется расширенный формат карты (с элементами из других пространств имён).

Для преобразования понадобится данный XSL-файл:

version="1.0" encoding="utf-8"?>
version="1.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform" xmlns:x="http://www.sitemaps.org/schemas/sitemap/0.9">
method="text" media-type="text-plain" indent="no"/>

elements="*"/>

match="/x:urlset/x:url">

select="x:loc" disable-output-escaping="yes"/>

> >
>
>

Элемент > задаёт формат результата (обычный текст), elements="*"/> указывает, что у всех элементов нужно удалять лишние пробельные символы, а секция /> делает выборку по всем блокам > и собирает значения элементов >, добавляя новую строку (>>) после каждого адреса.

Загружаем файл и натравливаем xsltproc на сайтмап (например, sitemap.xml):

xsltproc sitemap2txt.xml sitemap.xml -o urls.txt

Вуаля, список готов. Важно, чтобы карта сайта не содержала директив ?>.

Помимо XSL-преобразований есть еще способ с использованием потокового редактора sed, но способ достаточно хрупкий. Представляет собой типичный пример использования чёрной магии.

#! /bin/sh

sed -r 's/!\n!g' $1 | sed -r -n '/.*?<\/loc>/! D; /.*?<\/loc>/ s!!!g; s!\s+!!g; P'

Работает эта магия следующим образом: перед всеми открывающими тэгами и после всех закрывающих тэгов > добавляется символ новой строки — это делается для того, чтобы все адреса гарантированно располагались на разных строках. Результат отдаётся второму sed, работающему в «бесшумном» режиме. Удаляется всё, что не находится внутри тэгов >…>, затем удаляются сами тэги > и, наконец, удаляются лишние пробелы и выводится результат.

Работает так:

sitemap2list.sh sitemap.xml > list.txt

Не будет работать, если пространство имён по умолчанию не http://www.sitemaps.org/schemas/sitemap/0.9, а также если блок >…> располагается на нескольких строках. XSLT всё-таки лучше.