Ars Longa, Vita Brevis » Vladimir

Исправление проблемы обхода хранителя экрана в X11

Vladimir — Thu, 19 Jan 2012 12:18:51 +0000

Программистов всё больше, а профессионалов всё меньше

В X.Org Server 1.11 обнаружена уязвимость, позволяющая через манипуляции с клавиатурой обойти режим блокировки экрана и получить доступ к заблокированному рабочему окружению пользователя.

Подробности либо по ссылке выше, либо на OpenNet.

Исправление: в файле /usr/share/X11/xkb/compat/xfree86 закомментировать следующие строки:

interpret XF86_Ungrab {
action = Private(type=0x86, data="Ungrab");
};
interpret XF86_ClearGrab {
action = Private(type=0x86, data="ClsGrb");
};

После чего перезапустить X Server.

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

Автоматическое добавление ссылки на источник при копировании текста с сайта

Vladimir — Sat, 14 Jan 2012 03:42:35 +0000

Навязчивое добавление ссылки на оригинал при копировании текста с сайта

Идея: когда пользователь выделяет часть текста и копирует её в буфер обмена (например, чтобы выложить на своём сайте), автоматически добавлять к выделению ссылку на источник.

Реализация:

var source_link = '

Подробнее: + location.href + '">' + location.href + '

';
jQuery(
function($)
{
if (window.getSelection) $('#content div.post').bind(
'copy',
function()
{
var selection = window.getSelection();
var range = selection.getRangeAt(0);

var magic_div = $('

').css({ overflow : 'hidden', width: '1px', height : '1px', position : 'absolute', top: '-10000px', left : '-10000px' });
magic_div.append(range.cloneContents(), source_link);
$('body').append(magic_div);

var cloned_range = range.cloneRange();
selection.removeAllRanges();

var new_range = document.createRange();
new_range.selectNode(magic_div.get(0));
selection.addRange(new_range);

window.setTimeout(
function()
{
selection.removeAllRanges();
selection.addRange(cloned_range);
magic_div.remove();
}, 0
);
}
);
}
);

Настраиваемые параметры:

source_link — текст, который будет добавляться к копируемому фрагменту. В данном примере задаётся статически, но при желании генерацию ссылки можно усложнить (например, при копировании с текста с домашней страницы можно возвращать ссылку на статью, из которой взята данная цитата). Для этого в строке magic_div.append(range.cloneContents(), source_link); вместо source_link нужно использовать свою функцию, возвращающую HTML для вставки в копируемый фрагмент.
'#content div.post' — выражение, задающее один или более контейнер с текстом, при копировании которого нужно добавлять ссылку на оригинал. Идея в том, что добавлять ссылку на статью при копировании, скажем, части текста одного из комментариев к статье было бы нелогично. С помощью данного выражения можно задать требуемые защищаемые объекты.

Возможные улучшения: проверка длины копируемого текста. Например, если пользователь копирует меньше 20 слов, не добавлять ссылку. Получить выделенный текст можно через range.cloneContents().textContent.

Qt, libfcgi и многопоточность

Vladimir — Sun, 08 Jan 2012 17:31:00 +0000

Предотвращение блокирования событий при использовании libfcgi в многопоточном режиме

Для создания приложений FastCGI на C/C++ есть библиотека libfcgi. Не буду вдаваться в дискуссию, зачем нужны приложения FastCGI на C/C++/подставить нужный язык, когда Python/PHP/Perl/подставить нужное гораздо удобнее. Отмечу лишь, что по работе понадобилось написать FastCGI-приложение на Qt (в основном из-за наличия нескольких высокопроизводительных библиотек, написанных на Qt, но не суть).

Строго говоря, libfcgi, хотя и является официальной библиотекой от создателей протокола, не лучший вариант для поддержки FastCGI — API, предоставляемое библиотекой, сильно ограничено (в плане функциональности) и недостаточно гибко.

Грубо говоря, приложение, использующее libfcgi, может работать в двух режимах:

Последовательная обработка запросов: приложение получило запрос, обработало его, отправило результат, получило следующий запрос. Схема хороша, если обработка запроса тривиальна и/или не занимает много времени. Скорее всего, под большой нагрузкой масштабируется плохо, ибо чем длиннее очередь запросов, тем дольши придётся ждать клиенту.
Многопоточная обработка запросов: приложение создаёт определённое количество потоков, каждый из которых будет обрабатывать свой запрос. При средних нагрузках эта схема работает лучше (если один поток занят, свободный поток займётся выполнением запроса). Но в предельном случае (когда все потоки заняты) имеем те же проблемы, что и в первом варианте. Схему можно немного изменить, создавая потоки по мере необходимости, но всё равно плодить потоки до бесконечности нельзя.

Использование потоков не всегда уместно/хорошо: многопоточные программы, как правило, сложнее для разработки и отладки; кроме того, потоки потребляют системные ресурсы (например, память для стека) и при большом количестве потоков эти издержки могут быть существенными (например, для Linux/IA-32 размер стека для потока по умолчанию составляет 2 мегабайта).

К сожалению, при использовании libfcgi отказаться от потоков очень трудно — дело в том, что библиотека использует блокирующие операции при работе с сокетами.

В общем случае алгоритм работы с libfcgi следующий:

/* Инициализация */
FCGX_Init();
int socket = FCGX_OpenSocket(":9001", 256);

/* ... */

// Собственно работа
while (true) {
FCGX_Request* req = new FCGX_Request;
FCGX_InitRequest(req, socket, 0);

int rc = FCGX_Accept_r(req);
if (rc >= 0) {
/* Здесь создаём и запускаем поток, отвечающий за обработку запроса */
}
}

В случае с Qt и использованием рабочего цикла внутри основной программы имеется неприятный подводный камень: из-за того, что FCGX_Accept_r() использует блокирующие вызовы при работе с сокетом, основная программа может очень долго не увидеть сообщения, посылаемые, например, потоком.

Поэтому перед вызовом FCGX_Accept_r() имеет смысл проверять, имеются ли запросы на соединение.
Решение в лоб:

#include
#include

/* ... */

int rc;
do {
QCoreApplication::processEvents();
struct timeval tv = { 0, 500 };
fd_set r;
FD_ZERO(&r);
FD_SET(socket, &r);

rc = ::select(socket+1, &r, 0, 0, &tv);
} while (!rc);

FCGX_Request* req = new FCGX_Request;
FCGX_InitRequest(req, socket, 0);
int sock = FCGX_Accept_r(req);
/* ... */

Но более корректно будет использовать QSocketNotifier:

// core.h
#include

class QSocketNotifier;

class Core : public QObject {
Q_OBJECT
public:
explicit Core(QObject *parent = 0);
void run(void);

private:
QSocketNotifier* m_notifier;

private slots:
void connectionPending(int socket);
};

// core.cpp

Core::Core(QObject *parent) : QObject(parent), m_notifier(0)
{
FCGX_Init();
int sock = FCGX_OpenSocket(":9001", 256);
this->m_notifier = new QSocketNotifier(sock, QSocketNotifier::Read);
QObject::connect(this->m_notifier, SIGNAL(activated(int)), this, SLOT(connectionPending(int)));
}

void Core::connectionPending(int socket)
{
QSocketNotifier* notifier = qobject_cast<QSocketNotifier*>(this->sender());
Q_CHECK_PTR(notifier);

notifier->setEnabled(false);

FCGX_Request* req = new FCGX_Request;
FCGX_InitRequest(req, socket, 0);
int s = FCGX_Accept_r(req);
if (s >= 0) {
/* Здесь создаём и запускаем поток */
}

notifier->setEnabled(true);
}

В качестве альтернативы созданию потоков можно предложить использовать очередь запросов.

#include
#include
#include
#include

class Queue {
public:
void addToQueue(FCGX_Request* r, bool broadcast = false)
{
QMutexLocker locker(&this->mx);
this->queue.enqueue(r);
if (broadcast) {
this->cv.wakeAll();
}
else {
this->cv.wakeOne();
}
}

FCGX_Request* getFromQueue(void)
{
this->mx.lock();
while (this->queue.isEmpty()) {
this->cv.wait(&this->mx);
}

FCGX_Request* result = this->queue.dequeue();
this->mx.unlock();
return result;
}
private:
QMutex mx;
QWaitCondition cv;
QQueue<FCGX_Request*> queue;
};

Но это уже совсем другая история.

Обход плагина WP Hashcash

Vladimir — Mon, 26 Dec 2011 05:43:11 +0000

Не так страшен JavaScript, как его малюют…

WP Hashcash — очередной плагин WordPress для борьбы со спамом. Принцип работы основывается на том, что спам-боты не умеют исполнять JavaScript. Идея в том, что если пользователь открыл сайт из браузера, браузер выполнит некоторый хитрый код JavaScript, и реузльтат работы этого скрипта будет передан назад на сервер в качестве доказательства «человечности» комментатора.

Недостаток этого подхода заключается в том, что используемый JavaScript является довольно-таки простым; как следствие, его можно «понять» даже из PHP-скрипта.

Пример кода JavaScript, генерируемого плагином:

Такой JavaScript весьма похож на PHP Как следствие, идея обхода плагина заключается в том, чтобы преобразовать JavaScript в PHP и выполнить получившийся PHP-код.

Итак:

В PHP нет ключевого слова var (строго говоря, оно там есть, только имеет другое назначение).
В PHP несколько другой синтаксис объявления массива
Идентификаторы в PHP начинаются с доллара
Операция сдвига выглядит как >>, а не >>>.
В PHP нет классов Array, String, но никто не мешает их написать

Наша задача состоит в преобразовании кода, приведённого выше, в нечто подобное:

Это достигается таким набором правил str_replace():

$x = array(
'wphc_data' => '$wphc_data',
'var $' => '$',
'var ' => '$',
'];' => ');',
'= [' => '= array(',
'new Array($wphc_data.length)' => 'array()',
'$wphc_data.length' => 'count($wphc_data)',
' i<' => ' $i<',
'[i]' => '[$i]',
'i++' => '$i++',
'>>>' => '>>',
'a[$i] =' => '$a[$i] =',
'String.' => '',
'eval' => '',
"a.join('')" => 'join("", $a)',
);

$s = str_replace(
array_keys($x),
array_values($x),
$s
);

При желании правила можно попытаться оптимизировать, но мне было лень — скрипт ломался на коленке за 10 минут.

Реализация функции fromCharCode:

function fromCharCode($a, $b, $c, $d)
{
return chr($a) . chr($b) . chr($c) . chr($d);
}

После замены результат нужно вычислить при помощи eval(). После чего получим такой результат:

function wphc_compute(){return 43448 * 43448 + 75878; } wphc_compute();

Как можно заметить, этот код является одновременно и PHP-кодом, и JavaScript-кодом.

Следующий шаг —

$s = str_replace('wphc_compute();', '', $s);
eval($s);
echo wphc_compute(), "\n";

Результатом выполнения будет число 1887804582.

Как видим, для обхода такой простой защиты не нужен даже интерпретатор JavaScript

Уважаемый Дмитрий

Vladimir — Fri, 02 Dec 2011 22:05:46 +0000

Приколы от Google Translate

Идём на Google Translate
Выбираем перевод с русского на анлийский
Вводим фразу Уважаемый Дмитрий
Наслаждаемся переводом

Говорят, что это аж с 2010 года тянется.

SQLMon для Yii

Vladimir — Tue, 22 Nov 2011 15:02:18 +0000

Расширение для анализа производительности SQL-запросов для Yii

Одной из вещей, которых мне очень не хватало при разработке сайтов на Yii — нормального отображения всех запросов к базе данных, что дало бы возможность их последующего анализа.

Ситуацию частично исправило расширение под названием Yii DB profiler. Но остались некоторые неудобства:

Отображение запросов в порядке убывания времени выполнения — в принципе, это дело вкуса: при таком порядке сразу видны проблемные запросы. С другой стороны, лично мне более привычен хронологический порядок — так чётче прослеживается логика работы;
Prepared statements. Это просто здорово, но если повторять запрос в phpMyAdmin (например, если интересует план выполнения запроса), бывает очень муторно заменять все связанные значения. Например, для запросов вида

SELECT 't'."object_id" AS "t0_c0", 't'."ymd" AS "t0_c1", 't'."black" AS "t0_c2", 't'."brown" AS "t0_c3", 't'."yellow" AS "t0_c4",
't'."neutral" AS "t0_c5", 't'."white" AS "t0_c6", 't'."unknown" AS "t0_c7", 't'."error" AS "t0_c8", 'object'."object" AS "t1_c2",
'object'."id" AS "t1_c0"
FROM 'dnsbl_summary' 't'
LEFT OUTER JOIN 'objects' 'object' ON ('t'."object_id"='object'."id")
WHERE (((black > 0) OR (brown > 0)) AND
(((((((((ymd=:ycp0) AND (black>:ycp1)) AND (brown=:ycp2)) AND (yellow=:ycp3)) AND
(neutral>:ycp4)) AND (white>:ycp5)) AND (unknown=:ycp6)) AND (black>:ycp7)) AND
(error=:ycp8))) AND (object.enabled = 1)
LIMIT 50

заменять все :ycpXXX на их значения немного муторно. В общем случае здесь вряд ли можно что-то сделать — заполнители параметров могут быть любыми (и даже позиционными), поэтому тупое использование str_replace может наделать делов.

Лично мне список запросов нужен обычно только для двух вещей:

Оценка работы механизмов кэширования;
Оценка плана выполнения запроса, составленная оптимизатором.

Первое обычно не критично (зачастую достаточно посмотреть на количество запросов), а вот второе позволяет выявить многие будущие проблемы с производительностью заранее.

В результате, взяв за основу плагин Александра, я портировал SQLMon на Yii.

В результате получилось расширение, позволяющее получать планы выполнения запросов в реальном времени.

Поддерживаются MySQL и SQLite, в планах поддержка PgSQL (там не всё просто, ибо Postgres выполняет запрос, что может привести к интересным последствиям при использовании INSERT/UPDATE/DELETE; как следствие, придётся использовать вложенные транзакции).

Вывод результатов осуществляется либо при помощи виджета:

$this->widget(
'ext.sqlmon.components.SQLMon'
array(
'explain' => true, // Показывать план выполнения запроса
'backtrace' => true, // Показывать трассу вызовов
'dsn' => true, // Показывать DSN соединения (может быть полезно при использовании нескольких БД)
'cssFile' => null, // Эстеты могут задать свой файл стилей
)
);

Либо при помощи Log Route:

return array(
'components' => array(
'log' => array(
'routes' => array(
array(
'class' => 'ext.sqlmon.components.SQLMonLogRoute',
'showExplain' => true, // Показывать план выполнения
'showDsn' => true, // Показывать DSN соединения
'showBacktrace' => true, // Показывать трассу вызовов
),
array(
'class' => 'ext.sqlmon.components.SQLMonFileLogRoute',
'logFile' => 'sqlmon.log',
'showExplain' => true, // Показывать план выполнения
'showDsn' => true, // Показывать DSN соединения
'showBacktrace' => true, // Показывать трассу вызовов
),
),
)
),
);

SQLMonLogRoute наследуется от CWebLogRoute, но, как и CProfileLogRoute, отказывается выдавать данные для AJAX-запросов.

SQLMonFileLogRoute наследуется от CFileLogRoute и, как следствие, воспринимает все параметры конфигурации последнего.

Для того, чтобы протоколирование нормально работало, сообщения от SQLMon попадают в общий протокол и, как следствие, видны при использовании CWebLogRoute (в этом случае выдаётся минимум информации).

Результаты работы выглядят примерно так (пример приведён для SQLite):

Реализовано всё через собственный класс PDO, поэтому для использования SQLMon нужно в файл конфигурации добавить такие строки:

return array(
'import' => array(
'ext.sqlmon.components.*',
),

'components' => array(
'db' => array(
// ...
'pdoClass' => 'SQLMonPDO',
),
),
);

Реализация просмотра выполнения плана выполнения запроса осуществляется при помощи класса-наследника от PDOStatement и переопределения метода PDO::prepare().

Планы на будущее:

поддержка PostgreSQL;
возможность расширения классов SQLMonPDO и SQLMonPDOStatement (возможно, придётся позаимствовать некоторые идеи из Kohana);
наследование SQLMon_Explainer_Base от CComponent, что даст дополнительные плюшки для расширяемости;
более красивая реализация функции SQLMon::arr2pre(), что позволит рисовать красивые ASCII-таблички;
возможная поддержка FireBug;
протоколирование в HTML-файл;
информация профайлера MySQL (нужность пока под большим вопросом);
рефакторинг, написание документации

SQLMon 0.1 for Yii — скачать бесплатно без регистрации без смс

HTML Parser для Qt

Vladimir — Wed, 07 Sep 2011 08:03:07 +0000

Использование libxml2 для разбора документов HTML в Qt

XML — это, конечно, хорошо, но очень часто требуется разбирать документы HTML, которые могут и не быть валидными.

В Qt есть множество классов для работы с XML, но они не подходят для HTML, так как ошибки в HTML для них фатальны.

Ниже приведён вариант парсера для HTML, основанный на библиотеке libxml2.

#ifndef LIBXML2READER_H
#define LIBXML2READER_H

#include
#include

class LibXml2ReaderPrivate;

class LibXml2Reader : public QXmlReader {
public:
LibXml2Reader(void);
virtual ~LibXml2Reader(void);

virtual bool feature(const QString& name, bool* ok = 0) const;
virtual void setFeature(const QString& name, bool value);
virtual bool hasFeature(const QString& name) const;
virtual void* property(const QString& name, bool* ok = 0) const;
virtual void setProperty(const QString& name, void* value);
virtual bool hasProperty(const QString& name) const;

virtual void setEntityResolver(QXmlEntityResolver* handler);
virtual QXmlEntityResolver* entityResolver(void) const;
virtual void setDTDHandler(QXmlDTDHandler* handler);
virtual QXmlDTDHandler* DTDHandler(void) const;
virtual void setContentHandler(QXmlContentHandler* handler);
virtual QXmlContentHandler* contentHandler(void) const;
virtual void setErrorHandler(QXmlErrorHandler* handler);
virtual QXmlErrorHandler* errorHandler(void) const;
virtual void setLexicalHandler(QXmlLexicalHandler* handler);
virtual QXmlLexicalHandler* lexicalHandler(void) const;
virtual void setDeclHandler(QXmlDeclHandler* handler);
virtual QXmlDeclHandler* declHandler(void) const;

virtual bool parse(const QXmlInputSource& input);
virtual bool parse(const QXmlInputSource* input);

private:
Q_DISABLE_COPY(LibXml2Reader)
Q_DECLARE_PRIVATE(LibXml2Reader)
QScopedPointer<LibXml2ReaderPrivate> d_ptr;

friend class LibXml2ReaderLocator;
};

#endif // LIBXML2READER_H

#include "libxml2reader.h"
#include
#include
#include
#include

class LibXml2ReaderLocator : public QXmlLocator {
public:
LibXml2ReaderLocator(LibXml2Reader* r) : reader(r) {}
virtual int columnNumber(void) const;
virtual int lineNumber(void) const;
private:
LibXml2Reader* reader;
};

class LibXml2ReaderPrivate {
public:
~LibXml2ReaderPrivate(void) {}
private:
LibXml2ReaderPrivate(LibXml2Reader* reader);

static void startDocument(void* c);
static void endDocument(void* c);
static void startElement(void* c, const xmlChar* name, const xmlChar** attrs);
static void endElement(void* c, const xmlChar* name);
static void comment(void* c, const xmlChar* value);
static void cdataBlock(void* c, const xmlChar* value, int len);
static void processingInstruction(void* c, const xmlChar* target, const xmlChar* data);
static void characters(void* c, const xmlChar* ch, int len);
static void ignorableWhitespace(void* c, const xmlChar* ch, int len);
static void internalSubset(void* c, const xmlChar* name, const xmlChar* publicId, const xmlChar* systemId);

void parse(const QXmlInputSource* input);

QScopedPointer<LibXml2ReaderLocator> locator;
Q_DECLARE_PUBLIC(LibXml2Reader)
LibXml2Reader* q_ptr;

QXmlEntityResolver* entityresolver;
QXmlDTDHandler* dtdhandler;
QXmlContentHandler* contenthandler;
QXmlErrorHandler* errorhandler;
QXmlLexicalHandler* lexicalhandler;
QXmlDeclHandler* declhandler;

xmlParserCtxt* context;

friend class LibXml2ReaderLocator;
};

LibXml2ReaderPrivate::LibXml2ReaderPrivate(LibXml2Reader* reader)
: q_ptr(reader), entityresolver(0), dtdhandler(0), contenthandler(0), errorhandler(0), lexicalhandler(0), declhandler(0), context(0)
{
this->locator.reset(new LibXml2ReaderLocator(reader));
}

void LibXml2ReaderPrivate::parse(const QXmlInputSource* input)
{
htmlSAXHandler handler;
QByteArray arr = input->data().toLocal8Bit();
const char* data = arr.data();

std::memset(&handler, 0, sizeof(handler));
handler.startDocument = &LibXml2ReaderPrivate::startDocument;
handler.endDocument = &LibXml2ReaderPrivate::endDocument;
handler.startElement = &LibXml2ReaderPrivate::startElement;
handler.endElement = &LibXml2ReaderPrivate::endElement;
handler.comment = &LibXml2ReaderPrivate::comment;
handler.cdataBlock = &LibXml2ReaderPrivate::cdataBlock;
handler.processingInstruction = &LibXml2ReaderPrivate::processingInstruction;
handler.characters = &LibXml2ReaderPrivate::characters;
handler.ignorableWhitespace = &LibXml2ReaderPrivate::ignorableWhitespace;
handler.internalSubset = &LibXml2ReaderPrivate::internalSubset;

this->context = htmlCreatePushParserCtxt(&handler, this, data, xmlStrlen(reinterpret_cast<const xmlChar*>(data)), "", XML_CHAR_ENCODING_NONE);
htmlParseChunk(this->context, NULL, 0, 1);
htmlFreeParserCtxt(this->context);
xmlCleanupParser();
}

void LibXml2ReaderPrivate::startDocument(void* c)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->startDocument();
}
}

void LibXml2ReaderPrivate::endDocument(void* c)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->endDocument();
}
}

void LibXml2ReaderPrivate::startElement(void* c, const xmlChar* name, const xmlChar** attrs)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
QXmlAttributes a;

int i = 0;
if (attrs) {
while (attrs[i]) {
const char* name = reinterpret_cast<const char*>(attrs[i]);
const char* value = reinterpret_cast<const char*>(attrs[i+1]);
i += 2;
a.append(name, "", "", value ? value : name);
}
}

QString uri = "";
QString localName = "";
QString qName = reinterpret_cast<const char*>(name);
r->contenthandler->startElement(uri, localName, qName, a);
}
}

void LibXml2ReaderPrivate::endElement(void* c, const xmlChar* name)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->endElement(QString(""), QString(""), QString(reinterpret_cast<const char*>(name)));
}
}

void LibXml2ReaderPrivate::comment(void* c, const xmlChar* value)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->lexicalhandler) {
r->lexicalhandler->comment(QString::fromLocal8Bit(reinterpret_cast<const char*>(value)));
}
}

void LibXml2ReaderPrivate::cdataBlock(void* c, const xmlChar* value, int len)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->lexicalhandler) {
r->lexicalhandler->startCDATA();
if (r->contenthandler) {
QByteArray arr(reinterpret_cast<const char*>(value), len);
r->contenthandler->characters(arr);
}

r->lexicalhandler->endCDATA();
}
}

void LibXml2ReaderPrivate::processingInstruction(void* c, const xmlChar* target, const xmlChar* data)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->processingInstruction(reinterpret_cast<const char*>(target), reinterpret_cast<const char*>(data));
}
}

void LibXml2ReaderPrivate::characters(void* c, const xmlChar* ch, int len)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->characters(QString::fromLocal8Bit(reinterpret_cast<const char*>(ch), len));
}
}

void LibXml2ReaderPrivate::ignorableWhitespace(void* c, const xmlChar* ch, int len)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->contenthandler) {
r->contenthandler->ignorableWhitespace(QString::fromLocal8Bit(reinterpret_cast<const char*>(ch), len));
}
}

void LibXml2ReaderPrivate::internalSubset(void* c, const xmlChar* name, const xmlChar* publicId, const xmlChar* systemId)
{
LibXml2ReaderPrivate* r = reinterpret_cast<LibXml2ReaderPrivate*>(c);
if (r->lexicalhandler) {
QString n(QString::fromLocal8Bit(reinterpret_cast<const char*>(name)));
QString p(QString::fromLocal8Bit(reinterpret_cast<const char*>(publicId)));
QString s(QString::fromLocal8Bit(reinterpret_cast<const char*>(systemId)));
r->lexicalhandler->startDTD(n, p, s);
r->lexicalhandler->endDTD();
}

}

LibXml2Reader::LibXml2Reader(void)
: d_ptr(new LibXml2ReaderPrivate(this))
{
}

LibXml2Reader::~LibXml2Reader(void)
{
}

bool LibXml2Reader::feature(const QString&, bool* ok) const
{
if (ok) {
*ok = false;
}

return false;
}

void LibXml2Reader::setFeature(const QString&, bool)
{
}

bool LibXml2Reader::hasFeature(const QString&) const
{
return false;
}

void* LibXml2Reader::property(const QString&, bool* ok) const
{
if (ok) {
*ok = false;
}

return 0;
}

void LibXml2Reader::setProperty(const QString&, void*)
{
}

bool LibXml2Reader::hasProperty(const QString&) const
{
return false;
}

void LibXml2Reader::setEntityResolver(QXmlEntityResolver* handler)
{
Q_D(LibXml2Reader);
d->entityresolver = handler;
}

QXmlEntityResolver* LibXml2Reader::entityResolver(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->entityresolver;
}

void LibXml2Reader::setDTDHandler(QXmlDTDHandler* handler)
{
Q_D(LibXml2Reader);
d->dtdhandler = handler;
}

QXmlDTDHandler* LibXml2Reader::DTDHandler(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->dtdhandler;
}

void LibXml2Reader::setContentHandler(QXmlContentHandler* handler)
{
Q_D(LibXml2Reader);
d->contenthandler = handler;
}

QXmlContentHandler* LibXml2Reader::contentHandler(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->contenthandler;
}

void LibXml2Reader::setErrorHandler(QXmlErrorHandler* handler)
{
Q_D(LibXml2Reader);
d->errorhandler = handler;
}

QXmlErrorHandler* LibXml2Reader::errorHandler(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->errorhandler;
}

void LibXml2Reader::setLexicalHandler(QXmlLexicalHandler* handler)
{
Q_D(LibXml2Reader);
d->lexicalhandler = handler;
}

QXmlLexicalHandler* LibXml2Reader::lexicalHandler(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->lexicalhandler;
}

void LibXml2Reader::setDeclHandler(QXmlDeclHandler* handler)
{
Q_D(LibXml2Reader);
d->declhandler = handler;
}

QXmlDeclHandler* LibXml2Reader::declHandler(void) const
{
const LibXml2ReaderPrivate* d = this->d_func();
return d->declhandler;
}

bool LibXml2Reader::parse(const QXmlInputSource& input)
{
return this->parse(&input);
}

bool LibXml2Reader::parse(const QXmlInputSource* input)
{
Q_D(LibXml2Reader);

if (d->contenthandler) {
d->contenthandler->setDocumentLocator(d->locator.data());
}

d->parse(input);

return true;
}

int LibXml2ReaderLocator::columnNumber(void) const
{
return this->reader->d_func()->context->input->col;
}

int LibXml2ReaderLocator::lineNumber(void) const
{
return this->reader->d_func()->context->input->line;
}

Использование:

QByteArray data;
QXmlInputSource src;
LibXml2Reader reader;
QDomDocument doc;

/* здесь читаем данные в data */

src.setData(data);
doc.setContent(&src, &reader);

/* doc будет содержать дерево DOM, построенное из документа HTML */

В файл проекта нужно будет добавить две строки:

INCLUDEPATH += /usr/include/libxml2
LIBS += -lxml2

В INCLUDEPATH помещается путь к заголовочным файлам libxml2, в LIBS — опции компилятора для подключения библиотеки libxml2.

Скачать:

Linux, консоль и деванагари

Vladimir — Mon, 05 Sep 2011 15:51:08 +0000

В то время, когда наши корабли бороздят просторы Вселенной…

Недавно отлаживал небольшой скрипт, транслитерирующий текст, записанный в системе IAST или ITRANS, на деванагари. Так как на домашней машине стоит Linux, то логично, что скрипт отлаживался в Linux — в терминале.

И тут меня ожидал огромный сюрприз…

В качестве теста брался отрывок из Брихадараньяка-упанишады, выглядящий следующим образом (в IAST):

pūrṇamadaḥ pūrṇamidam pūrṇāt pūrṇamudacyate
pūrṇasya pūrṇamādāya pūrṇamevāvaśiṣyate

По-русски это примерно так:

То — бесконечность, и это — бесконечность. Бесконечность исходит из бесконечности,
Обретая бесконечность бесконечного, она остается лишь бесконечностью.

На деванагари результат должен выглядеть так:

पूर्णमदः पूर्णमिदम् पूर्णात् पूर्णमुदच्यते
पूर्णस्य पूर्णमादाय पूर्णमेवावशिष्यते

Как оказалось, если взять результат, сохранить в файл, а потом вывести на экран (например, командой cat), то получится полный бред:

परणमदः परणमिदम परणात परणमदचयत
परणसय परणमादाय परणमवावशिषयत

В IAST это будет

paraṇamadaḥ paraṇamidama paraṇāta paraṇamadacayata
paraṇasaya paraṇamādāya paraṇamavāvaśiṣayata

Что в корне отличается от того, что было в оригинале.

Тут нужно сделать парочку лирических отступлений:

В деванагари есть такая особенность, что символы согласных звуков «по умолчанию» содержат гласный a. То есть क — это ka, а не k. Отсутствие этого a обозначается специальным подстрочным символом (символ вирама или халант). Например, комбинация, соответствующая звуку k будет записываться как क्.
Вторая особенность — гласные звуки имеют два варианта написания: гласный после гласной (или сам по себе) и после согласной записываются по-разному (во втором случае обычно используются диакритические знаки). Например, u — ku: उ — कु.

Возвращаясь к примеру: если сравнить первое слово того, что должно быть и того, что получилось:

पूर्णमदः — पू र् ण म दः — pū r ṇa ma daḥ
परणमदः — प र ण म दः — pa ra ṇa ma daḥ

Можно заметить одну особенность: терминал «обрезает» надстрочные и подстрочные символы (причём обрезает наглухо — при копировании копируется не исходный вариант, а обрезанный). Например, в पू подстрочный символ обозначает гласный ū (лирическое отступление №2), если подстрочный символ «обрезать», то останется просто प, который в соответствии с лирическим отступлением №1 будет pa.

क	ka	=>	क	ka
का	kā	=>	का	kā
कि	ki	=>	कि	ki
की	kī	=>	की	kī
कु	ku	=>	क	ka
कू	kū	=>	क	ka
कृ	kṛ	=>	क	ka
कॄ	kṝ	=>	क	ka
कॢ	kḷ	=>	क	ka
कॣ	kḹ	=>	क	ka
के	ke	=>	क	ka
कै	kai	=>	क	ka
को	ko	=>	को	ko
कौ	kau	=>	कौ	kau
कँ	kam̐	=>	क	ka
कं	kaṁ	=>	क	ka
कः	kaḥ	=>	कः	kaḥ
क्	k	=>	क	ka

Видим, что в терминале очень не везёт гласным u, ū, ṛ, ṝ, ḷ, ḹ, e и дифтонгу ai — они тихо превращаются в a. Вирама также погибает смертью храбрых, в результате чего к согласным добавляется звук a. Анусвара (ṃ) и чандрабинду (m̐) обрезаются.

Какой можно сделать вывод? Индийские тексты в терминале нечитаемы. Вообще. И это в век повсеместного Unicode и UTF-8! Честно говоря, в Linux достаточно проблем с Unicode: apport не воспринимает русские символы, command-not-found вылетает с ошибкой на не английских символах, Inkscape некорректно отображает деванагари, те же проблемы в LibreOffice… Грустно…

Установка Skype на Ubuntu Oneiric Ocelot AMD64

Vladimir — Fri, 26 Aug 2011 01:48:21 +0000

И так идут за годом год…

Прошло два года… Единственное изменение — в текущей бете Oneiric Ocelot в репозитории partner Skype нет. Вообще.

Skype из Natty Narwhal не прижился: проблема с зависимостями: ia32-libs зависит от lib32v4l-0, который зависит от libv4l-0 версии 0.8.3-2, при том, что в репозитории есть только 0.8.5-3ubuntu1. Понятно, что проблему с зависимостями в конце концов исправят, но без Skype плохо.

Решение пока такое:

Если поддержка multiarch не включена, включить:

echo foreign-architecture i386 > /etc/dpkg/dpkg.cfg.d/multiarch
apt-get update
Установить статическую сборку Skype (отсюда) — .deb-пакет всё равно не установится из-за проблем с зависимостями.
Доставить недостающие 32-битные пакеты:

apt-get install libxv1:i386 libxss1:i386
Возможно потребуются дополнительные пакеты. Узнать просто: нужно запустить Skype из консоли. Если чего-то не хватает, система пожалуется:
skype: error while loading shared libraries: libXv.so.1: cannot open shared object file: No such file or directory

Нужно найти, какому пакету принадлежит библиотека:

$ dpkg -S libXv.so
libxv1: /usr/lib/x86_64-linux-gnu/libXv.so.1.0.0

И устаносить 32-битную версию этого пакета:

apt-get install libxv1:i386

После этого Skype должен заработать.

UPDATE 2011-12-20: рекомендованный ныне способ:

echo foreign-architecture i386 > /etc/dpkg/dpkg.cfg.d/multiarch
aptitude update
aptitude install skype:i386 --without-recommends

nspluginwrapper: no appropriate viewer found for /usr/lib/flashplugin-installer/libflashplayer.so

Vladimir — Mon, 22 Aug 2011 23:34:06 +0000

Исправление ошибки установки Flash Player в Ubuntu 11.10/AMD64

При обновлении Ubuntu Natty Narwhal до текущей альфы Oneiric Ocelot на архитектуре AMD64 возникает неприятная ошибка при обновлении пакета flashplugin-installer (Flash Player):

package flashplugin-installer 10.3.183.4ubuntu3 failed to install/upgrade:
nspluginwrapper: no appropriate viewer found for /usr/lib/flashplugin-installer/libflashplayer.so

Лечение довольно простое:

Необходимо включить поддержку multiarch, если она еще не включена:

echo foreign-architecture i386 > /etc/dpkg/dpkg.cfg.d/multiarch
apt-get update

Это позволит устанавливать пакеты для архитектуры i386 на AMD64.
Затем нужно установить пакеты libnss3:i386 и libcurl3:i386:

aptitude install libnss3:i386 libcurl3:i386

В зависимостях подтянутся пакеты libnspr4:i386 и libsqlite3-0:i386.

После этого можно спокойно (пере)установить пакет flashplugin-installer — всё будет работать.

С отчётом об ошибке и комментариями пользователей можно ознакомиться здесь.