Ars Longa, Vita Brevis » utf8

Simple Tags 1.7.4.4: The New Bugs

Vladimir — Tue, 23 Mar 2010 14:04:55 +0000

Исправляем старые и новые ошибки

Сегодня наконец-то появилось время обновить старые плагины; в их числе оказался и Simple Tags. Честно говоря, версия 1.7.4.4 меня разочаровала: автор сломал автоматические ссылки меток. Теперь они не работают даже для английского языка.

Резюмируя: в данной версии нужно исправить:

автоматические ссылки меток;
поддержку многобайтовых символов в автоматических ссылках;
вызов register_uninstall_hook() при каждом обращении к блогу.

Проблема с автоматическими ссылками возникла из-за невнимательности автора:

$this->randomArray($this->link_tags);

//...

// only continue if the database actually returned any links
if ( isset($link_tags) && is_array($link_tags) && count($link_tags) > 0 ) {

Метод randomArray() теперь не возвращает массив (как это было в предыдущих версиях плагина), а изменяет тот массив, который передан ему в параметрах ($this->link_tags). Но если раньше результат $this->randomArray($this->link_tags) присваивался переменной $link_tags, то теперь эта переменная исчезла, и условие в if теперь всегда ложно.

Патч для плагина (unified diff):

diff -uwdBrN simple-tags/inc/client.php simple-tags.new/inc/client.php
--- simple-tags/inc/client.php 2010-03-23 14:01:55.000000000 +0200
+++ simple-tags.new/inc/client.php 2010-03-23 15:14:40.000000000 +0200
@@ -122,8 +122,8 @@
}

// Shuffle array
- $this->randomArray($this->link_tags);
-
+ $link_tags = $this->link_tags;
+ $this->randomArray($link_tags);

// HTML Rel (tag/no-follow)
$rel = $this->buildRel( $this->options['no_follow'] );
@@ -157,8 +157,9 @@
}

$filtered = ''; // will filter text token by token
- $match = "/\b" . preg_quote($term_name, "/") . "\b/".$case;
- $substitute = '( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$0";
+ $quoted = preg_quote($term_name, "/");
+ $match = '/(\PL|\A)(' . $quoted . ')(\PL|\Z)/u'.$case;
+ $substitute = '$1( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$2$3";

// for efficiency only tokenize if forced to do so
if ( $must_tokenize ) {
diff -uwdBrN simple-tags/inc/inc.functions.php simple-tags.new/inc/inc.functions.php
--- simple-tags/inc/inc.functions.php 2010-03-23 14:01:55.000000000 +0200
+++ simple-tags.new/inc/inc.functions.php 2010-03-23 15:09:06.000000000 +0200
@@ -4,6 +4,7 @@
*
*/
function SimpleTags_Install() {
+ register_uninstall_hook (dirname(__FILE__) . '/simple-tags.php', 'SimpleTags_Uninstall' );
$options_from_table = get_option( STAGS_OPTIONS_NAME );
if ( $options_from_table == false ) {
$options = (array) include( dirname(__FILE__) . '/default.options.php' );
diff -uwdBrN simple-tags/simple-tags.php simple-tags.new/simple-tags.php
--- simple-tags/simple-tags.php 2010-03-23 14:01:55.000000000 +0200
+++ simple-tags.new/simple-tags.php 2010-03-23 15:07:42.000000000 +0200
@@ -3,7 +3,7 @@
Plugin Name: Simple Tags
Plugin URI: http://redmine.beapi.fr/projects/show/simple-tags
Description: Extended Tagging for WordPress 2.8 and 2.9 ! Suggested Tags, Mass edit tags, Autocompletion, Tag Cloud Widgets, Related Posts, Related Tags, etc!
-Version: 1.7.4.4
+Version: 1.7.4.4.1
Author: Amaury BALMER
Author URI: http://www.herewithme.fr
Text Domain: simpletags
@@ -23,6 +23,7 @@
Contributors:
- Kevin Drouvin (kevin.drouvin@gmail.com - http://inside-dev.net)
- Martin Modler (modler@webformatik.com - http://www.webformatik.com)
+- Vladimir Kolesnikov - http://blog.sjinks.pro/

Todo:
Both :
@@ -55,9 +56,8 @@
require( STAGS_DIR . '/inc/tpl.functions.php'); // Templates functions
require( STAGS_DIR . '/inc/widgets.php'); // Widgets

-// Activation, uninstall
+// Activation
register_activation_hook(__FILE__, 'SimpleTags_Install' );
-register_uninstall_hook (__FILE__, 'SimpleTags_Uninstall' );

// Init ST
function simple_tags_init() {

Для тех, кто патчи не любит, есть исправленная версия плагина (из исходного архива также удалены скриншоты): скачать Simple Tags 1.7.4.4.1

При использовании материалов блога наличие активной не закрытой от индексирования ссылки на источник обязательно.

Simple Tags 1.7.4.2

Vladimir — Wed, 03 Feb 2010 10:27:37 +0000

Недавно вышла очередная версия плагина Simple Tags. Проблема с UTF-8/многобайтными строками осталась (нужно бы написать автору ещё раз). Вдобавок появилась проблема с вызовом register_uninstall_hook() при каждой загрузки страницы (я исправлял аналогичную проблему с NextGen Gallery).

Из плюсов: Simple Tags 1.7.4.2 нормально работает с WordPress 3.0.

Исправленная версия плагина Simple Tags 1.7.4.2 (я убрал их исходного архива скриншоты — вряд ли кто их смотрит).

Патч:

diff -uwdBrN simple-tags.orig/inc/base.php simple-tags/inc/base.php
--- simple-tags.orig/inc/base.php 2010-02-02 22:39:08.000000000 +0200
+++ simple-tags/inc/base.php 2010-02-03 11:26:48.000000000 +0200
@@ -41,6 +41,7 @@
*
*/
function installSimpleTags() {
+ register_uninstall_hook (WP_PLUGIN_DIR . '/simple-tags/simple-tags.php', array('SimpleTagsBase', 'uninstall') );
$options_from_table = get_option( STAGS_OPTIONS_NAME );
if ( $options_from_table == false ) {
$this->resetToDefaultOptions();
diff -uwdBrN simple-tags.orig/inc/client.php simple-tags/inc/client.php
--- simple-tags.orig/inc/client.php 2010-02-02 22:39:08.000000000 +0200
+++ simple-tags/inc/client.php 2010-02-03 11:39:18.000000000 +0200
@@ -141,8 +141,9 @@
}

$filtered = ''; // will filter text token by token
- $match = "/\b" . preg_quote($term_name, "/") . "\b/".$case;
- $substitute = '( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$0";
+ $quoted = preg_quote($term_name, "/");
+ $match = "/(\PL|\A)(" . preg_quote($term_name, "/") . ")(\PL|\Z)/u".$case;
+ $substitute = '$1( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$2$3";

// for efficiency only tokenize if forced to do so
if ( $must_tokenize ) {
diff -uwdBrN simple-tags.orig/simple-tags.php simple-tags/simple-tags.php
--- simple-tags.orig/simple-tags.php 2010-02-02 22:39:08.000000000 +0200
+++ simple-tags/simple-tags.php 2010-02-03 11:42:14.000000000 +0200
@@ -3,7 +3,7 @@
Plugin Name: Simple Tags
Plugin URI: http://redmine.beapi.fr/projects/show/simple-tags
Description: Extended Tagging for WordPress 2.8 and 2.9 ! Suggested Tags, Mass edit tags, Autocompletion, Tag Cloud Widgets, Related Posts, Related Tags, etc!
-Version: 1.7.4.2
+Version: 1.7.4.2.1
Author: Amaury BALMER
Author URI: http://www.herewithme.fr
Text Domain: simpletags
@@ -23,6 +23,7 @@
Contributors:
- Kevin Drouvin (kevin.drouvin@gmail.com - http://inside-dev.net)
- Martin Modler (modler@webformatik.com - http://www.webformatik.com)
+- Vladimir Kolesnikov - http://blog.sjinks.pro/

Todo:
Both :
@@ -53,7 +54,6 @@

// Activation, uninstall
register_activation_hook(__FILE__, array('SimpleTagsBase', 'installSimpleTags') );
-register_uninstall_hook (__FILE__, array('SimpleTagsBase', 'uninstall') );

// Init ST
function simple_tags_init() {

Simple Tags 1.6.6 и автоматические ссылки меток на русском языке

Vladimir — Tue, 02 Jun 2009 02:22:35 +0000

Время идёт, проблемы остаются…

Полгода назад я рассказывал о том, что Simple Tags не умеет работать с многобайтовыми символами (коими, к слову, являются русские буквы в кодировке UTF-8). За это время вышло восемь или девять новых версий плагина, но проблема с поддержкой UTF-8 всё же осталась.

Так сложилось, что именно сегодня я решил обновить плагин. Патчить код было лень, я надеялся, что у Lecactus’а лежит пропатченная свежая версия. Увы, только 1.6.3.

Для тех, кто больше любит патчи (unified diff):

diff -uwdBrN simple-tags/simple-tags.php simple-tags.new/simple-tags.php
--- simple-tags/simple-tags.php 2009-04-22 10:22:28.000000000 -0400
+++ simple-tags.new/simple-tags.php 2009-06-01 21:50:20.000000000 -0400
@@ -3,7 +3,7 @@
Plugin Name: Simple Tags
Plugin URI: http://wordpress.org/extend/plugins/simple-tags
Description: Simple Tags : Extended Tagging for WordPress 2.3, 2.5, 2.6 and 2.7 ! Autocompletion, Suggested Tags, Tag Cloud Widgets, Related Posts, Mass edit tags !
-Version: 1.6.6
+Version: 1.6.6.1
Author: Amaury BALMER
Author URI: http://www.herewithme.fr

@@ -22,6 +22,7 @@
Contributors:
- Kevin Drouvin (kevin.drouvin@gmail.com - http://inside-dev.net)
- Martin Modler (modler@webformatik.com - http://www.webformatik.com)
+- Vladimir Kolesnikov (vladimir at extrememember dot com - http://blog.sjinks.pro)

Todo:
Admin
@@ -30,25 +31,6 @@
- Verifier la case du remplacement par les liens
*/

-// Check version.
-global $wp_version;
-if ( strpos($wp_version, '2.7') !== false || strpos($wp_version, '2.8') !== false ) {
require(dirname(__FILE__).'/2.7/simple-tags.client.php');
-} elseif ( strpos($wp_version, '2.5') !== false || strpos($wp_version, '2.6') !== false ) {
- require(dirname(__FILE__).'/2.5/simple-tags.client.php');
-} elseif ( strpos($wp_version, '2.3') !== false ) {
- require(dirname(__FILE__).'/2.3/simple-tags.client.php');
-} elseif ( strpos($wp_version, '2.2') !== false || strpos($wp_version, '2.1') !== false || strpos($wp_version, '2.0') !== false ) {
- add_action('admin_notices', 'simple_tagging_warning');
-} else {
- add_action('admin_notices', 'simple_tags_warning');
-}

-function simple_tagging_warning() {
- echo '

'.__('Simple Tags can\'t work with this WordPress version !', 'simpletags').' '.sprintf(__('You must use Simple Tagging Plugin for it to work.', 'simpletags')
, 'http://wordpress.org/extend/plugins/simple-tagging-plugin/').'

';
-}
-
-function simple_tags_warning() {
- echo '

'.__('Simple Tags can\'t work with this WordPress version !', 'simpletags').'

';
-}
?>
\ No newline at end of file

diff -uwdBrN simple-tags/2.7/simple-tags.client.php simple-tags.new/2.7/simple-tags.client.php
--- simple-tags/2.7/simple-tags.client.php 2009-04-22 10:22:28.000000000 -0400
+++ simple-tags.new/2.7/simple-tags.client.php 2009-06-01 22:02:04.000000000 -0400
@@ -1,6 +1,6 @@
class SimpleTags {
- var $version = '1.6.6';
+ var $version = '1.6.6.1';

var $info;
var $options;
@@ -274,8 +274,9 @@

foreach ( (array) $link_tags as $term_name => $term_link ) {
$filtered = ""; // will filter text token by token
- $match = "/\b" . preg_quote($term_name, "/") . "\b/".$case;
- $substitute = '( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$0";
+ $quoted = preg_quote($term_name, "/");
+ $match = "/(\PL|\A)(" . preg_quote($term_name, "/") . ")(\PL|\Z)/u".$case;
+ $substitute = '$1( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$2$3";

// for efficiency only tokenize if forced to do so
if ( $must_tokenize ) {

Для тех, кто предпочитает готовое: скачать исправленную версию плагина Simple Tags 1.6.6 для WordPress.

Simple Tags и автоматические ссылки меток на русском языке

Vladimir — Sat, 22 Nov 2008 06:03:48 +0000

Добавляем поддержку многобайтных символов в Simple Tags

Сегодня у Lecacus’а на сайте наткнулся на упоминание одной нерешённой проблемы:

У меня не работают автоматические ссылки меток в содержимом записи для меток на русском языке. Т.е. если есть метка «wordpress», то слово «wordpress» заменяется на ссылку http://myblog.net/tag/wordpress/. А вот если есть метка «спорт», то слово «спорт» ссылкой не заменяется. Подскажите как сделать так, чтобы плагин работал и с русскими метками.

А так как сегодня мне уже пришлось иметь дело с Simple Tags, я решил разобраться, в чём же дело и исправить досадный баг.

Сам по себе код плагина довольно-таки простой (что определённо делает честь автору), но регулярные выражения, использованные в коде, требуют некоторых знаний и навыков.

За создание автоматических меток отвечает метод SimpleTags::autoLinkTags, основу которого составляют регулярные выражения из PHP Markdown Михеля Фортина (Michel Fortin); замечу, что эти регулярные выражения исправлять не пришлось (хотя, по-хорошему, их можно упростить).

Сама ошибка находится в данной строке:

$match = "/\b" . preg_quote($term_name, "/") . "\b/".$case;

Очень многие «Забугорные» программисты (а также наши, работающие на иностранцев), привыкли считать, что нет иной кодовой таблицы, нежели iso-8859-x, что, собственно, и выражается в регулярном выражении.

Те, кто знаком с PCRE, знают, что \b — это граница слова. Но в локали по умолчанию русские буквы не попадают в категорию «буквы»; как следствие, регулярное выражение /\bспорт\b/ не сработает.

Решение проблемы состоит в использовании классов символов Unicode (то, что знают, увы, очень немногие программисты).

Фактически, нужно было проверять на нахождение не-буквы перед меткой и после метки; например, так:

$match = "/(\PL)(" . preg_quote($term_name, "/") . ")(\PL)/u".$case;

Уже лучше, но работает не всегда. В частности, не будет работать, если метка идет сразу после открывающего тэга, либо сразу перед закрывающим тэгом (не сработает условие (\PL) в начале или в конце). Правильным решением будет следующее:

$match = "/(\PL|\A)(" . preg_quote($term_name, "/") . ")(\PL|\Z)/u".$case;

Полное решение выглядит сложнее, но суть должна быть понятна.

Ниже приведён патч в формате unified diff:

--- simple-tags.client.php.orig 2008-11-22 06:15:22.000000000 +0200
+++ simple-tags.client.php 2008-11-22 07:53:15.000000000 +0200
@@ -262,8 +262,9 @@

foreach ( (array) $this->link_tags as $term_name => $term_link ) {
$filtered = ""; // will filter text token by token
- $match = "/\b" . preg_quote($term_name, "/") . "\b/".$case;
- $substitute = '( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$0";
$quoted = preg_quote($term_name, "/");
$match = "/(\PL|\A)(" . preg_quote($term_name, "/") . ")(\PL|\Z)/u".$case;
$substitute = '$1( sprintf( __('Posts tagged with %s', 'simpletags'), $term_name ) )."\">$2$3";

// for efficiency only tokenize if forced to do so
if ( $must_tokenize ) {

Внимание: патч будет работать только если PHP собран с поддержкой UTF-8, если кодировка блога установлена в UTF-8 и соединение с базой данных тоже использует кодировку UTF-8. В принципе, ничего запредельного, нормальная инсталляция WordPress будет отвечать этим требованиям.

Те, кто не хотят заморачиваться с патчем, могут скачать пропатченную версию (но она требует как минимум WordPress 2.5).

Скачать Simple Tags 1.5.7.1.

WordPress 2.7 и Simple Tags

Vladimir — Sat, 22 Nov 2008 04:14:51 +0000

Как заставить Simple Tags работать в WordPress 2.7

Simple Tags — это плагин для WordPress, предназначенный для управления тэгами (или, как их еще называют, метками). Достоинств у плагина очень много (полный список — на официальной странице плагина), работает просто на «ура».

Но, как обычно, в бочке мёда есть ложка дёгтя: плагин отказывается работать в WordPress 2.7. Причём довольно-таки по-глупому: номера версий, с которыми плагин хочет работать, жёстко зашиты в коде. Если в список добавить 2.7, плагин будет работать.

По традиции, для таких случаев привожу патч (в формате unified diff):

--- simple-tags.php.orig 2008-05-05 18:37:58.000000000 +0300
+++ simple-tags.php 2008-11-22 05:27:50.000000000 +0200
@@ -32,7 +32,7 @@

// Check version.
global $wp_version;
-if ( strpos($wp_version, '2.5') !== false || strpos($wp_version, '2.6') !== false ) {
+if ( strpos($wp_version, '2.5') !== false || strpos($wp_version, '2.6') !== false || strpos($wp_version, '2.7') !== false ) {
require(dirname(__FILE__).'/2.5/simple-tags.client.php');
} elseif ( strpos($wp_version, '2.3') !== false ) {
require(dirname(__FILE__).'/2.3/simple-tags.client.php');

Учим WordPress правильно кодировать письма в UTF-8

Vladimir — Sat, 27 Sep 2008 04:57:21 +0000

Решение проблемы битых заголовков в email

Те, кто используют русскоязычную версию WordPress, наверняка не раз сталкивались с проблемой битого заголовка Subject в уведомлениях WordPress. Навреное, проще проиллюстрировать:

Очевидно, что это не хорошо Более того, битая кодировка может служить критерием для определения письма спамом.

Для того, чтобы убедиться, что такое отображение письма — это не ошибка почтового клиента, я написал маленький тестовый скрипт, который отправляет письма на GMail:

require_once('wp-config.php');
wp_mail('blablabla@gmail.com', '[1234567890] New Comment On: Пятерка порадовавших меня запросов', 'Test Message');
?>

Когда Google отобразил битый Subject, стало понятно, что виноват всё-таки WordPress.

Если посмотреть на исходный текст самого письма, то увидим такие строки:

Subject: =?UTF-8?B?WzEyMzQ1Njc4OTBdIE5ldyBDb21tZW50IE9uOiDQn9GP0YLQtdGA0LrQsCDQ?=
=?UTF-8?B?v9C+0YDQsNC00L7QstCw0LLRiNC40YUg0LzQtdC90Y8g0LfQsNC/0YDQvtGB?=
=?UTF-8?B?0L7Qsg==?=

Она заслуживает пристального внимания. В соответствии с RFC 2822 WordPress (а точнее — PHP Mailer) разбил длинный заголовок на три фрагмента, каждый из которых не превышает 78 байт. Очевидно, что проблема заключается в том, что скрипт разбивал строку, закодированную BASE64, что привело к тому, что многобайтовые символы UTF-8 были разорваны.

Код это подтверждает:

$encoded = base64_encode($str);
$maxlen -= $maxlen % 4;
$encoded = trim(chunk_split($encoded, $maxlen, "\n"));

Есть два варианта исправления. Но оба сводятся к редактирования исходного текста WordPress. Иначе никак.

Простой вариант заключается в изменении верхней границы допустимой длины заголовка сообщения. В принципе, это не сильно противоречит стандарту:

There are two limits that this standard places on the number of characters in a line. Each line of characters MUST be no more than 998 characters, and SHOULD be no more than 78 characters, excluding the CRLF.

То есть, исправив длину, мы проигнорируем SHOULD, но будем принмать во внимание MUST. Лучше, чем ничего.

Итак, патч в формате unified diff (должен применяться к файлу wp-includes/class-phpmailer.php):

--- class-phpmailer.php.orig 2008-06-14 19:36:13.000000000 +0300
+++ class-phpmailer.php 2008-09-27 02:39:26.000000000 +0300
@@ -1160,7 +1160,7 @@
if ($x == 0)
return ($str);

- $maxlen = 75 - 7 - strlen($this->CharSet);
+ $maxlen = 995 - 7 - strlen($this->CharSet);
// Try to select the encoding which should produce the shortest output
if (strlen($str)/3 < $x) {
$encoding = 'B';

Второе решение (тоже патч) более серьёзное и более надёжное:

--- class-phpmailer.php.orig 2008-06-14 19:36:13.000000000 +0300
+++ class-phpmailer.php 2008-09-27 07:54:25.000000000 +0300
@@ -655,6 +655,7 @@
*/
function WrapText($message, $length, $qp_mode = false) {
$soft_break = ($qp_mode) ? sprintf(" =%s", $this->LE) : $this->LE;
+ $is_utf8 = ("utf-8" == strtolower($this->CharSet));

$message = $this->FixEOL($message);
if (substr($message, -1) == $this->LE)
@@ -677,7 +678,9 @@
if ($space_left > 20)
{
$len = $space_left;
- if (substr($word, $len - 1, 1) == "=")
+ if ($is_utf8)
+ $len = $this->getUtf8CharBoundary($word, $len);
+ elseif (substr($word, $len - 1, 1) == "=")
$len--;
elseif (substr($word, $len - 2, 1) == "=")
$len -= 2;
@@ -695,7 +698,9 @@
while (strlen($word) > 0)
{
$len = $length;
- if (substr($word, $len - 1, 1) == "=")
+ if ($is_utf8)
+ $len = $this->getUtf8CharBoundary($word, $len);
+ elseif (substr($word, $len - 1, 1) == "=")
$len--;
elseif (substr($word, $len - 2, 1) == "=")
$len -= 2;
@@ -1164,9 +1169,14 @@
// Try to select the encoding which should produce the shortest output
if (strlen($str)/3 < $x) {
$encoding = 'B';
+ if (true == function_exists('mb_strlen') && strlen($str) > mb_strlen($str, $this->CharSet)) {
+ $encoded = $this->b64Multibyte($str);
+ }
+ else {
$encoded = base64_encode($str);
$maxlen -= $maxlen % 4;
$encoded = trim(chunk_split($encoded, $maxlen, "\n"));
+ }
} else {
$encoding = 'Q';
$encoded = $this->EncodeQ($str, $position);
@@ -1492,6 +1502,66 @@
function AddCustomHeader($custom_header) {
$this->CustomHeader[] = explode(":", $custom_header, 2);
}
+
+ function getUtf8CharBoundary($s, $max_len)
+ {
+ $lb = 3;
+ while (true) {
+ $x = substr($s, $max_len - $lb, $lb);
+ $pos = strpos($x, "=");
+ if (false !== $pos) {
+ $hex = substr($s, $max_len - $lb + $pos + 1, 2);
+ $dec = hexdec($hex);
+ if ($dec < 128) {
+ if ($pos > 0) {
+ $max_len = $max_len - $lb + $pos;
+ }
+
+ break;
+ }
+
+ if ($dec >= 192) {
+ $max_len = $max_len - $lb + $pos;
+ break;
+ }
+
+ $lb += 3;
+ }
+ else {
+ break;
+ }
+ }
+
+ return $max_len;
+ }
+
+ function b64MultiByte($s)
+ {
+ $start = "=?{$this->CharSet}?B?";
+ $end = "?=";
+ $encoded = "";
+
+ $mb_length = mb_strlen($s, $this->CharSet);
+ $str_len = strlen($s);
+ $length = 75 - strlen($start) - 2; //2 - strlen($end)
+ $step = floor(0.75 * $length * $mb_length/$str_len);
+ $average = $step;
+
+ for ($i=0; $i<$mb_length; $i+=$step) {
+ $lb = 0;
+
+ do {
+ $step = $average - $lb;
+ $tmp = base64_encode(mb_substr($s, $i, $step, $this->CharSet));
+ ++$lb;
+ }
+ while (strlen($tmp) > $length);
+
+ $encoded .= $tmp . $this->LE;
+ }
+
+ return substr($encoded, 0, -strlen($this->LE));
+ }
}

?>

Очень надеюсь, что решение кому-нибудь поможет

Конвертирование базы данных MySQL из одного charset в другой

Vladimir — Sun, 09 Mar 2008 21:30:02 +0000

Быстрый способ преобразования charset базы данных MySQL

Недавно мне пришлось столкнуться с задачей перевода базы данных из одного charset в другой. Исходная база была в iso-8859-1, предстояло перевести её в utf-8. Задача усложнялась тем, что в исходной базе присутствовали символы из других языков (русский, испанский и, возможно, китайский).

Погуляв по Интернету и поискав в Google, я нашёл несколько решений.

Способ, который мне очень понравился — TIP: Convert latin1 to UTF-8 in MySQL
Вкратце (я немного изменил команды для повышения эффективности работы скрипта):

mysqldump -uuser -ppassword --default-character-set=latin1 -n -K --skip-set-charset --skip-create-options --skip-extended-insert --compatible=mysql40 --max_allowed_packet=64K dbname > latin_dump.sql
iconv -f ISO-8859-1 -t UTF-8 latin_dump.sql > utf8_dump.sql
mysql --max_allowed_packet=1M -uuser -ppassword --default-character-set=utf8 database_utf8 < utf8_dump.sql
rm -f *.sql

Идея состоит в том, что мы просто создаём дамп исходной базы, при этом указывая mysqldump, что никаких деклараций CHARSET и иже с ними указывать не надо, затем скармливаем полученный дамп iconv, который преобразует весь latin1 в utf8, а затем преобразованный файл отдаём mysql (при этом указываем, что charset по умолчанию у нас utf8).
Из неприятного: не сработало Как оказалось, из-за того, что cPanel создал базу (которая database_utf8) с DEFAULT CHARSET latin1. К счастью, лечится просто:

ALTER DATABASE `database_utf8` CHARACTER SET 'utf8';
ALTER DATABASE `database_utf8` COLLATE 'utf8_general_ci';
Экзотика (ссылку, к сожалению, потерял): идея состоит в том, что каждый столбец (CHAR, VARCHAR, TEXT etc) преобразуется сначала в BLOB (при этом меняется только тип столбца и ничего более), а затем BLOB преобразуется в исходный тип, но уже с новым charset. Я как представлю себе, сколько там менять…
Супер экзотика: Turning MySQL data in latin1 to utf8 utf-8. Без комментариев Видимо, человеку очень надо было преобразовать базу

И на закуску самый простой метод:

ALTER TABLE `table_name` CONVERT TO CHARACTER SET 'utf8';

Ибо как сказано в официальной документации:

If you want to change the table default character set and all character columns (CHAR, VARCHAR, TEXT) to a new character set, use a statement like this:
ALTER TABLE tbl_name CONVERT TO CHARACTER SET charset_name;
For a column that has a data type of VARCHAR or one of the TEXT types, CONVERT TO CHARACTER SET will change the data type as necessary to ensure that the new column is long enough to store as many characters as the original column. For example, a TEXT column has two length bytes, which store the byte-length of values in the column, up to a maximum of 65,535. For a latin1 TEXT column, each character requires a single byte, so the column can store up to 65,535 characters. If the column is converted to utf8, each character might require up to 3 bytes, for a maximum possible length of 3 × 65,535 = 196,605 bytes. That length will not fit in a TEXT column's length bytes, so MySQL will convert the data type to MEDIUMTEXT, which is the smallest string type for which the length bytes can record a value of 196,605. Similarly, a VARCHAR column might be converted to MEDIUMTEXT.

А мораль такова: если ничего не получается, прочтите, наконец, документацию!