0

Разрабатываю модуль поиска на Qt с использованием Sphinx.

Анализируемая база данных работает под СУБД Firebird и расположена на сервере под ОС Gnu/Linux. Кодировка базы UNICODE_FSS.

Клиент работает под ОС Windows.

Передача запроса демону Sphinx происходит через интерфейс MySQL (язык SphinxQL).

Подключение к базе:

db = QSqlDatabase::addDatabase("QMYSQL", "Sphinx");
db.setHostName("192.168.0.14");
db.setPort(9306);
if (!db.open())
    qDebug() << "Unable to open db!";

Отправка запроса:

QSqlQuery q(db);
QString query = QString::fromUtf8("select id from lettersIndex where match('коллеги')");
q.exec(query);

Через командную строку MySQL передача запроса происходит удачно. При этом для верной кодировки в my.ini необходимо инициализировать переменную:

[client]
default-character-set = utf8

Однако, используя код Qt, представленный выше, кодировка передаваемого запроса конвертируется в ASCII, и русские буквы передаются знаками вопроса.

Я думаю, что проблема в этой глобальной переменной. Согласно документации MySQL, именно эта переменная не является динамической, и её нельзя изменять командой SET. Пробовал менять другие переменные, являющиеся динамическими (в частности character_set_client, так как она более всего похожа на нужную), но и это не принесло результатов. Кроме того, синтаксис, представленный в документации, не работает корректно.

SET GLOBAL character_set_client=utf8;
SET @@global.character_set_client=utf8;

Работает только вторая строка, но она не приносит никаких изменений.

В документации Sphinx существует своя конструкция SET, и скорее всего здесь работает она.

Вопрос такой: как в Qt установить системную переменную подобно тому, как она устанавливается в my.ini?

Дополнение:

Запускаю код в отладчике:

QSqlQuery q(db);
QString query = QString("select id from lettersIndex where match('коллеги')").toUtf8();
qDebug() << q.exec(query);

Значение переменной query в отладчике: Значение переменной query

Однако, при двойном нажатии на значении переменной и последующем нажатии в иную область (или, например, нажатии Enter) русские буквы меняются на знаки вопроса. У меня есть подозрение, что в этой переменной изначально хранится текст в неверной кодировке.

Значение переменной query после попытки изменения

14
  • Скорее всего знаки вопроса вместо русских букв возвращает функция QString::fromUtf8(). 8 фев 2016 в 14:55
  • А выполнение запроса set names utf8 в начале сессии не помогает ?
    – Mike
    8 фев 2016 в 14:56
  • @VanyambaElectronics , скорее всего нет. В отладчике эта переменная содержит верные данные. Но в Wireshark в передаваемом пакете уже содержатся знаки вопроса, будто бы кодировку портит сам драйвер MySQL.
    – AccumPlus
    8 фев 2016 в 15:00
  • @Mike ,QSqlQuery q(db);q Debug() << q.exec("SET NAMES utf8"); Сразу после db.open(). К сожалению, ничего не изменилось.
    – AccumPlus
    8 фев 2016 в 15:01
  • Чтобы обойти проблему русских букв в UTF8 я в Qt использовал следующий трюк - названия файлов кодировал с помощью QUrl::toPercentEncoding(). Отладчик тоже ничего не показывал, а названия файлов получались из знаков вопроса. 8 фев 2016 в 15:08

1 ответ 1

5

Краткий ответ: в конфиге sphinx нужно выставить mysql_version_string во что-нибудь выше, чем 4.1.0. Лучше всего, конечно же, выставить это значение в ту версию MySQL, которую реально использует sphinx, во избежание возможных проблем в других частях.


Полный ответ:

Чтобы понять в чём проблема, нужно смотреть драйвер Qt для MySQL. В нём содержится следующая логика: при открытии соединения с MySQL Qt требует utf-8 от соединения:

mysql_set_character_set(d->mysql, "utf8");

Но не решается использовать utf-8 по умолчанию, а спрашивает базу о том, какую же кодировку использовать:

QTextCodec* heuristicCodec = QTextCodec::codecForName(mysql_character_set_name(mysql));

С точки зрения логики, всё вроде верно: мы предлагаем использовать utf-8, а затем получаем кодировку, которую считает нужной использовать MySQL. Проблема заключается в том, что mysql_character_set_name не спрашивает базу о кодировке, но использует значение по умолчанию либо же то значение, которое было закешировано в вызове mysql_set_character_set. А в этом вызове есть такие строки:

if(strlen(cs_name) < MY_CS_NAME_SIZE &&
    (cs = get_charset_by_csname(cs_name, MY_CS_PRIMARY, MYF(0))))
{
    char buff[MY_CS_NAME_SIZE + 10];
    charsets_dir = save_csdir;
    /* Skip execution of "SET NAMES" for pre-4.1 servers */
    if(mysql_get_server_version(mysql) < 40100)
        return 0;
    sprintf(buff, "SET NAMES %s", cs_name);
    if(!mysql_real_query(mysql, buff, (uint)strlen(buff)))
    {
        mysql->charset = cs;
    }
}

mysql->charset это как раз то, что возвращает mysql_character_set_name. Так вот, как видно из кода выше, запрашиваемая кодировка не будет выставлена(закеширована) для версий сервера до 4.1. Но согласно документации, если mysql_version_string не установлена, тогда в качестве версии mysql используется версия sphinx, которая в настоящий момент 2.x.x, т.е. явно меньше 4.1.

Результатом всего этого безобразия выходит то, что mysql возвращает кодировку по умолчанию и Qt подчиняется. Кодировка по умолчанию, по всей видимости,— latin1. Вот Вы и имеет конвертацию в результирующем пакете. Поэтому решением является явное выставление версии MySQL в конфиге sphinx.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.