0

Разрабатываю модуль поиска на Qt с использованием Sphinx.

Анализируемая база данных работает под СУБД Firebird и расположена на сервере под ОС Gnu/Linux. Кодировка базы UNICODE_FSS.

Клиент работает под ОС Windows.

Передача запроса демону Sphinx происходит через интерфейс MySQL (язык SphinxQL).

Подключение к базе:

db = QSqlDatabase::addDatabase("QMYSQL", "Sphinx");
db.setHostName("192.168.0.14");
db.setPort(9306);
if (!db.open())
    qDebug() << "Unable to open db!";

Отправка запроса:

QSqlQuery q(db);
QString query = QString::fromUtf8("select id from lettersIndex where match('коллеги')");
q.exec(query);

Через командную строку MySQL передача запроса происходит удачно. При этом для верной кодировки в my.ini необходимо инициализировать переменную:

[client]
default-character-set = utf8

Однако, используя код Qt, представленный выше, кодировка передаваемого запроса конвертируется в ASCII, и русские буквы передаются знаками вопроса.

Я думаю, что проблема в этой глобальной переменной. Согласно документации MySQL, именно эта переменная не является динамической, и её нельзя изменять командой SET. Пробовал менять другие переменные, являющиеся динамическими (в частности character_set_client, так как она более всего похожа на нужную), но и это не принесло результатов. Кроме того, синтаксис, представленный в документации, не работает корректно.

SET GLOBAL character_set_client=utf8;
SET @@global.character_set_client=utf8;

Работает только вторая строка, но она не приносит никаких изменений.

В документации Sphinx существует своя конструкция SET, и скорее всего здесь работает она.

Вопрос такой: как в Qt установить системную переменную подобно тому, как она устанавливается в my.ini?

Дополнение:

Запускаю код в отладчике:

QSqlQuery q(db);
QString query = QString("select id from lettersIndex where match('коллеги')").toUtf8();
qDebug() << q.exec(query);

Значение переменной query в отладчике: Значение переменной query

Однако, при двойном нажатии на значении переменной и последующем нажатии в иную область (или, например, нажатии Enter) русские буквы меняются на знаки вопроса. У меня есть подозрение, что в этой переменной изначально хранится текст в неверной кодировке.

Значение переменной query после попытки изменения

14
  • Скорее всего знаки вопроса вместо русских букв возвращает функция QString::fromUtf8(). 8 фев 2016 в 14:55
  • А выполнение запроса set names utf8 в начале сессии не помогает ?
    – Mike
    8 фев 2016 в 14:56
  • @VanyambaElectronics , скорее всего нет. В отладчике эта переменная содержит верные данные. Но в Wireshark в передаваемом пакете уже содержатся знаки вопроса, будто бы кодировку портит сам драйвер MySQL.
    – AccumPlus
    8 фев 2016 в 15:00
  • @Mike ,QSqlQuery q(db);q Debug() << q.exec("SET NAMES utf8"); Сразу после db.open(). К сожалению, ничего не изменилось.
    – AccumPlus
    8 фев 2016 в 15:01
  • Чтобы обойти проблему русских букв в UTF8 я в Qt использовал следующий трюк - названия файлов кодировал с помощью QUrl::toPercentEncoding(). Отладчик тоже ничего не показывал, а названия файлов получались из знаков вопроса. 8 фев 2016 в 15:08

1 ответ 1

5

Краткий ответ: в конфиге sphinx нужно выставить mysql_version_string во что-нибудь выше, чем 4.1.0. Лучше всего, конечно же, выставить это значение в ту версию MySQL, которую реально использует sphinx, во избежание возможных проблем в других частях.


Полный ответ:

Чтобы понять в чём проблема, нужно смотреть драйвер Qt для MySQL. В нём содержится следующая логика: при открытии соединения с MySQL Qt требует utf-8 от соединения:

mysql_set_character_set(d->mysql, "utf8");

Но не решается использовать utf-8 по умолчанию, а спрашивает базу о том, какую же кодировку использовать:

QTextCodec* heuristicCodec = QTextCodec::codecForName(mysql_character_set_name(mysql));

С точки зрения логики, всё вроде верно: мы предлагаем использовать utf-8, а затем получаем кодировку, которую считает нужной использовать MySQL. Проблема заключается в том, что mysql_character_set_name не спрашивает базу о кодировке, но использует значение по умолчанию либо же то значение, которое было закешировано в вызове mysql_set_character_set. А в этом вызове есть такие строки:

if(strlen(cs_name) < MY_CS_NAME_SIZE &&
    (cs = get_charset_by_csname(cs_name, MY_CS_PRIMARY, MYF(0))))
{
    char buff[MY_CS_NAME_SIZE + 10];
    charsets_dir = save_csdir;
    /* Skip execution of "SET NAMES" for pre-4.1 servers */
    if(mysql_get_server_version(mysql) < 40100)
        return 0;
    sprintf(buff, "SET NAMES %s", cs_name);
    if(!mysql_real_query(mysql, buff, (uint)strlen(buff)))
    {
        mysql->charset = cs;
    }
}

mysql->charset это как раз то, что возвращает mysql_character_set_name. Так вот, как видно из кода выше, запрашиваемая кодировка не будет выставлена(закеширована) для версий сервера до 4.1. Но согласно документации, если mysql_version_string не установлена, тогда в качестве версии mysql используется версия sphinx, которая в настоящий момент 2.x.x, т.е. явно меньше 4.1.

Результатом всего этого безобразия выходит то, что mysql возвращает кодировку по умолчанию и Qt подчиняется. Кодировка по умолчанию, по всей видимости,— latin1. Вот Вы и имеет конвертацию в результирующем пакете. Поэтому решением является явное выставление версии MySQL в конфиге sphinx.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.