2

Такой заголовок для примера:

#include <stdint.h>

extern "C"
{
    struct MyStruct
    {
        uint32_t integer_field;
        char* null_terminated_string;
    };

    __declspec(dllexport) void user_func(MyStruct* structure_array, int length);
    __declspec(dllexport) MyStruct* creator_func(int count);
}

Используя Cython я хочу вызвать функцию creator_func, получить от нее структуры, потом в Python коде что-то в этих структурах поменять, а после вернуть взад измененный результат функции user_func. Но лыжи что-то не едут:

cmodule.pxd

ctypedef unsigned int uint32_t

cdef extern from "Header.h":

    cdef struct MyStruct:
        uint32_t integer_field
        char* null_terminated_string

    cdef void user_func(MyStruct* structf, int length)
    cdef MyStruct* creator_func(int count)

module.pxy

from libc.stdlib cimport calloc, free

cimport cmodule

cdef class wrapper(object):
    cdef cmodule.MyStruct* s

    cdef _cinit(self, cmodule.MyStruct* struc):
        self.s = struc
        return self


cpdef gimme_objects(int count):
    # Вызвать функцию из dll/so проблем нет, также нет проблем, когда
    # остаемся внутри Cython, также вроде нет проблем с простыми типами int, float и т.д.
    cdef cmodule.MyStruct* pointer = cmodule.creator_func(count)

    # Очевидно, list тут не к месту и хорошо бы все передать в виде np.ndarray массива, но с ним все печально
    my_python_array = []

    for i in range(count):
        wrapp = wrapper()._cinit(&pointer[i])
        my_python_array.append(wrapp)
        print(pointer[i].integer_field, type(pointer[i].integer_field))
    return my_python_array


cpdef send_objects(list objects, int count):
    cdef cmodule.MyStruct* my_c_array = <cmodule.MyStruct*>calloc(count, sizeof(cmodule.MyStruct))

    for i in range(count):
        my_c_array[i] = objects[i]
    cmodule.user_func(my_c_array, count)

Получение данных худо-бедно работает, но вот посылание их назад нет. То, что написано выше (send_objects) мало того, что не работает ('MyStruct' is not a type identifier), так еще и несколько раз копирует данные туда-сюда. Возможно ли решить проблему? Возможно ли это без копирования данных в список и обратно, а как-нибудь хитро приспособить numpy?

1 ответ 1

1

Раз ответов не нашлось, я покажу свои велосипеды с очень острыми граблями вместо педалей. Стоит начать с того, что вопрос взаимодействия между языками таит в себе целую россыпь подводных камней. Концептуально все вроде легко, но нет.

Тестовая структура та же самая, что в вопросе - простое числовое поле и поле с указателем.

Первая задача: передача структуры из C в Python:

from cpython.ref cimport PyTypeObject

cdef extern from "numpy/arrayobject.h":
    object PyArray_NewFromDescr(PyTypeObject* subtype, np.dtype descr,
                                int nd, np.npy_intp* dims, np.npy_intp* strides,
                                void* data, int flags, object obj)


cpdef gimme_objects(int count):
    # Где-то в C выделили память, все сделали как надо
    cdef cmodule.MyStruct* pointer = cmodule.creator_func(count)

    dt = np.dtype("uint32, uint64", align=True)
    np.Py_INCREF(dt)
    cdef np.npy_intp dimensions[1]
    dimensions[0] = <np.npy_intp>count

    ndarray = PyArray_NewFromDescr(<PyTypeObject*> pynp.ndarray, dt, 1, dimensions, NULL, 
                                   <void*>pointer, np.NPY_DEFAULT, None)

    return ndarray

Пара поянений: align=True при создании dtype указывает на то, что структуры не упакованы (нет #pragma pack). Указано, что align можно выставить только в случаях, когда тип описывается словарем или строкой, разделенной запятыми. Второе поле в структуре - не строка, ибо я не знаю ее длины заранее, плюс длины могут быть очень разными.

Размер указателя - не всегда 64, однако я точно знаю, что собираю, поэтому значение захардкожено. При сборке 32 битной версии размер другой.

Py_INCREF - документация говорит, что при создании массива numpy "steal the reference", что бы это ни значило.

Самая мякотка - это функция PyArray_NewFromDescr из numpy. Большая проблема в том, что в numpy эта функция есть, но ее нет в Cython интерфейсе. То есть функция есть в .so и .h файлах, но в .pxd она намеренно закомментирована. Такой же участи постигли и другие подобные функции, среди которых море супер-полезных. Есть подозрение, что закомментированы они совсем не зря. Именно с целью вернуть себе причитающееся функция переобъявлена в самом начале. Также, вероятно, можно применить другие, открытые функции, например, PyArray_RegisterDataType.

Вторая задача: изменение полученных объектов в Python. Осилил наполовину. Как видно, объекты изменяются не совсем из Python, а из Cython интерфейса.

from cpython.buffer cimport PyBUF_SIMPLE
from cpython.buffer cimport Py_buffer
from cpython.buffer cimport PyObject_GetBuffer

cpdef replace_c_string(bytes python_string, str fieldname, data):
    cdef Py_buffer buf
    PyObject_GetBuffer(python_string, &buf, PyBUF_SIMPLE)

    # Старая строка нам больше ни к чему
    cdef void* old_string = <void*><uint64_t>data[fieldname]
    # Сами освободить не можем
    cmodule.free_mem(old_string)
    data[fieldname] = <uintptr_t>strdup(<char*>buf.buf)
    print(data[fieldname])

Пара пояснений: заменить char* строку из C с этой функцией можно только на объект, который поддерживает buffer protocol. Байты, bytesarray, массивы (array модуль). Остальное вроде просто: получаем "основу" объекта, выделяем памяти под новый объект (strdup), кастуем указателями и готово. Такая же обертка нужна, чтобы вытащить данные по указателю - в текущей реализации это число, а не какой-то объект. Также, вероятно, можно не копировать буфер себе, а взять его указатель, вызвав после этот Py_INCREF, а в деструкторе вместо free вызывать Py_DECREF.

Задача третья: передача измененного объекта обратно в C. По сравнению со всем остальным все вроде просто.

cpdef send_objects(np.ndarray objects, int count):
    cdef cmodule.MyStruct* pointer = <cmodule.MyStruct*>objects.data
    cmodule.user_func(pointer, count)

И функция удаления везде, где наследили:

cpdef destroy_them_all(np.ndarray objects, int length):
    cdef cmodule.MyStruct* pointer = <cmodule.MyStruct*>objects.data

    for i in range(length):
        free(pointer[i].null_terminated_string)

    cmodule.destroy_them_all(pointer, length)

Со стороны Python это все используется как-то так:

from module import gimme_objects, replace_c_string, send_objects

OBJECTS_COUNT = 5

print("start")
objects = gimme_objects(OBJECTS_COUNT)
print("received")

for index, obj in enumerate(objects):
    print(type(obj), obj["f0"], obj["f1"])
    replace_c_string(b"Hello from Python, C! " + bytes(str(index + 42), encoding="ascii"), "f1", obj)

send_objects(objects, OBJECTS_COUNT)
destroy_them_all(objects, OBJECTS_COUNT)

Как видно, пользователь не видит всего этого ужаса (что уже в целом победа).

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.