4

Экскурс к тому, для чего нужно:

Я работаю с Unity, и вынужден пользоваться его API.

Среди API есть метод AssetBundle.LoadFromMemory(byte[] bytes), причем перегрузок с параметрами offset, length там нет.

Этот метод используется для чтения файлов из памяти, однако мои файлы упакованы в самописный архив, который я хотел читать через кешируемый буфер, чтобы не порождать аллокации при создании массива.

То есть я буквально заперт тем, что мне диктует API. Я не могу например сохранить размер массива отдельно и вынужден копировать данные в новый отдельный массив всякий раз, когда мне нужно воспользоваться данным методом.

Я бы хотел найти какой-нибудь способ обмануть метод API, протолкнув ему мой кешируемый буфер заведомо большего размера. Информация в этом кешируемом буфере просто перезаписывается поверх старой информации, а переразмер происходит только когда данных больше.

Для этих целей я нафантазировал "подменить" размер массива на меньший, а после вызова метода вернуть размер обратно. Буквально хотелось бы просто изменить число, которое возвращает Array.Length, при том количество данных в нем оставить прежним.

Возможно ли как-то сделать это через unsafe?

Любые другие идеи приветствуются.

4
  • Непонятна суть проблемы. У вас есть один большой byte[] и из него надо взять кусочек? Или всё сложнее? Конкретно вот эта фраза: "мои файлы упакованы в самописный архив, который я хотел читать через кешируемый буфер" требует пояснения. 19 сен 2017 в 6:07
  • Может вам нужен UnmanagedMemoryStream? Используйте stream. Используйте циклические буферы. Для паковки используйте стандарнтый DeflateStream (врядли получится его переплюнуть). Если хотите защитить от взлома - сверху обверните "шифровальщиком".
    – nick_n_a
    19 сен 2017 в 9:10
  • А вы просто создайте свой класс на базе Stream (класс "обвёртку" к примеру) - и задайте "своё" поведение потока, какое хотите.
    – nick_n_a
    19 сен 2017 в 9:13
  • Возможно, если вы хотите вручную играть с Byte[], то вам нужно gc = new GCHandle(bytes) Потом взять адрес gc.AddrOfPinnedObject() этой структуры и чудесная Marshal.ReadByte и т п позволяет "играть" внутренней структурой как угодно. Но, для x86 и x64 прийдётся аккурано учитывать изменения.
    – nick_n_a
    19 сен 2017 в 9:43

2 ответа 2

3

Изменить размер можно, он хранится сразу перед первым элементом массива (проверял на CLR 2, 4, CoreCLR).

static unsafe void Main(string[] args)
{
    // для примера
    var array = new byte[] {
        0xa1, 0xa2, 0xa3, 0xa4, 0xa5, 0xa6, 0xa7, 0xa8, 0xa9, 0xaa
    };

    Print(array);

    int oldLength = array.Length;
    int newLength = 4;

    // адрес начала массива
    fixed (byte* ptr = array) {
        // адрес, по которому хранится размер массива
        // для x86 он равен ptr - 4, для x64 ptr - 8;
        int* pSize = (int*)(ptr - sizeof(void*));

        // устанавливаем новый размер (только в сторону уменьшения)
        *pSize = newLength;
        Print(array);

        // здесь используйте массив в Unity...

        // возвращаем старый размер
        *pSize = oldLength;
        Print(array);
    }
}

static void Print(byte[] array)
{
    Console.WriteLine("array.Length == " + array.Length);
    foreach (byte a in array)
        Console.Write(a.ToString("X2") + " ");
    Console.WriteLine();
    Console.WriteLine();
}

В результате функция Print выведет:

// исходный массив
array.Length == 10
A1 A2 A3 A4 A5 A6 A7 A8 A9 AA

// измененный массив
array.Length == 4
A1 A2 A3 A4

// восстановленный массив
array.Length == 10
A1 A2 A3 A4 A5 A6 A7 A8 A9 AA

Чтобы добавить смещение, нужно циклически сдвинуть массив влево на величину смещения, затем отрезать длину до нужной. Восстановление - в обратном порядке, сначала изменяем длину до оригинальной, затем двигаем массив циклически вправо.

0

Исходя из задачи всётаки двигать byte[] это можно сделать так... В памяти структура такая: СсылкаНаКласс - Размер - Данные. Ссылку на структуру, как и саму структуру можно менять. Но в процессе работы выяснилось, что обнамуть "указатель" не удаётся, и для смещения позиции таки нужно кастить gc.Target что б изменения вошли в силу. Вот пример реализации:

static  byte[] ReArray(GCHandle garray, int offs, int size) {            
        IntPtr ppArray = GCHandle.ToIntPtr(garray);/*ссылка на ссылку (массив)*/
        IntPtr pArray = Marshal.ReadIntPtr(ppArray);/*ссылка на тело*/
        IntPtr ArrayClass = Marshal.ReadIntPtr(pArray);/*Ссылка на класс*/    

        Marshal.WriteIntPtr(pArray, offs, ArrayClass); /*Запись ссылки на класс*/            
        Marshal.WriteInt32(pArray, offs + IntPtr.Size, size);/*Запись размера*/
        /*Запишем новую ссылку на сам массив*/
        Marshal.WriteIntPtr(ppArray, (IntPtr.Size==4)?new IntPtr(pArray.ToInt32()+offs) 
             : new IntPtr(  pArray.ToInt64() + offs ));
        return (byte[])gc.Target;/*вернём сам массив (новый)*/
       }
//-------------------------------------------------
GCHandle gc = GCHandle.Alloc(bytes); /*Берём массив*/
Your_Handler( ReArray(gc, 0, 4) ); /*Укоротим*/
Your_Handler( ReArray(gc, 4, 4) ); /*А теперь сложнее - сместим*/
Your_Handler( ReArray(gc, 8, 2) ); 
ReArray(gc, -12, 2); /*Вернуть позицию на "место" обязательно, сумма смещений 4+8 */
gc.Free();

Тут идея что offs - смещает массив "вперёд-назад", но 12 байт по адресу ppArray нужно потом вернуть назад (я так думаю что если не вернуть то возможен глюк). При смещении массива, если работать с "bytes" то в JIT-коде остаются прямые ссылки на pArray - и bytes начинает глючить (хотя фактически он обновился), но если сделать сast Target-у - "возвращается" bytes на заданное место (обновляет). Для х64 не тестил. Ещё под вопросом можно ли offs брать не кратным 4 или 8 (x64). Вроде работает, но будет ли исключение "unaligned read" не могу сказать. Как достоинство - unsafe можно избежать, но решение небезопасное. Понятно нужно расчитывать что для "шапки" при смещении несколько байт "вытираются".


"Легальный" путь создать массив на базе другого:

byte[] data = GetData(); // Получить массив который нужно разшить
your_handler( (new MemoryStream ( data, xfrom , xlen)).ToArray());      

Но он более требовательный по-памяти. Если есть перезагрузка использующая Stream - то можно использовать.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.