Ищу способы сделать хайрезные картиночки на фотоматрицу с низким разрешением. Одна из идей - вращать объектив, получая субпиксельные сдвиги пикселей, которые потом склеить в большую картинку. Далее я опишу процесс симуляции этого действа.
Берем обычную картинку, это у нас будет реальная сцена:
Затем вращаем и уменьшаем ее как-то так:
for angle in {1..360}; do convert tree.jpg -gravity center -rotate $angle -crop 512x512+0+0 +repage -resize 32x32 low/$angle.jpg;done
Получаем на выходе кучу маленьких картинок:
Примерно такой датасет я планирую получить с реальной камеры, которая вращается.
Затем я делаю апскейл картинок:
for angle in {1..360}; do convert low/$angle.jpg -gravity center -rotate -$angle -crop 32x32+0+0 +repage -resize 512x512 hi/$angle.jpg;done
Возможно здесь уже кроется ошибка, так как при обрезке до 32 пикселей, возможно субпиксельное смещение изображения. Однако я делал похожий вариант с рендерингом векторной графики и тоже получил подобный результат.
Тем не менее, если "наивно" склеить все картинки, то получается мыло. Клей выглядит так:
naive.c
#include <stdio.h>
#include <stdint.h>
#include <string.h>
#include <stdlib.h>
#define WIDTH 512
#define HEIGHT 512
#define PIXELS (WIDTH * HEIGHT)
#define BYTES (WIDTH * HEIGHT * 3)
int main(void)
{
uint32_t *sum = malloc(BYTES * 4);
uint8_t *inbuf = malloc(BYTES);
memset(sum, 0, BYTES * 4);
int q, count = 0;
while(1)
{
if(fread(inbuf, 1, BYTES, stdin) < 1)
{
break;
}
for(q = 0; q < BYTES; q++)
{
sum[q] += inbuf[q];
}
count++;
}
for(q = 0; q < BYTES; q++)
{
inbuf[q] = sum[q] / count;
}
fwrite(inbuf, 1, BYTES, stdout);
return 0;
}
Иными словами, простое сложение пикселей.
На выходе получаем:
Что далеко от начального варианта.
Вот еще вариант, но уже с рендерингом векторной информации:
Возможно, тут субпиксельная информация некорректна из-за алгоритма антиалиасинга
А вот результат:
Для сравнения, первый кадр, просто растянутый бикубиком:
Как видно, разницы почти нету. Вопрос: как реконструировать картинку, увеличивая разрешение? Современные методы супер-резолюшена основаны на нейросетях, а мне же нужны реальная информация из соседних кадров. В какую сторону двигаться мне?