Надо найти находится ли объект в поле зрения. Для этого можно его вписать в сферу и остаётся только узнать видна ли сфера.
glm::mat4 model;
glm::mat4 view;
glm::mat4 projection;
view=glm::lookAt(pos, look+pos, up);
projection = glm::perspective(45.0f, (GLfloat)WIDTH / (GLfloat)HEIGHT, 0.05f, 1000.0f);
И в шейдере:
gl_Position = projection * view * model * vec4(position, 1.0);
Модель отвечает за сдвижение, растягивание, поворот, и т.д. Если не трогать её - выходит как будто её нет.
Надо определить видна ли сфера(и как можно быстрее сделать это). Проверить точку на попадание вроде можно просто выполнив перемножение заместо шейдера и посмотреть x,y,z влезли ли в экран. Но со сферой то что делать?