Комбинаторика триангуляции нисколько не изменится, если вы просто проигнорируете одну из 3D координат, следя при этом за тем, чтобы задача не выродилась. А именно, если, например, ваша плоскость вдруг параллельна оси Z, то нельзя игнорировать координату z
. Так как одновременно всем трем координатным осям ваша плоскость параллельна быть не может, координата, которую можно игнорировать, всегда существует. То есть задача элементарным образом сводится к 2D задаче триангуляции путем тривиальной ортогональной проекции на одну из координатных плоскостей.
Другое дело, что ваша задача триангуляции может содержать критерии оптимальности триангуляции, которые могут искажаться при выполнении вышеупомянутой проекции. Но вы ни слова об этом не сказали. И, если вас интересует лишь банальный ear-clipping, как вы написали в заголовке, то ни о чем подобном задумываться не нужно - задача сводится к 2D задаче тривиальным образом.
Неясно, правда, почему вы ведете речь об ear-clipping - алгоритме, который в общем случае очень неэффективен.