Проблема в том, что вы удаляете по индексу, а не по позиции. Когда вы добавляете фрагменты каждому из них присваивается свой индекс, они не будут изменяться, даже если вы их удаляете, т.е. Удаленик 2 из набора 1234 приведёт к 134, это норма, но изменятся позиции, были 1234, станет 123, где 2 с индексом 3, а 4 с индексом 3. Работайте с позициями и всё будет удаляться "Нормально".
Хотел ещё добавить, что, если ваши методы будут высоко нагружены, т.е. каждый фрагмент будет содержать большое количество данных, то ваша задумка может сильно нагрузить систему, в таком случае идеальным выходом будет использование ViewPager, в нём можно задать количество фрагментов одновременно загруженных в память, остальные же будут "Висеть" и подгрузяться, когда вы к ним будете адресовываться, также можете наследоваться от адаптера и написать свой адаптер и сделать список из фрагментов.
Почитайте этот урок: startandroid.ru/ru/uroki/vse-uroki-spiskom/… Там описано создание своего Adapter-а, так вот, чтобы реализовать удаление по нажатию на кнопку, вы можете в методе getView(int position, View convertView, ViewGroup parent) добавить обработчик для вашей кнопки и по нажатию на эту кнопку сделать parent.removeView(convertView); Только не забудьте обновить список методом notifyDataSetChanger();