Вобщем реализовал так.
Перед запуском интента камеры, запоминаю текущее время в милисекундах в глобальной переменной
CurrTime = System.currentTimeMillis();
Затем в onActivityResult перебираю все файлы в галерее и удаляю те, у которых lastModified() >= CurrTime.
Потом обновляю галерею.
Cursor cursor;
int columnIndex;
String[] projection = {MediaStore.Images.Media.DATA};
cursor = managedQuery(MediaStore.Images.Media.EXTERNAL_CONTENT_URI,
projection, // Which columns to return
null, // Return all rows
null,
null);
columnIndex = cursor.getColumnIndexOrThrow(MediaStore.Images.Media.DATA);
cursor.moveToPosition(0);
do {
String imagePath = cursor.getString(columnIndex);
File F = new File(imagePath);
if(F.lastModified() >= CurrTime){
F.delete();
}
} while (cursor.moveToNext());
MediaScannerConnection.scanFile(this, new String[]{Environment.getExternalStorageDirectory().toString()}, null, null);