Битовые поля - конструкция уровня языка. Типичный процессор не имеет команд для прямой работы с битовыми полями. Поэтому компилятору придется выполнять набор битовых операций над содержащим битовое поле словом памяти для того, чтобы прочитать или записать значение этого битового поля. Вот на это и тратится дополнительное время.
Вот, например, как выглядит простое присваивание значения битовому полю
struct S
{
unsigned int a : 5, b : 10, c : 5;
};
...
struct S s;
s.b = rand();
Получаем
//call rand
and eax, 1023
sal eax, 5
mov edx, eax
mov eax, DWORD PTR [rsp+12]
and eax, -32737
or eax, edx
mov DWORD PTR [rsp+12], eax
Вся эта последовательность команд - это запихивание результата rand
в битовое поле.