В строке, которую вы задаете изначально происходят преобразования и она попадает в функцию не той, какую вы видите. В этой строке надо экранировать символ \
тоже.
function replaceLetters(str) {
return str.replace(/a\\\\\\a/g, "!")
}
console.log(replaceLetters(`a\a a\\a a\\\a`));
console.log(`a\a a\\a a\\\a`);
console.log(replaceLetters(`a\\a a\\\\a a\\\\\\a`));
console.log(`a\\a a\\\\a a\\\\\\a`);
Однако, есть возможность оставить строку без изменений используя в качестве тега шаблона (строки в ``) String.raw:
function replaceLetters(str) {
return str.replace('a\\\\\\a', "!")
}
console.log(replaceLetters(String.raw`a\a a\\a a\\\a`)); // Передаем в функцию строку в неизменном виде!