используйте классическое решение. Заводите хеш (в javascript - это обычный ассоциативный массив), ключами которого будут элементы массива, а значениями - кол-во повторений. Дальше пробегаетесь по каждому массиву и если в хеше нет - добавляем ключ и значение 1. Если ключ уже есть - увеличиваем значение на 1.
Теперь, ищем в хеше те ключи, где значение равно единице. Это и будут уникальные значения. Этот способ быстрый и вряд ли существует быстрее (в любом случае нужно просмотреть все элементы массива).
Этот способ можно улучшить. Для элементов первого массива увеличиваем на 1, а для второго на 2. Тогда в хеше для уникальных значений будет либо 1 либо 2 (сразу знаем где) и 3 для общих элементов. Но если в массивах будут повторяющиеся элементы, тогда может быть бяка. Но решается очень просто - нужно брать не 1 и 2, а 1 и 1000000. И если повторов будет меньше миллиона - все ок.
Способ, описанный @TheDoctor прост, но при больших массивах будет сильнее тупить (потому что у него сложность квадратичная).
Есть ещё один способ, который заключается в том, что массивы нужно предварительно отсортировать, а потом организовать "паралельный проход" по двум массивам. Кодируется немножко сложно, но интересно.