Предложу свой вариант, как бы я это оптимизировал. Он покажется диким, но если нужна скорость, то приходиться иногда жертвовать красотой. (дальше по коду будут видны реальные числа - я просто нашел гуглом словарь английских слов на 349900 слов - для моих целей предостаточно).
Вначале нужно подготовить файл. (я предполагаю, что файл состоит из одиночных слов). Самое первое - сортируем слова в списке. Смотрим самое длинное слово. Скорее всего он не будет длиннее 16 символов. А теперь каждую строку добиваем пробелами до этой длины (на самом деле добивать нужно будет до 15, а то и 14 - у нас же есть переводы строк - в любом случае hex редактором проверяем, что каждое слово начинается с позиции, кратной 16).
Почему 16? Просто это число - степень двойки, что положительно скажется на производительности. Но может быть Вам подойдет 32 или 64. Но 64 - это уже очень много.
Файл теперь конечно станет больше (может даже в раза два).
Дальше загрузка. В коде создаем массив символов нужно размера (по размеру файла, количество_слов*16) и в один прием загружаем туда словарь. Это будет значительно быстрее, чем загрузка по одному слову. (Загрузка по одному слову в dict будет скорее всего иметь логарифмическую сложность. А этот способ - почти линейную).
Теперь нужно решить две задачи - поиск слова по индексу и поиск слова в словаре. Первая задача решается просто. Если знаем индекс, то просто умножаем его 16 и это будет индекс в массиве символов. Копируем 16 символов и отрезаем по конечному пробелу.
Поиск слова в словаре - также не сложно. На первый взгляд может показаться, что нужно пробегать по всему списку (а это долго). Но я не даром писал, что список нужно отсортировать. В этом случае можно применить бинарный поиск. Но так как это словарь, то можно применить более хитрый способ - индекс. Такой файл можно подготовить заранее - пробегаем по всему списку слов и выписываем номера строк, в которых изменяются первые две буквы. Для английского это будет 676 строк вида
aa 0
ab 82
ac 1216
ad 2904
...
zz 349895
(но там будет только 635, 41 комбинация не встречается). Самые популярные комбинации - ca, re, ma, co un (по нарастанию).
для русского - чуть больше 1000 (33*33 = 1089, но я не помню слов для комбинаций ъъ или ыъ. Но с индекса исключать не стоит).
Поиск будет значительно быстрее - так как сразу находим небольшой участок. ( у меня получилось, что самый большой участок - un
- 11780 слов 115 комбинаций больше 1000 слов.
Дальше об оптимизациях. Если посмотреть на статистику, то слов, которые короче 8 символов достаточно много - порядка 40 процентов. Поэтому можно разбить слова на две группы - те, которые влазят в 8 символов и те, которые влазят в 16 (тут же и группу на 32, но я таких слов не нашел:) ). А в индексе писать нужно будет ещё и номер группы.
Как это реализовывать в коде - я оставлю на самостоятельную работу.