0

Не могу решить,куда лучше всего записывать кучу строк - в БД или обычный .txt файл.Строк может быть от 1 ляма.После записи,необходимо фильтровать их: удалять дубли,фильтр по слову...

P.S - строки - обычные ключевики в 10-20 символов.Их придется иногда чистить от дублей и фильтровать по слову 'скачать',например.Строк будет от 1 миллиона до ...

2
  • 3
    в БД... Иначе, если их потом "удалять дубли, фильтровать" - будет больше возни
    – cyadvert
    19 окт 2015 в 13:47
  • Опишите вашу задачу чуть подробнее, пожалуйста. Что за строки, какие операции вы хотите с ними выполнять, и, вероятно, захотите в будущем.
    – Sergiks
    19 окт 2015 в 14:10

1 ответ 1

1

Зависит от специфики задачи.

Скажем, для работы со списками целочисленных id для одного моего проекта, оказалось гораздо лучше хранить их в бинарных файлах, в двухэтажном дереве папок (для горизонтального масштабирования) безо всяких баз данных. Задачи – экономное хранение, сравнение, сортировка.

Хотя всё это делает MySQL, который я и использовал поначалу, позже выяснилось, что с ростом объёма и нагрузки для моих примитивных задач эффективнее файловое решение, узко заточенное под предсказуемые описанные запросы.


удалять дубли,фильтр по слову

Как вариант, можете строить собственные индексы. Сразу после получения строк, раз пройтись по ним, составив словарь встреченных слов, (корней, или подстрок, если словоформы могут варьироваться и нужен нечёткий поиск), убрать повторы и пр. После этого сможете быстро находить строки (их offset в байтах). Т.е. если задача очень узкая, несложно разработать решение заточенное именно под задачу, оптимизировав всё и вся, и избавившись от целой БД.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.