По работе необходимо спроектировать и написать систему онлайн мониторинга с коннектом к БД, чтобы с некоторой периодичностью вытаскивать актуальные данные и проверять их на некоторые шаблоны.
Данные примерно будут браться из MySQL БД за последний месяц-два месяца, это порядка 100.000-200.000 записей.
Т.к. я не программист, возникли вопросы в ходе проектирования данной программы:
- Где лучше лучше хранить данные в программе? Слышал, в Visual Studio можно подключать Data Source, типа сделать свою БД, но насколько это эффективно? Пробовал реализовать всё запросами, но это отрабатывает слишком долго, что не подходит под условия задачи.
- Т.к. актуальные данные будут сравниваться со всеми данными до этого, то после выгрузки новой порции актуальных данных (предположим, их несколько тысяч выгрузилось) будет идти сравнение со всеми данными, которые уже лежат в программе. Сравнение будет идти по нескольким параметрам. Какие эффективные алгоритмы есть?
Например: выгрузилась новая пачка клиентов из 2000 записей, в программе уже 200.000 лежит. Т.к. новых клиентов надо проверить по схожести с теми, что уже ранее были выгружены, то это 2.000 * 200.000 = 400.000.000 сравнений. И так каждую периодичность при новой выгрузке людей. Как это реализовать оптимальнее и с наименьшей затратой по времени?
P.S. Пишу на vb .net ибо привык к ней и так проще.