Доброго времени суток! Есть файл, planet.osm(link text), размер в сжатом виде 30Гбайт, по существу- это xml. Хочу реализовать на C# веб сервис, который предоставляет информацию из этого файла. И как следствие вопрос: каким образом добиться максимального быстродействия? Может стоит данные из файла положить в БД(только ms sql, никаких postgresql и пр.)? Может кто обрабатывал большие XML и может поделиться опытом. Спасибо за внимание!
2 ответа
Безусловно лучше один раз распарсить файл и положить данные в БД, чем каждый раз парсить целиком (в худшем случае) весь файл. Тем более файл не будет обновляться каждую минуту.
Если не нет под рукой СУБД, можно попробовать разбить на несколько файлов (с подкаталогами или без) и получить иерархическую БД. Например:
<xmlroot>
<subtag id="1" path="C:\xmldb\subfile1.xml"/>
....
</xmlroot>
А в subfile1.xml по адресу C:\xmldb\
<subtag id="1">
<Somedata>....</Somedata>
</subtag>
Главное тут, выдержать баланс между детализацией и производительностью.