3

Занимаюсь активным изучением направления Data Mining и в приложении к нему Python-ом (использую источники: coursera, открытое образование, книги - Доусон, Лутц и т.д.). Основы языка мне уже ясны. Решил для того чтобы как следует разобраться написать приложение для анализа большого объема данных с фондового рынка, как наиболее открытых и очищенных. В простом виде - на истории проблем не составило. Рабочий прототип на VBA тоже реализовал без проблем.

Но по мере усложнения задачи (увеличения объема информации и перехода на обработку поступающих данных в режиме онлайн) столкнулся с тем что не хватает знаний и непонятно в какую сторону копать. Надо изучать библиотеки. Вопрос на каких сосредоточиться (Nympy, matplotlib, pandas?)

Что нужно: Эффективно хранить и обрабатывать временные ряды данных, отрисовывать это все в виде графиков, отрисовывать результаты анализа в виде трех(более?)мерных графиков для поиска вершин, иметь какой-нибудь простецкий UI, принимать информацию от торговой программы (а-ля Quik), которая умеет отдавать данные только по DDE и ODBC (это для меня самая сложная задача сейчас), эффективно хранить полученные данные и результаты промежуточного анализа (сейчас это текстовые файлы - смотрю в сторону MS SQL Server Express).

4
  • 1
    Всё вами перечисленное - это не big data, это data mining. 25 апр 2018 в 16:19
  • Спасибо. Поправил
    – L Coder
    25 апр 2018 в 16:40
  • Слишком большой и общий вопрос.
    – A K
    25 апр 2018 в 16:47
  • ну и я на это времени не месяц потрать собираюсь. Я не жду ответа подробного развернутого ответа, а просто направление. Что-то вроде: отрисовывать графики: matplotlib, гуи строить - такая то библиотечка, данные перекидывать такой-то интерфейс и все. Не более.
    – L Coder
    25 апр 2018 в 16:53

3 ответа 3

5

Попробую ответить на некоторые из ваших вопросов.

  • Загрузка, выгрузка, первичная обработка табличных данных, визуализация - Pandas. Для чтения финансовых данных существует - pandas_datareader.
  • Для более сложных графиков может понадобиться matplotlib, seaborn, bokeh, plotly. С визуализацией четырех и более мерных графиков у вас наверняка возникнут трудности - ни одна из известных мне библиотек этого делать не умеет (это как проецировать 3D объект на прямую).
  • хранение данных: тут есть важный момент - если этими данными будут активно пользоваться 3+ пользователей, то стоит задуматься об использовании БД, т.к. там изначально отлично продуманы механизмы совместного доступа к данным и необходимые блокировки при записи. Если для одного пользователя, то можно попробовать HDF5, Feather, Parquet, etc. Кстати Pandas замечательно справляется со всем вышеперечисленным. NOTE: хранить данные в текстовых файлах не стоит - это путь сплошных мучений и проблем. Выбирайте хранилище, которое позовляет хранить нужные вам типы данных нативно - без преобразования в/из текста.
  • дальше можно (и стоит) развиваться в сторону машинного обучения и нейронных сетей - sklearn, tensorflow, keras, theano, etc.
1
  • Огромное спасибо!!! Все понял.
    – L Coder
    27 апр 2018 в 8:07
1

Небольшое дополнение. Если вы взялись изучать Data Mining, то ни Доусон, ни Лутц, ни Любанович вам в этом не помогут. Рекомендую обратить внимание на специализированные книги по теме Data Science с использованием Python. Для затравки:

1.Плас Дж.Вандер. Python для сложных задач: наука о данных и машинное обучение.

2.Луис Педро Коэльо, Вилли Ричарт.Как извлечь больше информации из данных путем построения практичных систем машинного обучения на языке Python.

3.Уэс Маккинли. Python и анализ данных.

4.Андреас Мюллер, Сара Гвидо.Введение в машинное обучение с помощью Python.

5.Себастьян Рашка. Python и машинное обучение.

6.Силен Деви, Мейсман Арно, Али Мохамед. Основы Data Sсience и Big Data. Python и наука о данных.

Если есть английский, то список будет намного шире, но думаю, на начальном этапе и этого более чем хватит. Удачи.

1
  • Большое спасибо за список книг! Эх, чувствую впереди у меня будет веселый и насыщенный год-полтора)))
    – L Coder
    27 апр 2018 в 8:09
0

Возможно поможет: По стеку NumPy, Pandas, Matplotlib и другим визуализациям очень хорошо помогает разобраться ресурс DataCamp.com

Я сейчас тоже активно изучаю это направление. По началу перебрал много всевозможных ресурсов и книг, но здесь более интересно и главное понятно объясняется и усваивается материал. И конечно же офиц. документация.

Из минусов: все как всегда платно и на английском.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.