2

Знакомлюсь с машинным обучением с помощью Python и библиотеки sklearn. Там есть 2 метода fit() и predict() Честно после некоторых сайтов понимаю,что они делают очень размыто.

lin_reg.fit(x_train[num_features], y_train)

fit(x,y) обучение (тренировка) модели на обучающей выборке X, y-цитата с форума

А что это значит?

1)модель смотрит на x_train, выдает рандомное число и сранивает его с y_train?

2)модель смотрит на x_train и y_train и пытается найти какие-то взаимосвязи или настроить коэффициенты?

Тут у меня и ступор.

predict(X) предсказание на данных X -тоже цитата.

То есть модель настроена и мы можем подавать ей входные данные?

y_pred=lin_reg.predict(x_train[num_features])

но меня тут смущает,почему для тренировки и предсказания мы испульзуем одни и те же данные? Разве не будет сбоя или модель не запомнит все ответы и выдаст 100% результат?

1 ответ 1

5

fit(x,y) обучение (тренировка) модели на обучающей выборке X, y-цитата с форума

А что это значит?

2)модель смотрит на x_train и y_train и пытается найти какие-то взаимосвязи или настроить коэффициенты?

Именно так. Модель пытается найти такие коэффициенты (ну, если примитивно говорить, реальные модели могут быть сильно сложнее, чем простой набор коэффициентов), чтобы минимизировать различие между предсказанием модели по данным x_train и реальным значением y_train.

predict(X) предсказание на данных X -тоже цитата.

То есть модель настроена и мы можем подавать ей входные данные?

Да, так.

y_pred=lin_reg.predict(x_train[num_features]) но меня тут смущает,почему для тренировки и предсказания мы испульзуем одни и те же данные? Разве не будет сбоя или модель не запомнит все ответы и выдаст 100% результат?

Достаточно сложная модель может запомнить все данные и давать на данных для обучения 100% точность, но цель же машинного обучения не в этом, а в том, чтобы модель хорошо предсказывала на тех данных, которых она ещё не видела. В данном случае просто проверяют, выучилась ли чему-то вообще модель, а то случаи бывают разные. Бывает, учишь модель, а она ничему не научилась вообще. Так что это просто примитивный "sanity check", а не реальная "боевая" ситуация. В реальной жизни, конечно, предсказывают уже на тестовых данных x_test.

А вообще тема машинного обучения довольно сложна, изучать её можно много лет. У вас вопросы совсем начинающего, постарайтесь почитать ещё какие-то статьи и литературу, там на все эти вопросы есть ответы. Лучше начать "от печки" - с теории, а не сразу применять библиотеки, не понимая, что они вообще делают.

P.S.

1)модель смотрит на x_train, выдает рандомное число и сранивает его с y_train?

В некоторых моделях машинного обучения внутри действительно происходит что-то подобное, но далеко не во всех. Модель может искать нужные коэффициенты довольно разными способами. Важно понимать, что тренировка модели - это обычно сложный итеративный процесс. Модель подбирает каким-то образом коэффициенты (бывает, что и случайным), смотрит расхождение с целью, если оно большое - "думает" куда двигаться, пробует немного другие коэффициенты и т.д., пока не достигнет подходящего результата, либо не выйдет за отведённое ей на обучение число итераций.

7
  • 1
    Спасибо большое за помощь! Теперь я могу идти дальше без страха непонимания. Дело в том,что я увидел бесплатный курс от сбербанка на машинное обучение, а так как меня эта тема очень заинтересовала,то я решил пройти(а что? не помешает же в жизни) Поэтому половину материала не полностью понимаю,просто не знаком с ним по опыту. Мне тоже такая фишка курсов не нравится- Вставлять библиотеки и рассказывать об одной функции, не объясняя,что же кроме нее есть и как все работает. Но в тему я обязательно углублюсь! Обещаю!
    – Тима
    30 июн 2020 в 15:10
  • @Тима Я тоже в общем начал в своё время изучать машинное обучение, заинтересовавших соревнованием от Сбербанка )) Чем могу всегда помогу. Спрашивайте. Но и постарайтесь читать теорию хотя бы в объёме Википедии, там много про что написано неплохо. Ну и других сайтов полно, специализированных.
    – CrazyElf
    30 июн 2020 в 15:18
  • А чем отличается обучение машинному обучение и нейросетям? Просто знакомство с этой сферой начал с нейросетей. То есть перцептроны, веса, градиентный спуск,квадратичная ошибка,обратное распространение ошибки, сигмоида и т.д. Сделал свою нейросеть,которая не обучалась,а деградировала :D в прямом смысле,с каждой эпохой MSE увеличивалась. А машинное обучение это как оказалось совсем другое. Мы здесь используем уже готовые нейросети. Наверное.машинное обучение это больше анализ данных. Где-то даже прочитал, что большая часть времени это сбор и обработка данных.
    – Тима
    30 июн 2020 в 15:31
  • @Тима Нейросети - это один из видов машинного обучения. Этот раздел ещё называется "глубокое обучение", потому что там много данных и сложные модели.
    – CrazyElf
    30 июн 2020 в 15:37
  • 2
    @Тима Пока вы по местному статусу не можете оценивать ответы, я за вас поставлю большой плюсик уважаемому CrazyElf за подробный и терпеливый ответ. От себя только добавлю, всегда помните, что все-таки не знания fit и predict делают человека специалистом в Mchine Learning, как не умение делать укол и клизму делают врача- врачем. Больше внимание уделяйте теории, которую на всяких скорокурсах стремятся опустить, что-бы не отпугивать аудиторию. А без твердого знания теории все инструменты, котороые к тому же меняются каждые 5-10 лет становятся полуигрушками. Удачи.
    – passant
    30 июн 2020 в 17:27

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.