13

Все чаще появляются вопросы о "сломанных" / несовместимых / переставших работать модулях в Python и о сопутствующих этому ошибках:

  • ImportError: DLL load failed: ...
  • ImportError: Could not import ...
  • UnsatisfiableError: The following specifications were found to be in conflict: ...

и много других...

Описанные выше проблемы чаще всего возникают вследствие:

  • установки нового модуля
  • обновления Python
  • обновления модуля / модулей
  • обновления / изменения в VirtualEnv (виртуальной среде Python)
  • неправильного использования conda - например если использовать созданное по умолчанию виртуальное окружение base (оно используется conda для управления остальными вирт. окружениями), вместо явно созданного нового виртуального окружения

Вопрос:

как исправить данные проблемы и как избежать их появления в будущем?

1 ответ 1

11

После долгого "хождения по граблям" (как под UNIX* так и под Windows) я остановился на следующем подходе, который меня пока ни разу не подводил.

Основная идея в установке пакета Anaconda и создании независимых виртуальных окружений при помощи менеджера пакетов conda.

Anaconda проверяет совместимость версий модулей (включая зависимости). Это минимизирует вероятность поломать Python, просто установив или обновив некий модуль(и).

Алгоритм установки Anaconda и создания VirtualEnv (независимого виртуального окружения Python):

  1. Устанавливаем Anaconda или Miniconda
  1. Обновляем менеджер пакетов conda (NOTE: чтобы избежать проблем - всегда запускайте conda из Anaconda Prompt):

     conda update conda
    
  2. Никогда "не трогайте" Python, установленный по умолчанию в ОС или установленный другим программным обеспечением (например при установке Oracle Database, устанавливается отдельный Python, который будет использоваться Oracle). Под "не трогайте" Python я подразумеваю внесение любых изменений, затрагивающих Python или его модули:

  • установка новых модулей
  • обновление Python
  • обновление модулей
  1. Не утсанавливайте модули в виртуальную среду base созданную по умолчанию. Устанавливайте модули только в те виртуальные среды, которые вы явно создали (см. следующий пункт - 5). Виртуальное окружение base - это техническое окружение созданное conda для управления остальными виртуальными средами. Если не хотите сломать сразу все виртуальные окружения не трогайте base.

  2. Для каждого более или менее независимого проекта на Python создавайте независимое виртуальное окружение (VirtualEnv). Можно дополнительно создать одно общее окружение для общих целей. В данном примере я создам общее окружение с названием ml (Machine Learning) для версии Python 3.7 и основным набором модулей для работы над задачами машинного обучения (с поддержкой Nvidia GPU):

     conda create --name ml python=3.7 anaconda keras-gpu
    
  3. Для того чтобы запустить Python / Jupyter / iPython / etc. из созданного VirtualEnv можно воспользоваться одним из следующих варантов:

  • запустить Anaconda Prompt --> активировать в нём нужное вирт. окружение (conda activate <env_name>) --> запустить ipython / Jupyter-Notebook

  • использовать CMD / shell скрипт для запуска ipython из нужного вирт. окружения:

          @echo off
          set conda_dir=%USERPROFILE%\Anaconda3
          set env_name=%1
          if "%env_name%"=="" set env_name=ml
          set env_dir=%conda_dir%\envs\%env_name%
          rem cd %env_dir%
          call %conda_dir%\Scripts\activate.bat %env_dir%
          %env_dir%\Scripts\ipython.exe
    
      Пример вызова: `c:\bin\ipy_env.cmd ml37`
    
  • использовать CMD / shell скрипт для запуска Jupyter-Notebook из нужного вирт. окружения:

          @echo off
          set env_name=%1
          if "%env_name%"=="" set env_name=ml
          set env_dir=%USERPROFILE%\Anaconda3\envs\%env_name%
          rem cd %env_dir%
          call %USERPROFILE%\Anaconda3\Scripts\activate.bat %env_dir%
          start cmd.exe /k "%USERPROFILE%\Anaconda3\envs\%env_name%\Scripts\jupyter-notebook.exe"
    
      Пример вызова: `C:\bin\jupyter_env.cmd torch`
    
  • для проекта в PyCharm можно в качестве Project Interpreter указать существующий Conda Environment

  1. Чтобы установить новый модуль всегда попробуйте сделать это в следующей последовательности:
  • сначала всегда пробуем найти нужный модуль в репозитори Anaconda по умолчанию

          conda search <module_name>
    
  • если модуль найден - устанавливаем его в наш VirtualEnv (ml в нашем примере):

          conda install -n ml <module_name>
    
  • если модуль не найден, то пытаемся найти данный модуль в репозитории conda-forge (A community-led collection)

          conda search -c conda-forge <module_name>
    
  • если модуль найден - устанавливаем его в наш VirtualEnv (ml в нашем примере):

          conda install -c conda-forge -n ml <module_name>
    
  • только в том случае, если нужный модуль не найден ни в оригинальном Anaconda репозитории ни в conda-forge - используем pip install:

          conda activate ml
          pip install <module_name>
    
  1. чтобы обновить модуль используйте менеджер пакетов conda:

     conda update -n ml <module_name>
    

Полезные ссылки:

14
  • 1
    У меня с venv возникала только проблема обновления системного python. Решалось: python3 -m venv venv_dir && venv_dir/bin/pip install --upgrade wheel && venv_dir/bin/pip install --upgrade -r requrements.txt. Windows не использую, ничего не могу сказать. 13 июл 2019 в 12:47
  • @AntonAbrosimov, повторюсь: не надо трогать системный Python. "Minor" версию Python можно обновить в самом venv: conda update --all -n <venv> 13 июл 2019 в 12:49
  • Я не могу не трогать системный Python. Дистрибутив переехал, я переехал. Проблем с увеличением версии Python и моим кодом - не возникает. Анаконду использовал на старом компьютере (без AVX), чтоб TensorFlow руками не собирать. Для меня Анаконда - крайне избыточна. Плюс в продакшене у меня Анаконды нет, а разные версии Python - есть. Т.ч. лучше я раньше узнаю о проблеме, чем позже. 13 июл 2019 в 12:59
  • 1
    @MaxU А когда Oracle устанавливает python для себя? Это я как то пропустил.
    – 0xdb
    13 июл 2019 в 13:27
  • 1
    @0xdb, не знаю на счет последних версий, но при установке Oracle 11x Grid Infrastructure, внутри / под $ORACLE_HOME устанавливался Python для использования самим софтом Oracle. Многие скрипты Grid Infrastructure ьыли написаны на Python 13 июл 2019 в 13:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.