8

У меня есть жутко секретный whl-пакетик mysecretproject, который, условно говоря, лежит в моём маленьком локалхостовом PyPI (каталог ли это, или pypiserver, или ещё что-то — неважно, могу использовать что угодно для решения задачи, хотя чем проще и изолированнее, тем лучше) и устанавливается оттуда. Предположим, что точная версия пакета мне неизвестна (его могу делать не я, например), и мне нужно установить просто последнюю доступную версию через pip.

Пакет настолько секретный, что даже имя пакета mysecretproject светить нигде не хочу кроме этого вопроса, поэтому на pypi.org нет и никогда не будет даже пустой заглушки.

Проблема в том, что pip в любом случае стучится одновременно и на локалхостовый PyPI, и на публичный https://pypi.org/simple, чтобы попытаться достать последнюю версию whl-пакета оттуда.

Однако может случиться беда, и сверхсекретное название пакета случайно утечёт в интернетики в одном из моих случайных скриншотов.

Злоумышленник, налюбовавшись на скриншот, заливает на pypi.org mysecretproject-99999.999.999, в итоге мой pip ставит «более новую» версию пакета не с локалхоста, а из pypi.org — и всё, моя система скомпрометирована! (UPD 2021: Я же говорил!) (UPD 2023: Ну вот опять я же говорил!) Хочется как-то пофиксить эту проблему.

При этом прописать --no-index я тоже не могу, потому что зависимости нужно ставить как раз из pypi.org (предположим, что они белые и пушистые, да). Точное имя whl-файла я заранее тоже не знаю (версия пакета условно произвольная и заливается из другого моего локалхоста, например), поэтому просто скормить в pip прямой путь к whl-файлу я тоже не могу.

Как бы мне вывернуться так, чтобы pip ставил один-единственный мой пакет из локалхоста, а все его зависимости подтянул из pypi.org?

(Разработчики pip уже говорили, что --find-links и аналоги занимаются оптимизацией, а не безопасностью, но безопасных аналогов мне найти так и не удалось)

8
  • Можно попробовать нарисовать костыль, который вычислит точное имя whl-пакета, сравнив доступные в каталоге версии по PEP 440, и скормит его в pip, но это как-то не выглядит адекватным
    – andreymal
    17 сен 2018 в 8:25
  • Есть временный костыль типа pip install `ls -t /path/to/wheels/mysecretproject-*.whl | head -n 1`, но это тоже лютый неадекват
    – andreymal
    17 сен 2018 в 11:27
  • Решаемая задача допускает двойной запуск pip? Сначала установить зависимости модуля с PyPI, а затем следующим запуском установить целевой модуль из указанного репозитория pip install --index-url http://localhost:8080/simple/ mysecretproject 27 авг 2019 в 20:40
  • @ДмитрийПавлов получается, писать парсер зависимостей whl-пакета?)
    – andreymal
    27 авг 2019 в 20:57
  • Из сообщения я понял, что секретный модуль будете использовать не только вы. О какой секретности вообще тогда речь...Если же этот модуль вы используете лично, то может его и распространяемым модулем не стоит оформлять? Запакуйте его со всеми зависимостями каким-нибудь cx_Freeze или pyinstaller и запускайте на здоровье на любой машине (делают .exe или .sh из куска интерпретатора и всеми используемыми модулями, частично скрывают содержимое). Для этого способа есть статья на Хабре про использование хуков и дешифровщика при импорте модуля (скрывали исходники от заказчиков). 27 авг 2019 в 21:14

1 ответ 1

2

Проблема в том, что pip в любом случае стучится одновременно и на локалхостовый PyPI, и на публичный https://pypi.org/simple, чтобы попытаться достать последнюю версию whl-пакета оттуда.

Злоумышленник, налюбовавшись на скриншот, заливает на pypi.org mysecretproject-99999.999.999, в итоге мой pip ставит пакет не с локалхоста, а из pypi.org — и всё, моя система скомпрометирована!

devpi решает обе проблемы.

devpi может проксировать запросы на pypi.org: при запросе пакета devpi проверит, доступен ли пакет локально; если нет, то devpi перенаправит запрос на pypi.org. Чтобы сконфигурировать такое поведение, локальный индекс должен наследовать root/pypi. Если индекс не наследует root/pypi, установлены могут быть только пакеты, залитые непосредственно на индексе (индекс полностью изолирован).

Установка и настройка сервера подробно описана в документации; чтобы перманентно прописать установку с локального зеркала, открой $HOME/.pip/pip.conf и добавь:

[global]
index-url=http://127.0.0.1:9000/me/myindex/+simple

Поскольку используется index-url, pip будет использовать локальный репозитарий в качестве основного и единственного, игнорируя pypi.org. Дальше пакеты устанавливаются (или не устанавливаются) в зависимости от конфигурации индекса devpi (наследование root/pypi, описанное выше).

От ситуации, когда злоумышленник залил вредоносную копию mysecretproject на pypi.org, защищает опция индекса mirror_whitelist. Если имя пакета НЕ добавлено в mirror_whitelist, то devpi позволит установить только версии пакета, залитые на индексе, игнорируя любые версии, залитые на pypi.org. Имена пакетов никогда не добавляются в mirror_whitelist автоматически (это можно сделать только вручную), так что все залитые на локальных индексах пакеты изначально защищены от спуфинга.

2
  • Прикольная штука, но по-моему это чрезмерное усложнение инфраструктуры. А ограниченные возможности по контролю доступа и невозможность слушать UNIX-сокет могут привести к другим потенциальным проблемам безопасности — например, когда на сервере несколько независимых пользователей (впрочем, то же самое относится и к pypiserver тоже)
    – andreymal
    8 окт 2018 в 8:25
  • Связанный вопрос: ru.stackoverflow.com/questions/1033317/… 14 окт 2019 в 6:59

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.