Исследователи Reversing Labs обнаружили две вредоносные ML-модели на Hugging Face, крупнейшей платформе для обмена AI-моделями. Несмотря на наличие в них вредоносного кода, инструменты безопасности Hugging Face не отметили их как «опасные».

❓ Как работает атака?
Злоумышленники использовали уязвимость Pickle-файлов – формата сериализации в Python, который может исполнять код во время загрузки модели. Хотя вредоносные Pickle-файлы встречаются не впервые, исследователи выявили новую технику обхода защиты Picklescan – сканера, используемого Hugging Face для выявления угроз.

🔍 Метод nullifAI
Атакующие упаковали модели в формате PyTorch, но вместо стандартного ZIP использовали 7z, что сделало их невидимыми для Picklescan. Более того, файлы содержали «сломанные» Pickle-инструкции, из-за чего сканер не мог их корректно проверить.

💡 Проблемы в безопасности Hugging Face
Эксперты считают, что Hugging Face полагается на черный список опасных функций, что не защищает от новых угроз. Picklescan проверяет Pickle-файлы перед анализом, но сам механизм десериализации исполняет команды по мере их считывания. Вредоносный код в начале потока может обойти защиту и остаться незамеченным.

🗣️ Reversing Labs сообщили о проблеме в службу безопасности Hugging Face. Модели удалили в течение 24 часов, а Picklescan обновили, чтобы он мог обнаруживать угрозы в «сломанных» Pickle-файлах.

Если вы работаете с AI-моделями, избегайте загрузки Pickle-файлов из непроверенных источников. Атаки на ML-платформы становятся все изощреннее — будьте внимательны!

#новости