Platforma выпустила набор инструментов для аудита безопасности языковых моделей
Компания Platforma анонсировала специализированную платформу для проведения аудитов безопасности больших языковых моделей. Набор инструментов предназначен для выявления уязвимостей в промтах, проверки устойчивости к атакам и анализа утечек обучающих данных.
Инструменты работают как с открытыми моделями, так и с коммерческими системами, позволяя организациям проводить независимое тестирование перед развёртыванием в production. Платформа предлагает автоматизированные тесты и мануальные проверки через командный интерфейс.
Возможности аудита
Система включает тестовые наборы для проверки на инъекции в промты, утечки конфиденциальной информации и некорректное поведение при обработке специальных данных. Результаты аудита генерируются в стандартизированном отчёте с рекомендациями.
Platforma интегрирует инструменты с популярными фреймворками для развёртывания моделей, облегчая внедрение проверок в pipeline разработки. Платформа уже получила одобрение от нескольких финансовых и государственных организаций.
Компания предоставляет документацию и примеры для различных типов моделей, включая рекомендации по исправлению обнаруженных проблем.