Яндекс Шедевр теперь понимает русские метафоры в описаниях картин
Яндекс расширил возможности обработки текстовых запросов для Шедевра, добавив поддержку метафорических описаний на русском языке. Модель теперь корректно интерпретирует образные выражения вроде «закат как огонь» или «горе, что камень на груди».
Улучшение стало возможным благодаря переобучению эмбеддинга текстовой части модели на подборке русской поэзии и живописи. Система научилась связывать метафоры с визуальными концепциями, которые они олицетворяют.
Результаты на практике
Тестирование показало, что генерируемые изображения теперь точнее соответствуют замыслу, когда в описании используются фигуры речи. Пользователи отмечают более художественный результат при описании настроения и эмоций.
Функция особенно полезна для художников и дизайнеров, которые привыкли описывать изображение через образность, а не через прямые указания на цвета и формы.
Обновление развёрнуто на всех серверах Шедевра, никаких дополнительных настроек не требуется.