Регуляторы начали проверять соответствие моделей заявленным характеристикам
Регуляторные органы ряда стран начали проверки соответствия характеристик коммерческих языковых моделей заявлениям производителей. Основное внимание уделяется точности вывода, скорости обработки и стабильности работы на специализированных задачах.
Инициатива вызвана случаями, когда компании заявляли о возможностях, которые модели не подтверждали в независимых тестах. Регуляторы опасаются введения в заблуждение корпоративных клиентов и госструктур.
Первые результаты показывают расхождения
Первый раунд проверок выявил расхождения между заявленной точностью и фактическими показателями у трети протестированных моделей. Погрешности варьировались от 5 до 20 процентных пункктов в зависимости от типа задачи.
Компании получили требования откорректировать маркетинговые материалы или подтвердить характеристики дополнительными тестами. Несоответствие может повлечь штрафы и ограничения на использование в критичных отраслях.
Ожидается, что проверки станут постоянной практикой, а стандарты оценки будут унифицированы в течение следующего года.