Рынок данных для обучения расслоился на премиум и бюджетный сегменты
В первый сегмент попадают кураторские коллекции с аннотациями экспертов, проверкой фактов и гарантией правообладания. Во второй — массивные неструктурированные данные из соцсетей, форумов и архивов, которые компании закупают за сотые доли цены премиум-наборов.
Разделение на два уровня обусловлено регуляторными требованиями. Компании, которые обучают модели для критичных приложений в медицине и финансах, вынуждены использовать данные с полной цепью верификации. Стартапы и исследователи могут позволить себе сырые датасеты.
Новые игроки на рынке
Появились специализированные компании-агрегаторы, которые собирают сырые данные, применяют базовую очистку и перепродают партиями. Это создало промежуточный сегмент по цене между премиумом и подвалом.
Цены на премиум-датасеты выросли в два раза за год, так как спрос превышает предложение и разработчики нейросетей конкурируют за качественные тренировочные примеры. Бюджетный сегмент, наоборот, дешевеет из-за избытка предложения.
Аналитики предполагают, что рынок синтетических данных, сгенерированных самими моделями ИИ, в течение двух лет займёт значительную долю у обоих сегментов благодаря универсальности и низкой стоимости.