Наделла о запрете дистилляции
Генеральный директор Microsoft Сатья Наделла обратил внимание на практику запрета дистилляции в ИИ-лабораториях. Дистилляция — это метод, при котором небольшие модели учатся на результатах работы крупных. Такие провайдеры, как OpenAI и Anthropic, запрещают её в своих условиях обслуживания, целясь в основном в китайские ИИ-компании.
В заметке в личном блоге Наделла назвал «ироничным» то, что эти же компании обучаются на общедоступных данных (предположительно в рамках добросовестного использования), запрещают дистилляцию и при этом учатся на взаимодействиях с клиентами. По мнению Наделлы, в результате экономическая ценность концентрируется у операторов инфраструктуры, а не у тех, кто действительно генерирует знания.
Потребляя интеллект, вы создаёте интеллект.
Сатья Наделла
«Обратный информационный парадокс»
Наделла называет происходящее «обратным информационным парадоксом». Компании платят за ИИ дважды: сначала деньгами, а затем — тем, что он именует «выхлопом», то есть исправлениями, оценками и данными об использовании, которые возникают при взаимодействии с ИИ-системами и раскрывают внутренние корпоративные знания. ИИ-провайдеры могут использовать всё это для обучения и потенциально создавать конкурирующие продукты.
Сам Наделла, конечно, располагает как раз той инфраструктурой, которая нужна компаниям, желающим контролировать собственный цикл обучения.