Китайская модель на равных с флагманом Anthropic в тестах на написание кода
Компания Snowflake провела практическое сравнение двух моделей — китайской GLM-5.2 от Zhipu и Claude Opus 4.7 от Anthropic. Результаты оказались неожиданными: при значительно более низкой стоимости GLM-5.2 показала сопоставимую производительность.
В ходе тестирования модели выполняли 103 задачи по написанию кода, совместимого одновременно с DuckDB и Snowflake. Каждое задание запускалось трижды. Когда у каждой модели было по три попытки на задачу, итоговые показатели оказались практически идентичными: 66% решённых задач у GLM-5.2 против 67% у Opus 4.7.
Однако точность с первой попытки заметно различается: Opus справился в 53,7% случаев, тогда как GLM — лишь в 47,6%. Это указывает на меньшую стабильность результатов китайской модели. Кроме того, GLM-5.2 в среднем совершала 99 запусков на задачу против 80 у Opus и израсходовала 860 миллионов токенов — почти вдвое больше, чем 439 миллионов у конкурента.
Сильная сторона GLM-5.2 — способность надёжно проверять код одновременно на обеих платформах (DuckDB и Snowflake). По словам CEO Snowflake Шридхара Рамасвами, именно поэтому некоторые задачи удалось решить только с помощью GLM.
Слабые места модели — склонность слишком рано сдаваться и зацикленность на проверке несущественных деталей. В одном из заданий GLM-5.2 совершила 411 инструментальных вызовов за 24 минуты, проверяя количество строк, распределения, нулевые значения и типы столбцов, но в итоге провалила все три попытки. Opus справился с той же задачей за 49 вызовов и 9 минут.
Предположение, что GLM генерирует более чистый код, не подтвердилось, отметил Рамасвами. Большее количество проверок не приводит к более корректным результатам. Тем не менее, команда Snowflake впечатлена возможностями GLM-5.2 и планирует сделать её доступной для клиентов.
Ценовая политика Китая создаёт реальное давление на западный рынок ИИ
Результаты тестирования приобретают особое значение в контексте стоимости. GLM-5.2 стоит $1,40 за миллион входных токенов и $4,40 за миллион выходных, согласно официальному прайс-листу Zhipu. Некоторые сторонние провайдеры предлагают ещё более низкие цены. Для сравнения: Claude Opus 4.7 обходится в $5 за входные токены и $25 за выходные, а GPT-5.5 — $5 и $30 соответственно.
| Модель | Вход | Кэшированный вход | Выход |
|---|---|---|---|
| GLM-5.2 | $1,40 | $0,26 | $4,40 |
| Claude Opus 4.7 | $5,00 | $0,50 (Cache Hit) | $25,00 |
| GPT-5.5 | $5,00 | $0,50 | $30,00 |
| GPT-5.4 | $2,50 | $0,25 | $15,00 |
Более высокое потребление токенов у GLM несколько сокращает ценовой разрыв. Но Anthropic и OpenAI уже сталкиваются с серьёзным ценовым давлением, причём именно в сфере программирования — ключевом направлении, на которое делают ставку обе западные лаборатории.
Если это давление замедлит рост выручки или, что хуже, приведёт к её сокращению, и без того перегретый рынок ИИ столкнётся с настоящим стресс-тестом. Оценки OpenAI и Anthropic основаны на предположении, что доходы продолжат стремительно расти. Эти оценки, в свою очередь, привязаны к миллиардным инвестициям в инфраструктуру — от дата-центров до заказов на чипы.