Новая модель Rnj-1 от Essential AI превосходит конкурентов
Модель Rnj-1, разработанная компанией Essential AI, демонстрирует выдающиеся результаты в тесте SWE-bench Verified. Этот бенчмарк оценивает способность ИИ самостоятельно решать реальные задачи программирования. Несмотря на компактные размеры — всего 8 миллиардов параметров — Rnj-1 набрала 20.8 баллов.
Для сравнения, модели аналогичного размера, такие как Qwen 3 (8B), показывают значительно более низкие результаты — всего 4.5 балла. Модель Rnj-1 была представлена Ashish Vaswani, соучредителем Essential AI и соавтором знаменитой статьи "Attention Is All You Need", которая положила начало архитектуре Transformer. Rnj-1 также основана на архитектуре Transformer, а именно на Gemma 3.
Особенности разработки Rnj-1
Основное внимание при разработке Rnj-1 было уделено улучшению предварительного обучения, а не методам пост-обучения, таким как обучение с подкреплением. Это позволило снизить вычислительные затраты на предварительное обучение благодаря использованию оптимизатора Muon.