Краткая новость · Около 1 мин чтения
Transformers 5.20.2 исправляет типы входов и градиенты экспертов
Исправлены мультимодальные преобразования типов, градиенты BF16 и объявления модальностей.
- Опубликовано здесь
- Дата источника
- Источник проверен
Hugging Face выпустила Transformers 5.20.2 19 октября. Примечания описывают четыре исправления, а не запуск новой модели.
Слушать новости
Прослушайте эту статью или включите новости подряд.
Подготовка чтения…
Голос устройства
Речь обрабатывает браузер или устройство. AISubHub не отправляет текст в аудио-API. Доступные голоса и работа при заблокированном экране зависят от устройства.
При продолжении короткая фраза может повториться.
Кратко
- При генерации сохраняются типы входов внутри prepare_inputs_for_generation, что устраняет проблемы мультимодальных моделей.
- Исправлены нулевые градиенты экспертов при параллелизме bfloat16, когда ep_size < fsdp_size.
- Визуально-языковые модели, ошибочно указывавшие только текст, теперь объявляют свои входные модальности.
- Путь eager_mask избегает копирования с хоста на устройство.
Почему это важно
Сопровождающим стоит повторить затронутые проверки генерации и распределённого обучения. По нашей оценке, критерии обновления здесь — совместимость и корректность, а не новая оценка возможностей.
Ограничения и доступность
Это заявления исходного проекта. Мы не запускали версию. Примечания не дают измеренного ускорения и не гарантируют исправление всех мультимодальных и распределённых нагрузок.
Источники и подтверждения
Дата источника: · Источник проверен:
Материалы подготовлены с помощью ИИ и сверены с указанными первоисточниками. Заявления поставщиков атрибутированы; публикация не означает рекомендацию.