단신 · 약 1분 읽기
Transformers 5.20.2, 생성 입력 유형과 전문가 기울기 수정
멀티모달 형 변환, BF16 기울기, 입력 모달리티 선언을 다루는 유지보수 패치입니다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
Hugging Face는 10월 19일 Transformers 5.20.2를 공개했습니다. 원문은 네 가지 수정 사항을 설명하며 새 모델을 발표하지 않습니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- prepare_inputs_for_generation에서 생성 입력의 원래 유형을 보존해 멀티모달 모델의 문제를 수정합니다.
- bfloat16 전문가 병렬 처리에서 ep_size < fsdp_size일 때 전문가 기울기가 0이 되는 문제를 수정합니다.
- 텍스트만 지원한다고 잘못 보고하던 시각 언어 모델이 입력 모달리티를 선언합니다.
- eager_mask 경로에서 호스트에서 장치로의 복사를 피합니다.
중요한 이유
유지보수자는 영향받는 생성 및 분산 학습 회귀 검사를 다시 실행할 수 있습니다. 본 사이트는 새 능력 점수보다 호환성과 정확성을 업데이트 판단의 기준으로 봅니다.
제한 및 이용 가능성
이는 상위 프로젝트의 수정 설명입니다. 이 버전을 직접 실행하지 않았으며, 원문에는 정량적인 속도 향상이나 모든 멀티모달·분산 작업의 해결 보장이 없습니다.
출처와 근거
Hugging Face Transformers v5.20.2 release notes
원문 게시일: · 출처 확인일:
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.