심층 해설 · 약 3분 읽기
StaGPO는 빠진 모의 사용자 발언을 두고 에이전트 학습을 시험한다
필요와 정보 공백별로 턴을 묶는 방법이다. 효과는 학습 구성에 달려 있으며 인간 대화 품질을 입증하지 않는다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
10월 16일 최초 제출 노터데임대 프리프린트는 모의 응답 문장을 가린 조건에서 StaGPO를 제안하고 Qwen3.5 성과와 한계를 보고한다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- ToolWOZ 마스크 0.4에서 2B 구성은 76.8%, 기초 시작 GRPO 72.0%, InfoPO 74.0%다.
- 자체 생성 33개 대화의 지도 초기 학습을 포함한다. 없으면 StaGPO 67.1%로 GRPO 72.0%보다 낮다.
약한 사용자의 의미
실제 고객의 능력을 분류하지 않는다. 시뮬레이터의 과제·지식·목표를 고정하고 일부 문장을 명시적 안 들림 표식으로 바꾼다. 첫 메시지는 가리지 않으며 모의 사용자는 완전한 자기 기록을 본다. 주 시뮬레이터는 gpt-oss-120b, 명목 비율은 0·0.2·0.4다.
분리하는 것은 전달 채널 손실이지 인간의 모든 모호함·오류·모순이 아니다. 표식 없는 누락도 시험하지 않았다. 비사고 Qwen3.5-2B와 4B를 LoRA로 ToolWOZ 예약 및 tau2 소매에 학습하며 일반 채팅 구독을 평가하지 않는다.
노출과 질문 증가는 충분하지 않았다
기본 GRPO에서 고정·혼합 마스크와 커리큘럼은 완전 사용자 학습보다 잡음 이상으로 안정적 우위를 보이지 못했다. 마스크 후 하락이 작아도 원래 점수가 낮아서일 수 있다. 초기 수준과 누락 입력 성과를 같이 비교해야 한다.
질문을 늘리라는 지시도 이 설정에서 신뢰할 성과를 주지 못했다. 그렇다고 확인이 쓸모없다는 뜻은 아니다. 검토된 반사실 대화 접두에서는 목표 질문 하나가 일부 손실을 되찾았다. 저자는 초기 라벨 정렬 오류도 수정했다. 질문 수보다 실제 요구를 채우는지 봐야 한다.
상태는 정답이 아닌 그룹 키
StaGPO는 행동 전에 필요·부족 정보·최근 도구 결과를 숨은 상태로 쓴다. 도메인 키는 같은 과제의 다른 경로에서 알려진 필드와 결과 유형이 비슷한 턴을 묶으며 전체 대화나 슬롯 값의 일치를 요구하지 않는다.
그룹 상대 할인 보상으로 만든 단계 이점을 GRPO 에피소드 기여도에 추가하고 그룹이 없으면 원래 기여도를 쓴다. 상태를 무오류 정답으로 감독하지 않아 일부 내용이 틀려도 일관된 키는 도움이 될 수 있다. 상태 출력과 행동 학습 배정 변경은 다른 개입이다.
76.8%의 초기 조건
ToolWOZ 마스크 0.4의 76.8%는 GRPO 72.0%보다 4.8%포인트, InfoPO 74.0%보다 2.8%포인트 높다. 효율·만족도가 아니라 과제 성공이다. 더 강한 교사 없이 자체 성공 대화 33개로 지도 초기 학습한다.
같은 시작점에서 상태만 쓰기는 60.1%, 그룹화는 76.8%다. 지도 초기 단계가 없으면 67.1%로 기초 GRPO 72.0%보다 낮다. 초기화와 무관한 향상은 증명하지 않는다. tau2 소매 4B의 차순위 혼합 기준과 차이는 1포인트로 잡음 안이다.
인간 사용 전 남은 검증
StaGPO ToolWOZ는 검증 30·시험 70과제, 과제당 두 평가다. 일부 2B 구성은 세 학습 실행이지만 많은 4B는 한 번이다. 과제 쌍 오차는 과제와 시뮬레이터 변동이지 자동으로 학습 실행 불확실성은 아니다. 마스크 비율 전이도 같은 모의 규칙 안이다.
최종 상태 보상은 행동 전 확인 등 모든 상호작용을 측정하지 않는다. 당사는 표식 없는 누락·모순·동의·비싼 오류를 추가 시험으로 제안할 뿐 입증된 기능이라 하지 않는다. 인간·다른 시뮬레이터·학습된 그룹화는 열려 있고 API 요금이나 구독 권리 변경도 없다.
중요한 이유
AISubHub 분석: 정보 손실, 상태, 유용한 행동과 성공을 분리해야 한다. 질문이나 상태 글을 늘리는 것만으로 학습 기여도 배정을 대체할 수 없다.
제한 및 이용 가능성
22쪽 v1 전문·부록·이력을 읽었다. 심사 중인 저자 시뮬레이션으로 인간 시험이나 당사 재현이 아니다. 한 계열 두 크기와 도메인별 키가 일반화를 제한한다.
출처와 근거
원문 게시일: · 출처 확인일:
추가 자료
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.