심층 해설 · 약 5분 읽기
AWS 다중 턴 RL 가이드: 보상 설계·디코딩 조건·전체 비용을 함께 읽어야 하는 이유
SageMaker AI의 Wordle 사례는 gpt-oss-20b 개선을 보고하면서 보상 오류, 평가 설정 차이, 학습 토큰 외 AgentCore 비용을 설명한다.
- 사이트 게시일
- 원문 게시일
- 출처 확인일
AWS가 SageMaker AI의 다중 턴 강화학습에 관한 후속 실습 가이드를 공개했다. 10월 23일 기술 글은 gpt-oss-20b로 Wordle을 학습시키고 보상 설계의 실패, 운영 문제, 평가 조건을 설명한다. 기존 서비스에 관한 새로운 구현 근거이며, 학습 세션의 정식 제공을 다시 발표하거나 새 기본 모델을 출시한 것은 아니다.
뉴스 듣기
이 기사를 읽어 드리거나 뉴스를 계속 재생합니다.
읽기를 준비하는 중…
기기 음성
읽기는 브라우저나 기기에서 처리합니다. AISubHub는 내용을 오디오 API로 보내지 않습니다. 사용 가능한 음성과 잠금 화면 재생은 기기에 따라 다릅니다.
계속 재생할 때 짧은 구절이 반복될 수 있습니다.
핵심 요약
- 별도 보관한 128개 단어에서 AWS는 medium 추론·temperature 1.0일 때 해결률 61%→84%, 같은 온도의 low 추론에서는 15%→69%를 보고한다.
- 100단계 실행은 12시간 40분 동안 rollout 105,486회를 사용했고, 세 종류의 모델 토큰 요금 합계는 $338.50였다. AgentCore 약 $79는 별도다.
- 잘못된 보상 가중치는 더 늦은 해결을 선호하게 만들었다. 학습 중 검증의 최종 37%와 서비스 평가 84%는 설정이 다르다.
학습 목표는 정답 한 개가 아니라 에피소드 전체다
여러 단계로 움직이는 에이전트에는 모방할 답변뿐 아니라 일련의 의사결정에 대한 피드백이 필요하다. AWS 구조에서 SageMaker AI는 학습 작업과 정책 모델을 맡고, AgentCore 런타임은 Strands 에이전트·환경·채점을 호스팅한다. 에이전트는 정책 모델에 추측을 요청하고 Wordle 피드백을 받은 뒤 게임이 끝나면 보상 한 번을 보고한다. GRPO는 같은 단어의 여러 rollout을 비교해 LoRA 어댑터를 갱신한다. 다섯 글자와 여섯 번의 기회는 결과를 쉽게 채점하게 하지만, 이는 교육용 과제이지 실제 업무 흐름 검증이 아니다.
예제는 학습 단어 640개와 별도 보관 단어 128개를 분리한다. 각 학습 행의 정답 단어는 환경에만 전달되며 정책에 정답 힌트로 제공되지 않는다. 목표 응답이나 라벨링된 궤적도 없다. 학습은 100단계, 단계당 128개 단어, 단어당 8게임으로 진행하며 low 추론과 temperature 1.0을 쓴다. 이 구분은 중요하다. 학습 신호를 만드는 환경과 보상을 올바르게 설계할 책임은 여전히 고객에게 있다.
보상이 올라가도 의도한 행동은 나빠질 수 있다
첫 설계는 추측할 때마다 보너스를 누적했다. 그래서 패배한 게임에 +0.49, 첫 추측 성공에 +0.99, 세 번째 추측 성공에 +1.61을 줄 수 있어 더 좋은 결과보다 더 긴 경로를 보상했다. 최종 설계는 에피소드 결과가 우선하도록 바꾼다. 성공 결과 점수는 첫 추측의 1.55에서 여섯 번째의 1.05까지 낮아지고, 패배는 −0.5, 유효한 추측이 전혀 없으면 −1.5다. 단서 준수, 반복 방지, 정보 획득은 더 작은 shaping 보정에 반영된다.
shaping은 −1과 1 사이로 제한하고 성공 게임에는 0.04, 그 외에는 0.15를 곱한다. 성공에도 0.15를 쓰던 이전 방식은 여전히 느린 완료를 더 좋게 만들 수 있었다. 가중치를 줄이자 인접한 성공 결과의 점수 구간이 겹치지 않고, 최악의 성공도 성공 임계값 위에 남는다. AISubHub는 실제 궤적을 보고 보상의 순서가 의도한 행동과 맞는지 비교하는 것이 핵심 운영 교훈이라고 해석한다. 평균 보상 상승만으로 올바른 목표를 배웠다고 결론낼 수 없다.
대표 개선 수치는 추론과 샘플링 조건에 달려 있다
별도 보관한 128개 단어에서 medium 추론·temperature 1.0을 쓰면 기본 모델 61%, 학습 모델 84%로 23퍼센트포인트 개선된다. 학습 모델의 84%는 두 실행 80%와 88%의 평균이다. low 추론·temperature 1.0에서는 15%→69%, 즉 54포인트다. temperature 0에서는 그림이 low 2%→37%, medium 16%→30%를 보여 준다. 서로 다른 네 조건이며 하나의 보편적 개선치를 나타내는 교환 가능한 수치가 아니다.
학습 중 검증은 low 추론과 서비스가 고정한 temperature 0을 사용한다. 해결률은 90단계에서 48%로 최고점을 찍고 최종 37%지만, 서비스 대표 수치는 medium과 샘플링을 사용한다. 원문은 그 차이를 디코딩 조건과 명시적으로 연결한다. 저자들의 평가에서 low는 medium보다 게임당 샘플 토큰을 63–83% 적게 썼지만, 전체 프로젝트 비용이 그만큼 줄어든다는 보장은 아니다. 보관 평가 집합은 작고, AWS는 임의의 도구·언어·업무 과제에 대한 결과를 입증하지 않았다.
학습 토큰이 비용 전부는 아니다
보고된 100단계 실행은 12시간 40분, rollout 105,486회였다. 표에는 prefill 토큰 491,616,806개를 백만 개당 $0.12로 계산한 $58.99, sample 토큰 159,737,098개를 $0.30로 계산한 $47.92, train 토큰 643,308,554개를 $0.36으로 계산한 $231.59가 나온다. 합계는 $338.50이며 약 $339로 반올림된다. 이는 글 작성 당시 us-east-1의 GPT-OSS-20B 정가다. $ 기호를 그대로 보존하며 통화를 독자적으로 지정하거나 현재 모든 경우에 적용되는 견적으로 취급하지 않는다.
AgentCore CPU·메모리는 약 $79, 평가 작업은 약 $1.20가 각각 별도로 든다. prefill에는 대화 이력 재읽기가, sample에는 추론 토큰이 포함되고, 역전파 학습은 표에서 가장 큰 비용 항목이다. 따라서 긴 궤적은 여러 계량 항목에 영향을 준다. 가이드는 학습 후에도 AgentCore·MLflow·S3 자원이 남을 수 있다고 경고한다. AISubHub는 유용한 회계 사례로 보지만 실제 청구서를 확인하지 않았으며, 모든 잔존 자원과 후속 배포를 포함한 총비용을 확립하지 않았다.
유효한 실험도 런타임 실패로 무너질 수 있다
가이드는 정확도 제목 뒤에 가려질 수 있는 실패를 기록한다. 작업 역할에는 job.sagemaker.amazonaws.com 신뢰 주체와 AssumeRole·TagSession 권한이 모두 필요하다. handler 데코레이터만으로 서버가 시작되지는 않으며, 예제에는 BedrockAgentCoreApp과 가장 바깥쪽 entrypoint 데코레이터가 필요하다. 데이터·런타임·작업은 같은 Region에 있어야 한다. 학습 중 런타임을 다시 배포하면 rollout이 중단되어 작업 전체가 실패할 수 있다.
32개 동시 rollout은 캐시된 자격 증명의 만료 문제도 드러냈다. 저자들은 사전 갱신과 인증 실패 후 재서명을 설명한다. 토큰 예산이 부족하면 도구 호출을 할 공간이 없어지고, 너무 큰 학습률은 구조화된 호출을 일반 텍스트로 바꿀 수 있었다. 이 대응은 구현 경험이지 신뢰성 보증이 아니다. 우리는 본문 코드 예제를 읽었지만 의존성을 설치하거나 AWS API·smoke test를 실행하지 않았고, 어댑터를 학습하거나 수정 효과를 재현하지도 않았다.
Wordle 밖으로 옮길 수 있는 것은 무엇인가
가이드의 모델 표는 작성 시점과 범위가 제한된다. LoRA 기준 Nova2Lite·GPT-OSS-20B는 us-east-1과 us-west-2, Gemma4 31B instruction-tuned·Qwen3.6 27B는 us-west-2다. 모든 모델·Region·계정 지원을 뜻하지 않는다. 이 후속 가이드가 해당 모델이나 앞서 다룬 별도 학습 세션 서비스 출시를 다시 발표하는 것도 아니다.
다른 과제에 적용할 설계 원칙은 과제 결과, shaping 유인, 서비스 구성, 전체 자원 비용을 따로 검토하는 것이다. 업무 흐름에서 효과를 주장하려면 자체 환경, 타당한 보상, 대표성 있는 별도 평가가 필요하다. 이번에는 전체 글·표·필수 정적 그림 7개를 읽었다. 링크된 문서·논문·저장소·라이선스는 심사하지 않았고 성능·가격·보안도 독립 시험하지 않았다. 수치는 여전히 AWS가 제한된 Wordle 실험에서 보고한 결과다.
중요한 이유
이 가이드는 다중 턴 학습 프로젝트를 검토하는 구체적인 방법을 준다. 보상 순서를 점검하고, 같은 디코딩 조건에서 비교하며, 모델 작업과 에이전트 런타임을 함께 예산에 넣는 것이다. 다른 업무 흐름의 개선 여부는 그 흐름에서 직접 측정해야 한다.
제한 및 이용 가능성
AWS의 단일 Wordle 실험이며 별도 보관 단어는 128개, 학습 모델의 대표 해결률은 두 실행 평균이다. 전체 가이드와 정적 그림 7개를 검토했지만 링크된 문서·저장소·라이선스는 검토하지 않았고 학습·API·청구·배포 시험도 하지 않았다. 가격과 모델/Region 조건은 출처 작성 시점의 설명이다.
출처와 근거
AI 보조 편집 기사를 명시한 일차 출처와 대조합니다. 업체 주장은 출처를 밝히며 게재는 추천을 뜻하지 않습니다.