오픈AI, 아스트라용 스킬·지침 재검토 권고…금지 규칙보다 완료 기준

금지 규칙보다 권한과 완료 기준

오픈AI 지침 내용은 AI타임스 보도로 전해졌다. 에릭 프로벤처는 기존 지침과 저장소 규칙을 정리할 시점이라고 밝혔다. 코딩 에이전트를 오래 쓴 개발자는 스킬 파일과 AGENTS.md, 개별 프롬프트를 쌓아뒀을 가능성이 높다는 것이다. AGENTS.md는 저장소 전체에 공통으로 적용되는 지침 파일이다.

같은 보도에서 스킬 설명이 길거나 스킬 수가 많고 설명이 서로 충돌하면 모델이 스킬을 고르기 어렵거나 불필요한 작업 호출이 생길 수 있다고 지적됐다. 대안으로는 점진적 공개가 제시됐다. 점진적 공개는 세부 지침을 처음부터 모두 싣지 않고 필요한 시점에 단계적으로 확인하게 하는 방식이다. 여러 작업 흐름을 담은 스킬은 첫 문서를 최소한의 라우터로 두고 세부 설명과 문서, 스크립트로 연결하도록 권고됐다.

과거 모델의 과잉 행동을 막으려 AGENTS.md에 넣은 강한 제약이 현재 모델에는 장애물이 될 수 있다는 지적도 같은 보도에 담겼다. 아스트라는 스스로 테스트하고 결과를 확인하는 경향이 강해 반복 테스트 요구가 불필요한 중단을 만들 수 있다는 것이다. 프로벤처는 금지 항목을 늘리기보다 허용 권한 범위를 밝히고 실행과 결과 확인, 오류 수정까지 포함한 완료 기준을 정의하라고 조언했다. 기존 프롬프트와 지침 점검을 아스트라에 맡기는 방법도 제시됐다.

벤치마크 성적과 한계

벤치마크 결과는 안돈랩스 평가를 더디코더가 전한 내용이다. 벤딩벤치는 모델이 500달러로 모의 1년간 자판기 사업을 운영하며 공급처 탐색과 협상, 주문, 판매가 설정을 수행하는 시험이다. 더디코더에 따르면 6회 실행 평균 최종 잔고는 아스트라 1만5515달러, 클로드 페이블 5.1 5422달러였다. 페이블의 최고 기록 9874달러는 아스트라의 최저 기록 1만3272달러에 못 미쳤다. 안돈랩스는 아스트라가 벤딩벤치 2 순위표 1위에 오른 첫 오픈AI 모델이며 2위와의 격차도 역대 최대라고 밝혔다.

조달 판단에서도 차이가 보고됐다. 안돈랩스 기록에 따르면 페이블의 코카콜라 캔 평균 매입가는 초기 90일 1.17달러에서 모의 1년 후반 2.21달러로 올랐다. 아스트라는 공급업체의 226.32달러 제안에 108달러를 고수해 거래를 성사시킨 사례가 기록됐다. 6회 실행에서 페이블은 폐업한 공급처에 45건을 선지급해 1만4331달러를 잃었으나, 아스트라는 폐업 사례 64건을 겪고도 확인된 선지급 손실이 없었다고 안돈랩스는 밝혔다.

드론벤치는 모델이 작성한 코드로 DJI 텔로 EDU 드론이 사무실을 자율 비행하며 특정 인물을 찾아 따라가게 하는 과제로 5개 단계로 구성된다. 안돈랩스는 아스트라의 최고 시도가 5개 하위 과제 모두에서 인간·AI 협업 기준선을 넘어선 첫 사례라고 밝혔다. 다만 아스트라의 드론벤치 성공률은 여전히 안정적이지 않다고 전해졌다. 안돈랩스는 경제적 성과와 정렬에 대한 평가가 벤치마크에서 관찰한 행동에 한정되며 다른 상황에 자동으로 적용되지는 않는다고 선을 그었다.