직접 비교해 봤어요

같은 자료, 같은 AI(Claude Sonnet 5)로 그냥 물어본 답과 Agentown 업무 초안대로 일한 답을 비교했어요. 2026-09-27 실험이에요.

결과

건수를 틀린 답

그냥 질문7/40

Agentown0/40

정확성 (10점, 이름 가리고 채점)

그냥 질문6.98

Agentown8.71

더 나은 답으로 뽑힘

그냥 질문10회

Agentown40회

평균 길이

그냥 질문866자

Agentown1,265자

팀 답이 1.5배 길어요. 길이는 좋고 나쁨이 아니라 참고로 보여 드려요.

이긴 곳, 진 곳

과제그냥 질문 : 팀
상품 리뷰 20개 불만 유형 분류6 : 14
설문 주관식 15개 주제별 정리3 : 15
FAQ만 근거로 메일 5통 답장0 : 3
카페 리뷰 12개 칭찬·불만 정리1 : 2
2주 판매 CSV → 주간 매출 보고서0 : 3
회의 메모 → 할 일 표0 : 3

9월 26일 첫 실험에서는 짧은 일(매출 보고서, 회의 메모)에서 그냥 물어본 답이 나았어요.팀 답에 검수 기록이 섞이고 ‘다음 주 중’ 기한을 ‘미정’으로 적었기 때문이에요. 이를 고친 뒤 9월 27일 같은 과제로 다시 비교한 결과가 위 표예요.

어떻게 쟀나

비교
같은 입력 자료, 같은 모델(Claude Sonnet 5). 한쪽은 요청 문장만, 한쪽은 Agentown이 역할·절차·검수로 나눈 업무 초안으로 실행했어요.
횟수
과제 6개, 총 52쌍. 건수를 세는 과제 2개는 20번씩(40회) 돌렸어요.
건수 오류
유형별 건수를 더한 값이 원래 개수(20개, 15개)와 다르면 오류로 셌어요. 사람 판단 없이 계산했어요.
이름 가리고 채점
Claude Opus가 어느 쪽인지 모른 채 무작위 순서로 두 답을 보고 10점 만점으로 채점하고 더 나은 쪽을 골랐어요.
원문 인용
원문에 없는 인용: 그냥 질문 4/405, 팀 0/665이에요.
한계
한국어 과제 6개, 모델 하나, 채점도 AI예요. 우리가 만든 과제라 우리에게 유리할 수 있어요.

실제 팀 결과물

위 실험에서 실제로 나온 답이에요. 길어서 일부만 옮겼고, 문장은 고치지 않았어요.

상품 리뷰 20개 → 불만 유형 표실제 실행 · 7번째 실행

아래 상품 리뷰 20개를 불만 유형별로 정리해 줘. 유형마다 건수, 리뷰 원문 그대로의 대표 인용, 개선 제안을 표로 보여 줘.

불만 유형건수대표 인용(원문 그대로)
사이즈·규격 문제4"사이즈가 전체적으로 한 치수 작게 나온 것 같아요."
상품 품질/하자4"한 번 입었는데 겨드랑이 쪽 실밥이 풀렸어요."
배송 지연·배송 사고3"출고가 늦는다는 안내도 없이 6일 뒤에 왔어요."
상품 설명·사진과 실제 불일치3"네이비 샀는데 화면보다 훨씬 어두워서 거의 검정색 같아요."
고객 응대·교환/환불 처리2"상담원 연결이 안 되고 챗봇만 같은 말을 반복해요."
포장 상태1"택배 박스가 젖어서 왔어요. 옷은 괜찮았지만 기분이 별로였어요."

검수: 통과 — 긍정 3건 제외, 불만 17건을 6개 유형에 배정했고 건수 합(3+3+4+4+1+2=17)이 불만 건수와 일치함을 확인했습니다.

FAQ + 고객 메일 5통 → 답장 초안실제 실행 · 2번째 실행

아래 FAQ만 근거로 고객 메일 5개에 각각 답장 초안을 써 줘. FAQ로 답할 수 없는 내용은 지어내지 말고 따로 표시해 줘.

메일질문확인이 필요한 이유
박준호아직 출고 준비 중인 이유 및 정확한 도착일FAQ에는 일반 처리 기간만 있고, 이 주문의 실제 처리 현황은 자료에 없음
최민재해외 배송 가능 여부 및 배송비FAQ에 해외 배송 관련 내용이 전혀 없음
정유나반품 상품의 창고 도착·검수 완료 여부FAQ는 환불 소요 기간만 안내하고, 이 건의 실제 처리 상태는 자료에 없음

답장 초안 5통은 줄였어요. 위 표는 팀이 '사람 확인이 필요한 질문'으로 따로 뺀 부분 그대로예요.

직원 설문 15개 → 주제별 정리실제 실행 · 6번째 실행

아래 직원 설문 주관식 답변 15개를 주제별로 묶어서 주제마다 응답 수, 답변 원문 그대로의 대표 인용, 제안할 조치를 정리해 줘.

주제응답 수제안할 조치
회의 운영 부담3오후 회의는 종료 시각을 정해 두어 퇴근 지연을 막는다.
업무 소통 채널 분산2업무 요청 접수 채널을 하나로 통합하는 방안을 검토한다.
온보딩·신규입사자 지원 부족2온보딩 시 문의 담당자(멘토)를 지정해 안내한다.
성과평가 기준·설명 부족2평가 기준을 사전에 공개한다.
장비·IT 인프라2재택용 노트북 성능을 점검·교체한다.
재택근무 제도 확대 요구1주 2회 확대 요청의 운영상 가능 여부를 검토한다(1건 근거).
조직문화·근무환경 만족3불편 사항이 아니므로 근거 있는 조치 제안 없음. 유지 요소로 기록.

7개 주제의 응답 수 합계가 3+2+2+2+2+1+3=15로 일치하며, 미분류 응답은 없습니다.

입력한 자료가 어디로 가는지는 데이터 처리 안내에 있어요.