라벨을 실제 예시로 정의합니다
분류 대상과 작업 단위를 정하고 긍정·부정·경계 예시를 함께 만듭니다. 이미지의 가림 영역이나 텍스트의 반어 표현처럼 애매한 사례는 별도 규칙이 필요합니다. 개인정보가 포함된 원본은 제공 권한과 열람 범위를 검토합니다.
기준 샘플로 판단 차이를 드러냅니다
작업자는 같은 기준 샘플을 처리하고 결과 차이를 검토합니다. 전체 일치율만 보지 않고 라벨별 혼동과 누락을 확인합니다. 답을 모르는 사례를 임의의 라벨로 채우지 않도록 보류 코드와 질문 작성 방식을 둡니다.
기준 변경의 영향을 추적합니다
정의가 바뀌면 적용 버전과 기존 데이터의 재검수 대상을 정합니다. 결과 파일에는 원본 ID, 라벨, 작업·검수 상태를 연결합니다. 프로젝트별 도구와 포맷 적합성은 샘플 작업으로 검증하며 모델 성능 향상을 보장하지 않습니다.
라벨 사전에 포함·제외·경계 사례를 넣습니다
라벨 이름만 있으면 작업자마다 의미가 달라질 수 있습니다. 고객사는 데이터 사용 권한, 대상 단위, 라벨 목록과 정의, 다중 라벨 허용 여부, 판정 불가의 처리 방식을 제공합니다. 문장 분류라면 한 문장인지 대화 전체인지, 이미지라면 객체 가림과 잘린 경계까지 어떻게 표시할지 정합니다.
각 라벨에는 긍정 사례와 제외 사례를 함께 둡니다. 한국어에는 반어, 생략, 조사와 인용 표현이 있어 단어만으로 판정하기 어렵습니다. 예를 들어 “해지가 안 된다는 뜻인가요?”는 해지 완료도 해지 의사 확정도 아닐 수 있습니다. 사전의 기준을 확인할 수 없는 항목은 별도 모호 상태로 올립니다.
설명용 사례: 한국어 문의의 의도 라벨 사전
다음은 설명을 위해 만든 짧은 문장과 의도 분류 예시입니다. 실제 모델 학습 데이터나 평가 결과가 아닙니다. 주문 상태를 묻는 배송조회, 절차를 묻는 해지방법, 명시적 실행 요청인 해지요청을 구분한다고 가정합니다.
| 입력 문장 | 후보 라벨 | 사전 적용 근거 | 처리·승인 |
|---|---|---|---|
| “제 주문은 어디쯤 왔나요?” | 배송조회 | 현재 주문의 위치 질문 | 정의와 일치하면 확정 |
| “해지하려면 어디서 하나요?” | 해지방법 | 절차 질문·실행 지시 아님 | 해지요청의 제외 사례 |
| “이번 달 말에 해지해 주세요.” | 해지요청 | 실행 의사와 시점 명시 | 라벨만 부여·실제 해지 안 함 |
| “해지가 안 된다는 뜻인가요?” | 모호·판정 요청 | 앞 대화 없이는 의도 불명 | 고객사 판정자에게 맥락 요청 |
기준 정답과 불일치 판정을 분리해 검증합니다
고객사가 확정한 기준 정답 샘플을 실제 작업과 같은 형식으로 준비합니다. 쉬운 사례만 넣지 말고 라벨 경계와 드문 유형을 포함합니다. 작업자에게 답을 보이지 않는 검증에 사용할지, 교육용으로 공개할지도 구분합니다. 기준 정답 자체의 오류 제기는 허용된 경로로 기록하고 작업자가 몰래 수정하지 않습니다.
두 작업자가 다르게 표시한 항목은 불일치 목록으로 모으고 고객사 또는 지정 판정자가 최종 결정합니다. 라벨별 혼동과 판정 불가 비율을 보면 정의가 부족한 부분을 찾을 수 있습니다. 사전 개정이 필요하면 버전과 적용 범위를 정하고, 이전 배치에서 영향받는 항목의 재검수 여부를 승인받습니다.
내보내기 형식과 추적성을 인수 조건으로 둡니다
정확한 판정도 학습 파이프라인에서 열 수 없으면 사용할 수 없습니다. 원본 ID, 라벨 코드, 사전 버전과 판정 상태를 약속한 JSON·CSV 등 형식으로 내보내고, 이미지 좌표라면 좌표계·해상도·다각형 닫힘 규칙을 확인합니다. 한국어 텍스트 인코딩과 원문 보존도 샘플 파일로 시험합니다.
인수 목록은 확정 라벨, 판정 대기, 제외 사유와 재작업 이력을 구분합니다. 품질 기준은 전체 일치율만이 아니라 중요한 라벨의 오분류, 경계 기준과 내보내기 유효성을 포함해 정할 수 있습니다. 작업 데이터와 검증용 기준 정답을 섞거나 임의 분할해 학습·평가 구분을 훼손하지 않습니다.