← 작업 목록

Bistro · 사내 제안 · 프로토타입

이 숫자는 어떤 조건에서 나왔지?

내부 빌드가 나올 때마다 모델과 이미지셋, 학습 설정을 바꿔 평가했습니다. 엑셀에 쌓인 결과를 조건과 함께 살펴보고 싶어 사내 도구를 제안하고 프로토타입을 만들었습니다.

담당
도구 제안 · 프로토타입 제작
상태
프로토타입 · 정식 개발 미착수 · 실사용 없음

차이만 보는 엑셀에서,
조건을 함께 보는 도구로

기존 엑셀에서는 기준 버전과 비교 버전의 차이를 주로 확인했습니다. 어떤 버전을 기준으로 고르느냐에 따라 해석이 달라졌고, 누적된 결과를 함께 살펴보기는 어려웠습니다.

수치만 옮기지 않고, 어떤 조건에서 나온 결과인지 함께 저장했습니다.

CSV와 평가 조건을 함께 저장하기

평가 결과를 CSV로 올릴 때 버전·이미지셋·평가자를 함께 지정하도록 만들었습니다. 모델 유형과 학습 방식을 내부 값으로 변환해 결과에 연결했습니다.

평가 CSV에서 조건이 연결된 결과까지
  1. 평가 CSV

    모델 유형 · 학습 방식 · 평가 수치

  2. 조건 연결

    사용자가 지정
    버전 · 이미지셋 · 평가자
    내부 값으로 변환
    모델 유형 · 학습 방식
  3. 결과 저장

    조건이 연결된 결과

    각 평가 결과에 조건 ID를 연결해 일괄 저장

여러 모델 유형이 섞인 CSV는 분리하도록 안내했습니다.

한 줄의 수치에서,
평가 조건까지

저장된 버전을 고르면 모델·이미지셋·학습 방식과 성능 지표를 한 표에서 확인할 수 있게 했습니다. 차트에서는 모델을 선택하고 학습 방식별 평균 지표를 살펴보도록 구성했습니다.

원본은 4개 지표를 표시하며, 아래 데모는 Accuracy만 보여줍니다.

원본 기능을 설명하기 위해 다시 구성한 데모입니다. 가상 평가 데이터를 사용합니다.

수치를 고르면, 그 조건이 따라옵니다INTERACTIVE
v1.0 · Accuracy

개별 평가 결과

행을 고르면 해당 결과의 조건이 전표에 표시됩니다.

평가 조건 전표

R-101 0.82

버전
v1.0
모델 유형
모델 A
학습 방식
방식 1
이미지셋
이미지셋 α
평가자
평가자 1

평가 조건 전표

R-101 0.82

버전
v1.0
모델 유형
모델 A
학습 방식
방식 1
이미지셋
이미지셋 α
평가자
평가자 1

모델 A · 학습 방식별 평균 Accuracy

예시에서는 학습 방식마다 평가 1건이므로, 평균과 개별 값이 같습니다.

Accuracy 범위 0–1

방식 1
0.82
방식 2
0.87
방식 3
0.85
모델 A 학습 방식별 평균 Accuracy
학습 방식평가 수평균 Accuracy
방식 110.82
방식 210.87
방식 310.85
R-101 평가 조건을 선택했습니다.

가상 평가 데이터 · 실제 사내 데이터가 아닌 프로토타입 설명용 예시

프로토타입 다음에는,
분석 요구를 다시 모았습니다

  1. 제안·프로토타입 제작
  2. PM과 정식 도구 기획
  3. 정식 개발 미착수

프로토타입을 공유한 뒤 PM이 합류해 리서치팀의 분석 요구를 모았습니다. 제가 만든 비교 화면만으로는 심층적인 통계 분석을 충족하기 어려워 성능 변화의 판단 기준과 분석 방법까지 기획을 넓혔습니다.

기획은 마쳤지만 메이저 버전의 대규모 기능 개편에 리소스가 집중돼 정식 개발에는 착수하지 못했습니다. 실제 업무에 사용되지는 않았습니다.

프로토타입을 만든 뒤에야, 리서치팀이 필요로 하는 분석과 실제로 쓸 수 있는 UX까지 정의해야 한다는 점을 배웠습니다.