사이클 타임 113개를 들여다보다
개발과 리스크에서 개발을 잘한다는 걸 이렇게 정의했다. 요구사항이 바뀌었을 때 변경에 걸리는 시간이 짧은 것. 다른 말로, 레드에서 그린까지의 거리가 짧은 것.
그 뒤로 테스트 하나를 통과시킬 때마다 사이클 타임을 적었다. 9월 9일부터 10월 25일까지, 개발 일지 15편에 113개가 쌓였다.
적기만 하고 모아서 본 적은 없었다. 그래서 지금 모아본다.
데이터
| 프로젝트 | 사이클 수 | 중앙값 | 평균 | 2분 이하 | 5분 이상 |
|---|---|---|---|---|---|
| 크아 (Godot) | 27 | 1분 14초 | 4분 41초 | 59% | 22% |
| 미니게임 (TypeScript) | 39 | 1분 8초 | 2분 58초 | 69% | 17% |
| 탱탱볼 (Godot 3D) | 45 | 1분 5초 | 1분 45초 | 73% | 4% |
| 로킷 (E2E) | 2 | 15분 1초 | 15분 1초 | 0% | 100% |
| 전체 | 113 | 1분 8초 | 3분 6초 | 67% | 15% |
전체 사이클을 다 더하면 351분, 약 6시간이다.
분포는 이렇다.
| 구간 | 사이클 수 |
|---|---|
| 10초 이하 | 10 |
| 10초 ~ 1분 | 42 |
| 1분 ~ 2분 | 23 |
| 2분 ~ 5분 | 21 |
| 5분 ~ 10분 | 7 |
| 10분 이상 | 10 |
1. 중앙값은 이미 목표를 달성했다
9월 16일에 목표 사이클 타임을 1~2분으로 잡았다. 중앙값은 1분 8초다. 사이클 세 개 중 두 개는 2분 안에 그린을 달성했다.
평소의 나는 이미 목표를 지키고 있었던 거다. 평소가 아닐 때가 문제다.
2. 긴 사이클 몇 개가 병목이다
5분 이상 걸린 사이클은 17개, 전체의 15%다. 그런데 이 17개가 351분 중 219분, 62%를 가져갔다.
평균이 중앙값의 세 배나 되는 것도 이 때문이다. 짧은 사이클을 더 줄여봤자 별 의미가 없다. 30초를 20초로 줄여봤자 10초다. 34분짜리 하나를 쪼개는 쪽이 훨씬 사이클 타임을 짧게 가져갈 수 있다.
5분 이상 걸린 17개를 일지에 적어둔 메모를 보고 분류해봤다.
| 원인 | 사이클 수 | 걸린 시간 |
|---|---|---|
| 구조를 건드려야 했다 | 6 | 91분 |
| 처음 써보는 도구나 API였다 | 6 | 78분 |
| 테스트 하나가 너무 컸다 | 4 | 38분 |
| 착각했다 | 1 | 12분 |
1) 구조를 건드려야 했다
함수 인터페이스에 peer_id를 추가하는 과정에서 24분이 걸렸다(9월 14일). core 로직과 화면 로직을 구분하지 못해 헤매다 34분 이상이 걸렸다(9월 17일). 둘이 합쳐 58분이 걸렸다. 테스트 하나 통과시키려다 설계를 고치고 있었다.
2) 처음 써보는 도구나 API였다
happy-dom 환경 설정(9월 30일, 9분 20초, 10분 36초), 게임 재개 구현(10월 2일, 18분 52초, “감이 없어서 찾아봤다”), 첫 Playwright E2E 테스트(10월 25일, 17분 24초, 12분 39초)가 해당된다. 사실상 공부한 시간이다.
3) 테스트 하나가 너무 컸다
캐릭터는 처음 점프한 이후 몇 초 이내에 최대 1번 더 점프할 수 있다(9월 16일, 10분 34초). 이름에 조건이 세 개 들어 있다. 그날 일지에 이미 “복잡해 보이는 테스트가 그 이름답게 오래 걸린 것 같다”고 적어놨다. 이름이 길 때부터 알아봤어야 했다.
4) 착각했다
성공한 테스트를 실패한 걸로, 실패한 테스트를 성공한 걸로 봤다(9월 17일, 12분 25초). 이건 할 말이 없다.
3. 같은 문제를 두 번째 만났을 땐 3분의 1로 줄었다
10월 10일에 같은 문제를 또 겪었다. 생성자 매개변수를 배열로 바꿔야 했는데, 그러면 기존 테스트의 호출부가 다 깨진다. 9월 14일과 똑같은 상황이다.
9월 14일엔 호출부 10곳을 일일이 고치다 18분을 헤매고 코드를 리셋했다. 리셋 후 새 이름의 함수를 따로 만들어 그린을 먼저 달성하고 나중에 기존 함수에 통합했더니 2분 32초 만에 그린이 됐다.
10월 10일엔 처음부터 점진적으로 갔다. 타입을 유니온으로 넓히고 배열일 때만 새 로직을 타게 했다. 7분 40초 걸렸다.
24분에서 7분 40초로, 같은 종류의 문제인데 사이클 타임이 3분의 1이 됐다.
4. 너무 빠른 사이클도 경계해야 한다
10초 이하 사이클이 10개 있다. 5초, 8초, 22ms, 48ms.
22ms는 테스트를 돌리는 데 걸린 시간이다. 레드가 없었던 거다. 테스트를 쓰기 전에 구현이 이미 있었다.
10월 16일 일지에 이렇게 적었다. 작은 테스트부터 안 하면 구현 후에 테스트를 쓰게 되고, 그럼 사이클 타임이 테스트 돌리는 시간이 된다. 저번 달 크아 구현할 때 그런 상황이 꽤 있었다.
데이터를 봐도 그렇다. 10초 이하 사이클 10개 중 8개가 9월에 있다. 9월 19일 하루에만 5초짜리가 다섯 개다. 물론 전부 구현이 먼저였던 건 아니다. 10월 16일의 8초는 작은 테스트를 먼저 통과시키고 조합한 결과였다. 그래도 5초가 줄줄이 찍힌 날은 레드를 건너뛰었을 가능성이 크다.
너무 짧게 찍힌 사이클도 한 번은 다시 봐야 한다.
5. 9월보다 10월에 나아졌다
로킷을 빼고 게임 프로젝트만 놓고 보면 이렇다.
| 9월 | 10월 | |
|---|---|---|
| 사이클 수 | 42 | 69 |
| 중앙값 | 52초 | 1분 8초 |
| 평균 | 4분 | 2분 12초 |
| 5분 이상 | 21% | 8% |
| 10초 이하 | 8개 | 2개 |
평균은 절반 가까이 줄었는데 중앙값은 오히려 늘었다. 9월에 중앙값을 낮춘 건 레드를 건너뛴 5초짜리의 극도로 짧은 사이클들이었다. 10월엔 그게 줄었고 동시에 30분짜리 팻테일(fat tail)도 사라졌다. 분포의 중앙값이 1분 근처가 되었다.
크게 빨라진 건 아니다. 덜 들쭉날쭉해진 것으로, 비교적 리듬이 생겼다.
한계
이 분석이 정확하다고 말할 순 없다.
- 크아는 이미 커진 코드베이스에 멀티플레이를 얹는 작업이었고 탱탱볼은 빈 프로젝트에서 시작했다. 10월이 나아 보이는 게 실력 때문인지 난이도 차이 때문인지 모른다.
- 사이클 타임은 테스트 하나 구현할 때마다 찍은 영상의 길이로 쟀다. 녹화를 켜고 끄는 타이밍에 따라 몇 초는 오차가 있을 수 있다.
- 팻테일에 해당하는 데이터는 최소로 걸린 시간이다. 실제로는 더 걸렸다.
- 113개로 단정하기엔 모수가 충분하지 않다.
다음에는
1) 5분이 넘으면 멈춘다
9월 14일엔 18분 만에 리셋해서 2분 32초 만에 그린을 달성했다. 리셋을 18분이 아니라 5분에 했다면 13분을 아꼈을 거다. 5분이 지나면 어떻게 테스트를 쪼갤지 고민하라는 신호로 삼겠다. 크아로 치면 물방울에 갇혔을 때 바늘을 바로 쓰는 거다.
2) 5분 넘은 사이클엔 왜 오래 걸렸는지 한 줄 적는다
분석을 용이하게 하기 위함이다. 이번에 병목 지점을 분류할 때 이유 없이 오래 걸린 테스트에 대해선 추측해야 했다.
결론
나는 설계를 바꿔야 할 때나 처음 보는 도구 앞에서 헤맨다.
헤맨다 싶을 때 5분을 기준점으로 잡고 테스트를 쪼개서 사이클 타임을 낮추려고 노력하고자 한다.
다음 테스트 100개 이상이 또 쌓이면 다시 분석해볼 생각이다. 그땐 5분 넘는 사이클이 줄어 있길 바란다.
Comments