증상
GitHub Actions CD의 SSH 배포 단계에서 exit code 125로 종료되었습니다.

==> pull ghcr.io/***/vibepulse-worker:b2bcf4b2...
...
no space left on device
web, api 이미지 pull은 성공
worker 이미지 unpack 중 실패
blue/green 배포에서 현재 슬롯(blue)은 그대로 — pull 실패는 health gate 이전이라 트래픽 전환 없음
원인
서버 root 볼륨이 100% 사용 상태였습니다.

항목 수치
디스크
89G 중 89G 사용 (~484M 여유)
Podman 이미지
618개 중 8개만 사용 중
회수 가능 용량
~48GB (96%)
매 push마다 web / api / worker 3개 이미지가 git SHA 태그로 pull되지만, deploy.sh에 이전 이미지 정리 로직이 없어 태그만 쌓였습니다.

추가로 api/worker 이미지는 아직 전체 monorepo node_modules를 포함하는 walking skeleton 구조라 태그당 ~2.3GB 수준입니다. (이미지 슬리밍은 TASK-018 예정)

배포 구조 (참고)
Blue/Green: blue 311x, green 321x 포트
새 슬롯 pull → health check → Caddy 전환 → 구 슬롯 종료
런타임: rootless Podman
스토리지: ~/.local/share/containers/storage/
실패 시점에는 green 슬롯 worker pull 중이었고, blue 슬롯이 계속 서비스 중이었습니다.

즉시 조치 (서버)
실행 중인 컨테이너가 참조하는 이미지는 유지됩니다.

실행 중 컨테이너 확인

podman ps --format 'table {{.Names}}\t{{.Image}}'

미사용 이미지·레이어 정리

podman image prune -a -f
podman system prune -f

공간 확인

df -h /
podman system df
약 45~48GB 회수 후 CD 워크플로를 재실행합니다.

재발 방지 (코드 변경)
scripts/deploy.sh에 prune_unused_images()를 추가했습니다.

시점 동작
pull 전
미사용 이미지 정리 → 새 이미지 pull 전 디스크 확보
구 슬롯 compose down 후
이전 SHA 태그 이미지 정리
prune_unused_images() {
echo "==> prune unused $CONTAINER_RUNTIME images"
"$CONTAINER_RUNTIME" image prune -a -f
"$CONTAINER_RUNTIME" system prune -f
}
실행 중 컨테이너(현재 active 슬롯 + Postgres/Redis 등)가 쓰는 이미지는 삭제되지 않음
docker/podman 모두 동일 명령 사용
교훈 / 체크리스트
컨테이너 이미지도 디스크를 먹는다 — 로그·DB만 볼 게 아니라 podman system df도 주기적으로 확인
SHA 태그만 쓰는 CD는 prune이 필수 — 배포 스크립트에 정리 단계를 넣거나 cron으로 보완
blue/green은 일시적으로 이미지가 2세트 — 디스크 여유는 최소 태그 2~3세트 분량 권장
실패해도 서비스는 유지될 수 있음 — pull/health gate 실패 시 새 슬롯만 정리되고 기존 슬롯 유지 (의도된 동작)
후속 (선택)
항목 설명
TASK-018
api/worker 이미지 슬리밍 (prod-only node_modules)
디스크 용량
89G root에서 빈번한 CD 시 여유 확보 검토
모니터링
디스크 사용률 알람 (예: 85% 이상)
한 줄 요약
CD가 이미지를 계속 쌓아 root 디스크를 채웠고, podman image prune -a로 복구한 뒤 deploy.sh에 배포 전·후 자동 prune을 넣어 재발을 막았다.