실행 모니터링 및 로깅
실행 목록, 실시간 이벤트 스트림, 로그 / 비용 / tokens, 오류 위치 파악으로 실행 상태를 명확하게 확인합니다.
워크플로가 실행된 뒤 "그것이 대체 무엇을 했고 얼마를 썼는지"를 이해할 수 있어야, 그것을 프로덕션에 넣을 용기가 생깁니다. 이 페이지에서는 실행 목록, 실행 상세, 실시간 이벤트, token과 비용 기록, 내보내기, 데이터 대시보드를 다룹니다.
실행 목록 페이지
왼쪽 내비게이션 「실행 이력」. 카드와 표 두 가지 뷰를 지원하며, 실행 중인 것이 있으면 목록이 자동으로 새로고침됩니다(일시 중지 가능). 필터와 정렬:
- 키워드 검색 — 실행 ID 또는 워크플로 이름 기준
- 상태 필터 — PENDING / RUNNING / COMPLETED / FAILED / CANCELLED / INTERRUPTED
- 워크플로 필터링 - 특정 워크플로의 기록만 보기
- 정렬 — 시작 시간 / 완료 시간 / 소요 시간 / 워크플로 / 상태 / 진행도
목록 상단에는 카운트가 붙은 빠른 필터 한 줄(실행 중 / 실패 / 완료됨 / 중단됨)이 있어, 클릭하여 전환합니다.
각 레코드에 대해 표시되는 정보
- 상태 배지 + 실행 ID + 워크플로 이름
- 진행 바와 단계 완료 수(예: 5/7)
- 시작 시간(상대 시간)과 소요 시간
- RUNNING 레코드는 현재 실행 중인 단계를 추가로 표시
- 종료된 레코드는 행 내에서 바로 JSON / YAML로 내보낼 수 있음
다중 선택 후 실행 중인 실행을 일괄 취소하거나 종료된 레코드를 일괄 삭제할 수 있습니다.
PENDING— 생성됨, 아직 실행 시작 안 함. 동시성 상한을 초과한 실행은 먼저 이 상태로 대기열에 들어가고, 앞선 실행이 완료되면 자동으로 RUNNING으로 전환됩니다.RUNNING— 최소 한 단계가 실행 중.COMPLETED— 모든 단계 실행 완료(condition 불충족으로 SKIPPED된 단계 포함).FAILED— 어떤 단계에서 오류가 나서 실행이 실패로 종료됨.CANCELLED— 사용자가 수동으로 취소함.INTERRUPTED— 서비스 재시작 등 시스템 원인으로 중단됨. 자동 재개 여부는 아래 "다음 단계"의 자동 재개 페이지를 참고합니다.
실행 세부정보 페이지
임의의 실행을 클릭하면 상세 페이지로 들어갑니다. 위에서 아래로:
- 상단 바 — 취소, 새로고침, 내보내기(JSON / YAML), 해당 워크플로 편집기로 이동
- 상태 카드 — 상태, 진행도, 소요 시간, 그리고 token 요약(전송 / 수신 / 합계)
- 메인 영역 탭(아래 표 참고)
- 하단 「실행 로그」 스트림 — 모든 이벤트의 스크롤 로그로, 레벨(debug / info / warn / error)별 필터, 키워드 검색, 자동 스크롤 일시 중지가 가능
| 탭 | 내용 |
|---|---|
| 단계 | 세로 타임라인: 각 단계의 상태, 소요 시간, 반복 진행도. 클릭하면 단계 상세 사이드바가 열립니다. 실행 종료 후 지정 단계부터 재실행할 수 있습니다. |
| 대화 | Agent 발언, LLM 출력, 도구 호출, 시스템 메시지를 시간순으로 하나의 채팅 스트림으로 합칩니다. |
| 외부 메시지 | IM 채널의 송수신 기록만 봅니다(Slack / Telegram 등). |
| DAG | 의존 관계에 따라 그린 단계 그래프로, 실행 상태를 실시간으로 색칠합니다. |
| 재생 | 타임라인에 따라 이번 실행 과정을 재생합니다. |
| 추론의 사슬 | Agent의 중간 추론 내용. |
| 산출물 | 모든 아티팩트 파일: 미리보기, 다운로드, 단일 파일 공유, 또는 디렉터리 전체를 공개 링크 하나로 생성. |
| 성능 | 실행 종료 후의 소요 시간 분석. |
| 디버그 | 브레이크포인트를 설정했거나 디버그 세션이 있을 때 나타납니다. |
단계 상세 사이드바
타임라인의 어떤 단계를 클릭하면 오른쪽에서 그 단계의 모든 정보가 슬라이드되어 나옵니다: 출력, 이벤트, 추론, 아티팩트, 대화 몇 개의 탭(반복 / 상호작용 / 오케스트레이션류 단계에는 대응하는 추가 탭이 있음), 그리고 시작·종료 시간과 「이 단계부터 재실행」 버튼. 실패 단계의 오류 정보와 재시도 횟수도 여기에서 봅니다.
실시간 업데이트(WebSocket)
실행이 RUNNING 상태일 때 상세 페이지는 WebSocket으로 증분 업데이트를 받으며 수동 새로고침이 필요 없습니다. 연결이 끊기면 자동으로 재연결하고(지수 백오프, 최대 5회), 그래도 실패하면 2초마다 폴링으로 자동 다운그레이드하고 안내합니다.
푸시 메시지 유형
| 유형 | 의미 |
|---|---|
full_status | 실행 상태 전체 스냅샷 |
status_change | 실행 상태 / 진행도 변화 |
step_update | 단일 단계의 상태 업데이트 |
new_event | 새 실행 이벤트(아래 이벤트 유형 참고) |
artifact_found | 새 아티팩트 파일 생성 |
user_interaction_request | 단계가 인적 입력을 요청하며, 대화 탭에 회신 창이 나타남 |
이벤트 유형 목록
각 단계의 이벤트 스트림은 type 필드로 이벤트 종류를 구분합니다. 흔한 유형을 계열별로 나열합니다:
| 이벤트 유형 | 의미 |
|---|---|
agent_starting / agent_completed / agent_failed | Agent 단계의 생명주기 |
llm_call_starting / llm_call_completed | 한 번의 LLM 호출. completed 이벤트에는 이번 호출의 token 카운트가 포함됨 |
llm_streaming_starting / llm_streaming_completed / llm_streaming_failed | 스트리밍 LLM 출력 |
tool_call_starting / tool_call_completed / tool_call_failed | Agent 도구 호출, 파라미터와 결과 요약 포함 |
external_message / im_message / telegram_message | IM 채널의 메시지 송수신 |
group_chat_started / group_chat_message / group_chat_summarizing / group_chat_completed | group_chat 단계의 다중 Agent 논의 과정 |
state_machine_started / state_machine_transition / state_machine_state_completed | state_machine 단계의 상태 전이 |
agent_based_started / agent_based_completed | agent_based 오케스트레이션 단계의 위임 과정 |
user_interaction_request / user_interaction_message / user_interaction_timeout | 실행 중 사용자에게 질문, 회신 수신, 타임아웃 대기 |
claude_code_* | Claude Code 런타임의 스트리밍 진행 이벤트 |
이벤트에는 category 필드(agent / llm / tool / message / strategy / user_interaction)도 함께 붙으며, 대화 탭의 카테고리 필터는 이것에 따라 그룹화됩니다.
대화 뷰의 필터
- 키워드 검색 — 메시지 내용과 발언자에서 검색
- Agent별 필터 — 특정 Agent 또는 단계의 메시지만 보기
- 카테고리 필터 — Agent / LLM / 도구 / 외부 메시지 / 전략 / 상호작용
- 자동 스크롤 토글 — 새 메시지가 도착할 때 맨 아래로 따라 스크롤할지 여부
token과 비용
- LLM 관련 이벤트는 input / output token을 매번 기록하고, 상태 카드가 전송 / 수신 / 합계를 실시간으로 누적하여 표시합니다.
- 실행 종료 후,
GET /api/executions/{executionId}/cost사용한 모델의 가격으로 이번 실행의 비용을 추정하여, 총액과 각 단계의 명세를 반환합니다. - 비용은 사후에 token 사용량으로 추정한 것이며, 플랫폼은 실행 전 견적을 제공하지 않습니다.
내보내기 실행 프로세스
상세 페이지 상단 바 또는 목록 행의 「내보내기」는 한 번의 실행을 JSON 또는 YAML 파일로 내보내며, 내용에는 실행 상태, 결과, 성능 지표, 그리고 내보내기 시점의 워크플로 정의 스냅샷과 YAML 소스 코드가 포함됩니다. 비밀번호, API Key, webhook 주소 등 민감한 필드는 자동으로 [REDACTED]로 대체됩니다. 파일명은 다음과 같은 형태입니다 execution-process-79621f70-completed.json.
내보내기 안의 워크플로 정의는 내보낼 때 가져온 현재 버전입니다. 이번 실행 이후에 워크플로가 수정되었다면, 그것은 실행 당시의 정의와 다를 수 있습니다.
데이터 대시보드
실행을 넘어선 집계 뷰는 분석 대시보드: 총 실행 횟수, 성공률, 평균 소요 시간, token 총 사용량, 그리고 실행 추세, 상태 분포, Top 워크플로 랭킹으로, 시간 범위는 24시간 / 7일 / 30일 중 선택할 수 있습니다.
오류 위치
실행이 FAILED일 때는 먼저 타임라인에서 빨간 그 단계를 찾아 단계 상세를 엽니다: 오류 정보는 「출력」 탭에, 과정 세부는 「이벤트」 탭에 있습니다(code 단계의 stderr도 여기에 있습니다). 재시도한 단계는 재시도 횟수를 표시합니다.
흔한 오류의 처리 방식은 문제 해결.
보유기간
실행 레코드(상태, 결과, 이벤트, 성능 데이터)와 아티팩트 파일은 기본적으로 90일간 보관되며, 만료되면 플랫폼이 정기적으로 정리합니다. 구체적 기한은 귀하의 플랜이나 배포 설정을 기준으로 하며, 실행이 아직 진행 중이면 정리되지 않습니다.