추적하려는 응답 메시지 하단 액션바의 링크 아이콘(툴팁 추적 보기)을 누릅니다. 새 탭에서 평가 › 추적이 열리며 그 채팅의 모든 메시지 트레이스 카드가 표시되므로, 방금 그 응답만 보려면 시각·메시지 내용으로 카드를 고르세요. 특정 메시지 하나를 바로 열려면 ① 대화 로그 › 추적을 쓰세요(메시지 ID로 조회됩니다).
응답 하단 액션바의 링크 아이콘(툴팁 '추적 보기')
표시되는 버튼은 권한에 따라 다릅니다.
권한
표시되는 버튼
관리자 또는 평가 읽기/쓰기 권한
툴팁 추적 보기 → 새 탭으로 평가 › 추적 열기
그 외 사용자
툴팁 메시지 ID 복사 → 누르면 Chat ID와 Message ID 두 줄이 클립보드에 복사됩니다. 관리자에게 전달해 조사를 요청하세요
한 메시지가 어떤 단계를 거쳐 처리됐는지, 각 단계에 무엇이 들어가고 나왔는지를 모두 여기서 봅니다.
(배지·기호 같은 세부 표기는 각 탭 안에 접어 두었습니다 — 처음 보는 표시를 만났을 때 펼쳐 보세요.)
트레이스 상세 — 좌측 Run 트리에서 단계를 고르면 우측에 그 단계의 입·출력이 표시됩니다
화면은 좌측 Run 트리(처리 단계를 순서·계층대로 나열, 상단에 전체 지연·총 토큰)와 우측 상세 패널(고른 단계의 입·출력·토큰)로 나뉩니다. 좌측 패널 헤더에서 트리 · 타임라인 · 토큰 세 가지 보기로 전환할 수 있습니다.한 메시지는 보통 — 에이전트(CH)가 LM 추론과 도구 호출을 반복해 데이터를 모으고, 마지막에 final_answer(LM)가 답을 씁니다.
좌측 — Run 트리
우측 — 상세 패널
각 줄(Run)은 색 배지 + 이름 + ● 상태 + 지연 시간으로 표시됩니다. 자주 보이는 배지만 알면 트리를 읽을 수 있습니다. (색 포함 전체 종류는 아래 범례를 펼쳐 보세요.)
배지
하는 일
CH
에이전트 실행 — 메시지 처리 전체를 감싸는 단계 (이름은 에이전트 이름입니다)
LM
LLM 호출 — 추론하거나 최종 답 작성(final_answer)
TL
도구 실행 — SQL 조회·함수 호출(run_sql_read 등)
EM
임베딩 — 검색용 벡터 생성
ACT
작업 그룹 — 도구 + 하위 단계 묶음 (화살표로 펼침)
● 상태 — 초록이면 정상, 빨강이면 그 단계에서 오류.
옆 시간 — 그 단계의 지연. 단, 상위 단계(CH·ACT)의 시간에는 하위 단계 시간이 포함되므로 단순 최댓값을 병목으로 보면 안 됩니다. 제품이 계산한 병목 단계는 지연 시간이 붉게 강조되어 표시됩니다.
좌측 패널 헤더의 보기 토글로 같은 단계 목록을 세 가지 방식으로 볼 수 있습니다.
보기
보여주는 것
트리
단계를 부모-자식 계층으로 나열 (기본)
타임라인
단계별 소요 구간을 가로 막대로 배치하고, 하단에 시간 눈금과 가장 느린 추출 단계: <이름> · 시간 (n%) 요약을 표시
토큰
트레이스 전체 토큰 구성(입력·캐시·출력) 막대와 프롬프트 캐시 적중률·실효 토큰, 단계별 토큰 막대 (막대를 누르면 우측 상세가 그 단계로 전환)
제목·태그·검색 쿼리 자동 생성 같은 보조 작업은 응답과 별개로 background_tasks 트레이스에 따로 기록됩니다.
Run 종류 전체 (색상 범례)
상세 트리는 단계 종류를 색 배지로 구분합니다. (검색 결과 카드에서는 에이전트 · LLM · 임베딩 같은 라벨로 묶여 표시됩니다.)
배지
종류
색
설명
CH
Chain
보라
복합 작업 — 메시지 처리 전체/에이전트 실행
LM
LLM
파랑
LLM 호출 (추론·최종 답변)
TL
Tool
초록
도구 실행 (SQL·함수 등)
RG
Retrieval
주황
지식 기반 문서 검색
WB
Web Search
시안
웹 검색
GD
Guardrail
빨강
가드레일 점검
EM
Embedding
노랑
임베딩(벡터) 생성
FL
Filter
분홍
필터 함수 실행
PP
Pipeline
남색
파이프라인 처리
TK
Task
회색
백그라운드 태스크
IM
Image
회색
이미지 생성 (전용 색 없이 회색으로 표시)
ACT
Action
보라
도구 + 하위 단계 그룹 (펼치기 가능, 합성 배지)
환경·버전에 따라 나타나지 않는 종류도 있습니다 — 실제 트레이스에는 주로 CH·LM·TL·RG·GD·EM·TK가 기록됩니다.
상태 표시 (● 색)
상태
표시
Success
초록 점
Error
빨강 점
Running
주황 점 (깜박이는 펄스 애니메이션)
Pending
회색 점
네 상태 모두 같은 모양의 점이며 색으로만 구분합니다.
트레이스 전체 상태는 포함된 Run 중 하나라도 Error면 Error, Error가 없고 Running이 있으면 Running으로 표시됩니다.
트리에서 단계를 클릭하면 우측에 그 단계의 상세가 표시됩니다.
섹션
내용
상단 요약
상태 · 지연 시간 · 사용 모델 (답변 양식이 지정된 단계에는 ‘답변 양식’ 배지가 함께 표시됩니다)
입력
그 단계에 들어간 값 (시스템 프롬프트, 정규화된 질문 등)
출력
그 단계가 내놓은 값 (응답, 출처 묶음 수 sources_count·source_names 등)
오류
그 단계가 실패한 경우에만 출력 아래에 빨간 영역으로 표시 — 도구 실패 진단은 여기부터 봅니다
토큰 사용량
입력 · 출력 · 합계 토큰. 프롬프트 캐시가 적중하면 프롬프트 캐시 줄에 입력 N 중 캐시 적중 M (x%)와 캐시 생성 값이 덧붙습니다
트리 · JSON · 텍스트 토글로 입·출력을 트리/원본 JSON/평문으로 전환합니다.
출력의 Search... 칸으로 긴 출력에서 텍스트를 찾을 수 있습니다.
트레이스에 기록되는 사용자 메시지는 500자까지입니다. 입력 끝의 ...은 기록 한도 때문이며, 모델에 전달된 내용이 잘린 것은 아닙니다. (시스템 프롬프트도 경로에 따라 길이가 제한될 수 있습니다.)
입·출력 보기 모드 · 텍스트 검색
보기 모드
설명
트리
계층적 트리 (기본)
JSON
원본 JSON
텍스트
평문 텍스트
출력 영역에서는 텍스트 검색이 됩니다. 검색어를 입력하면 하이라이트되고, Enter로 다음·Shift+Enter로 이전 매치로 이동하며, 검색창 옆에 1/5처럼 매치 수가 표시됩니다.
좌측 패널 헤더에는 이 두 구간을 자동 계산한 막대가 함께 표시되므로 단계별 시간을 직접 더할 필요가 없습니다 — 추출(트레이스 시작 ~ 최종 답변 시작) 소요와 비율, 첫 토큰 (전체)(추출 + 답변 첫 토큰까지 = 사용자가 실제로 기다린 시간), 첫 토큰 (답변 기준)(최종 답변 시작 후 첫 토큰까지). 최종 답변 단계가 없는 트레이스(백그라운드 작업 등)에서는 표시되지 않습니다.
Phase 1의 첫 LM 추론 Run의 입력에서 tool_descriptions(그 실행에 연결된 도구 이름과 설명)를 확인하세요. 트레이스 용량을 줄이기 위해 이 항목은 첫 LLM 호출 1회에만 기록되므로, 중간 LM Run에는 없을 수 있습니다.
tool_descriptions에 원하는 도구가 없음 → 에이전트에 해당 기능(지식 기반·DB 등)이 연결되지 않음
도구가 있는데 호출 안 함 → 모델이 질문과 도구의 관련성을 낮게 판단. 도구·기능 설명을 더 구체적으로 수정
active_capabilities(그 시점에 켜져 있던 기능 묶음)는 Phase 2 final_answer Run의 입력에서 볼 수 있습니다.
검색은 됐는데 답변이 부정확하다면?
지식 기반 검색은 RG(Retrieval) Run(knowledge_search, 청크를 다시 가져올 때는 knowledge_fetch_chunks)으로 따로 기록됩니다. 검색 건수·점수·리랭크 여부는 이 Run의 출력에서 total_results·top_scores·reranked·sources로 확인하세요.
RG Run이 아예 없음 → 검색을 실행하지 않음. 에이전트에 지식 기반이 연결됐는지 확인
total_results가 0 → 검색 0건. 지식 기반 문서 누락 또는 검색 설정(Top K·Reranker 등) 점검 필요
출처는 있는데 답이 엉뚱 → final_answer(LM) Run의 입력에서 전달된 내용을 확인하고 답변 프롬프트를 조정
final_answer 출력의 sources_count·source_names는 답변 프롬프트에 실린 출처 묶음 수라 검색 건수와 다를 수 있습니다.
도구 실행이 실패했다면?
빨간 점이 찍힌 TL(도구) Run을 클릭해 출력 아래 오류 영역의 메시지를 먼저 확인하고, 입력으로 전달된 파라미터를 함께 검증하세요.
응답이 너무 느리다면?
Run 트리에서 지연 시간이 붉게 강조된 단계가 제품이 계산한 병목입니다. 타임라인 보기로 바꾸면 하단에 가장 느린 추출 단계: <이름> · 시간 (n%) 요약이 함께 표시됩니다. 최종 답변 작성 단계와 그 이후 후처리는 답변이 전달된 뒤의 시간이라 병목 계산에서 제외됩니다.
트레이스 데이터를 LLM으로 분석하여 문제의 근본 원인을 자동으로 파악하는 기능입니다.상세 모달 상단에는 트레이스 복사와 트레이스 분석 버튼이 있습니다(이전 분석 결과가 있으면 보고서 보기도 함께). 트레이스 복사는 트레이스 요약(트레이스 ID·Chat ID·상태·총 지연·총 토큰)과 들여쓴 단계 목록(성공/실패, 단계 종류, 이름, 지연, 토큰, 모델, 입·출력 앞부분 미리보기)을 텍스트로 클립보드에 담습니다 — 이슈 공유나 문의 첨부에 사용하세요.
1
분석 시작
트레이스 상세 모달 상단의 트레이스 분석 버튼을 클릭합니다.
입력 항목
설명
필수
분석 모델
분석에 사용할 LLM 모델
필수
설명
관찰된 문제 상황 (입력란에 예시 안내 문구가 표시됩니다)
선택
분석 모델 목록에는 기본 모델만 표시됩니다. 다른 모델을 상속해 만든 커스텀 모델, 프리셋 모델, 아레나 모델은 선택할 수 없습니다.
2
분석 결과 확인
LLM이 트레이스 데이터 + 에이전트 설정 + 대화 이력 + KB/DB/가드레일 설정 + 용어집 설정 + 자동 평가 결과를 종합 분석하여 구조화된 보고서를 생성합니다.
보고서 섹션
내용
요약
분석 결과 2~3문장 핵심 요약
트레이스 개요
ID, 상태, 지연시간, 토큰, Run 수, 오류 수
근본 원인 분석
주요 원인 + 기여 요인
Phase 1 분석
도구 선택이 적절했는지, 사용 가능한 도구 vs 실제 호출 비교
Phase 2 분석
수집된 데이터 대비 최종 답변의 적절성
프롬프트/설정 이슈
시스템 프롬프트, 모델 선택 문제
KB/RAG 이슈
검색 설정, 문서 품질, 필터 문제
DB/SQL 이슈
NL-to-SQL 변환, 스키마 문제
가드레일 이슈
과도한 차단, 오탐
용어집 커버리지 이슈
질문에 쓰인 용어를 용어집이 덮지 못한 부분
오류 분석
Error Run 상세 진단
개선 권장사항
즉시 조치, 설정 변경, 데이터 개선, 아키텍처 제안(중장기 개선)
관련 발견이 없는 섹션은 생략되므로, 모든 섹션이 항상 나오지는 않습니다.
설명을 입력하면 해당 맥락에 집중한 분석이 가능합니다. 예: “KB에서 문서를 찾았는데 답변에 반영되지 않음”보고서는 설명에 사용한 언어와 같은 언어로 작성됩니다. 한국어 보고서가 필요하면 설명을 한국어로 적으세요 — 비워 두면 영어로 작성될 수 있습니다.
3
보고서 저장/공유
분석 보고서 모달 안의 버튼입니다.
기능
설명
복사
클립보드에 전체 텍스트 복사
다운로드
마크다운 파일(.md)로 다운로드
이전에 분석한 결과가 있으면 보고서 보기 버튼으로 재분석 없이 트레이스 분석 보고서를 바로 확인할 수 있습니다.
네, 메시지 추적이 활성화되어 있으면 (기본값: 활성) 모든 AI 요청이 자동으로 기록됩니다. 별도 설정이 필요 없습니다.
트레이스 데이터는 얼마나 보존되나요?
기본적으로 트레이스는 자동 삭제되지 않고 계속 보존됩니다. 자동 정리가 기본 꺼짐이고, 데이터 유형별 보존 일수의 기본값이 모두 0(영구 보존)이기 때문입니다. 오래된 트레이스를 정리하려면 **관리자 › 설정 › 데이터 보존**에서 ‘트레이스’ 보존 일수를 1 이상으로 지정하고 자동 정리를 켜거나, 지금 정리 실행으로 즉시 삭제하세요.
추적이 응답 속도에 영향을 주나요?
트레이스는 각 단계가 시작·완료될 때 요청 처리 흐름 안에서 함께 기록됩니다. 단계마다 짧은 저장 작업이 추가되지만 LLM 호출 시간에 비하면 미미해, 체감 응답 속도에는 거의 영향을 주지 않습니다.
분석 보고서도 토큰을 소비하나요?
네, 트레이스 분석은 별도의 LLM 호출이며 사용량이 trace_analysis로 별도 추적됩니다. 분석은 수동으로 트리거할 때만 실행됩니다.
