모니터링 대상
| 영역 | 목적 | 대상 사용자 |
|---|---|---|
| 사용량 | 토큰 소비, 비용, 사용 패턴 분석 | 관리자, 팀 리더 |
| 감사 로그 | 사용자 활동 기록, 컴플라이언스 | 관리자, 보안 담당자 |
| 가드레일 로그 | 민감 정보 탐지/차단 이벤트 추적 | 관리자, 보안 담당자 |
| 트레이싱 | LLM 요청 처리 과정 단계별 추적 | 관리자, 개발자 |
| 평가 | 응답 품질 측정 (수동 피드백 + 자동 평가) | 관리자, 품질 관리자 |
접근 방법
모니터링 기능은 두 곳에서 접근합니다.- 관리자 > 모니터링
- 관리자 > 평가
사이드바 관리자 > 모니터링에서 접근합니다.
| 탭 | 기능 |
|---|---|
| 감사 로그 | 사용자 활동 기록 조회 |
| 가드레일 로그 | 가드레일 탐지/차단 이벤트 조회 |
| 사용량 | 토큰 사용량, 비용, 통계 대시보드 |
활용 시나리오
월별 AI 비용 분석
사용량 대시보드에서 조직/모델별 토큰 소비를 확인하고 CSV로 내보내 비용 보고서를 작성합니다.
보안 사고 조사
감사 로그에서 의심스러운 활동을 기간/사용자별로 필터링하여 사고 경위를 추적합니다.
응답 품질 디버깅
트레이싱에서 특정 메시지의 처리 과정을 단계별로 확인하고, LLM 분석 리포트를 생성합니다.
가드레일 정책 개선
가드레일 로그에서 탐지 패턴을 분석하여 오탐률을 줄이고 보안 정책을 강화합니다.
정기 점검 권장 주기
| 주기 | 점검 항목 |
|---|---|
| 일간 | 이상 사용 패턴, 가드레일 차단 이벤트 확인 |
| 주간 | 사용량 추이, 자동 평가 점수 트렌드 검토 |
| 월간 | 비용 분석 보고서, 감사 로그 요약, 가드레일 정책 리뷰 |
| 분기 | 전체 활용도 평가, 모델 비용 효율성 분석 |
세부 기능
사용량
토큰 사용량, 비용, 모델/사용자/조직별 분석
감사 로그
사용자 활동 기록 및 컴플라이언스 감사
가드레일 로그
민감 정보 탐지/차단 이벤트 로그
트레이싱
LLM 요청 처리 과정 단계별 추적
평가
수동 피드백 및 자동 품질 평가