비전 AI 운영과 성능 관리

# 성능 지표 계산 및 모니터링 (수도코드) # === Prometheus 메트릭 정의 === # - inference_latency (Histogram): 추론 지연 시간 # - inference_count (Counter): 총 추론 횟수 # - model_accuracy (Gauge): 롤링 정확도 # - false_positive/negative_rate (Gauge): 과검출/누출률 # === 성능 지표 계산기 === class PerformanceMetrics: # 1. 윈도우 기반 레코드 관리 (최근 1000개) # 2. 메트릭 계산 (calculate_metrics) # - 기본: 총 추론수, 검증수, 평균 신뢰도 # - 지연: 평균, P95, P99 latency # - 검증된 데이터로 Confusion Matrix 계산 # TP, TN, FP, FN → accuracy, precision, recall, F1 # - 비즈니스 지표 # FPR (과검출률), FNR (누출률) # === 모델 성능 모니터 === class ModelPerformanceMonitor: # 1. 초기화 # - station_id, model_version # - 알람 임계값 설정 # accuracy_min: 95%, FP_max: 5%, FN_max: 1% # 2. 추론 결과 기록 (record_inference) # - Prometheus 메트릭 업데이트 # 3. 수동 검증 결과 업데이트 (샘플링 검증) # 4. 알람 체크 (check_alerts) # - 정확도 하락 → CRITICAL # - 과검출 증가 → WARNING # - 누출 증가 → CRITICAL (가장 심각) # - P99 지연 증가 → WARNING # 5. 건강 상태 판정 # - HEALTHY / DEGRADED / WARNING / CRITICAL

# 데이터 드리프트 탐지 (수도코드) # === 이미지 특징 추출기 === class ImageFeatureExtractor: # ResNet18 사전학습 모델 사용 # 마지막 FC 제거 → 특징 벡터 출력 # 이미지 → 특징 벡터로 변환 # === 통계 기반 드리프트 탐지 === class StatisticalDriftDetector: # 1. 참조 데이터 설정 (학습 시점 분포) # 2. 슬라이딩 윈도우로 현재 데이터 관리 # 3. PSI (Population Stability Index) 탐지 # - 각 특징 차원별 버킷 분포 비교 # - PSI = Σ (actual - expected) * ln(actual/expected) # - PSI > 0.1 → 드리프트 감지 # 4. KS 테스트 (Kolmogorov-Smirnov) # - 각 차원별 분포 차이 검정 # - Bonferroni 보정 적용 # - p-value < 0.01 → 드리프트 감지 # === 예측 결과 기반 드리프트 탐지 === class PredictionDriftDetector: # 1. 참조 분포 설정 (정상 운영 시점) # 2. 레이블 드리프트 탐지 # - Pass율 변화 모니터링 # - 이항 검정으로 유의성 판단 # - 변화율 > 5% & p < 0.01 → 드리프트 # 3. 신뢰도 드리프트 탐지 # - 평균 신뢰도 변화 모니터링 # - Welch's t-test로 검정 # - 변화 > 0.05 & p < 0.01 → 드리프트

# 자동 재학습 파이프라인 (수도코드) # === 재학습 트리거 유형 === # SCHEDULED: 정기 재학습 # DRIFT_DETECTED: 드리프트 감지 # PERFORMANCE_DROP: 성능 저하 # NEW_DEFECT_TYPE: 새 불량 유형 # === 재학습 파이프라인 === class RetrainingPipeline: # 1. 재학습 필요 여부 판단 (should_retrain) # - 정확도 < 95% → 성능 저하 # - drift_score > 0.1 → 드리프트 감지 # - 새 불량 100건 이상 → 새 불량 유형 # 2. 학습 데이터 준비 (prepare_training_data) # - 기존 학습 데이터 로드 # - 새로운 검증된 샘플 추가 (30일간) # - 클래스 균형 조정 (PASS:FAIL = 3:1) # - Train/Val 분리 (8:2) # 3. 새 모델 학습 (train_new_model) # - 기존 모델 기반 전이학습 # - 새 버전 생성 (v{날짜시간}) # - 모델 레지스트리에 STAGED로 등록 # 4. 모델 검증 (validate_new_model) # - Shadow 모드: 현재 vs 새 모델 비교 # - 모든 지표에서 회귀 없음 확인 # - 정확도 1% 이상 개선 필요 # - 결과: DEPLOY 또는 REJECT # 5. 모델 배포 (deploy_model) # - 카나리: 10% → 25% → 50% → 75% → 100% # - 각 단계 5분 모니터링 # - 문제 시 자동 롤백

# 운영 모범 사례 구현 (수도코드) # === Fallback 모드 === # MANUAL_INSPECTION: 수동 검사 전환 # PASS_ALL: 전량 Pass (위험 - 품질 이슈) # FAIL_ALL: 전량 Fail (보수적 - 생산성 저하) # === 운영 설정 === # 샘플링 검증 비율 # - Pass 판정: 1% 수동 검증 # - Fail 판정: 10% 수동 검증 # - 낮은 신뢰도(<0.8): 100% 검증 # 타임아웃: 200ms # 연속 실패 임계값: 5회 # === 비전 AI 운영자 === class VisionAIOperator: # 1. 검사 실행 (inspect) # - 타임아웃 포함 추론 # - 실패 시 Fallback 처리 # - 샘플링 검증 대상 결정 # 2. 샘플링 검증 로직 # - 낮은 신뢰도 → 항상 검증 # - 높은 신뢰도 Pass → 1% 확률 # - Fail → 10% 확률 # 3. Fallback 활성화/해제 # - 연속 5회 실패 시 활성화 # - CRITICAL 알람 발송 # - 건강 체크 통과 시 자동 해제 # 4. 건강 체크 (health_check) # - 테스트 이미지로 추론 테스트 # - 지연 시간 확인 # - 상태: HEALTHY / DEGRADED / UNHEALTHY # === 다중 모델 라우터 === class MultiModelRouter: # 제품 코드별 전문 모델 매핑 # 기본 모델 설정 # 적합한 모델로 요청 라우팅