Issue #46 RAG Golden Set·보안·품질 E2E 자산화

[dhslove]

개요

Issue #46의 7개 저장소·9개 Source Profile RAG Golden Set, 보안 경계, 삭제·복구, Activepieces E2E와 운영 산출물을 구현하고 시험 서버에 배포했습니다.

Closes #46

주요 구현

• AI Gateway 0.6.0 Evaluation Run 생성·실행·결과 API와 70개 D0 Golden Question 추가
• 질문·기대 답변·실제 답변·Citation·자동 판정·Codex 판정을 전건 보존
• Active Source 무중단 REINDEX와 외래키 성능 인덱스 2개 추가
• UTF-8 7,936 bytes 입력 상한, 최대 128개·합계 256KiB 동적 OpenAI Embedding Batch 적용
• 공백 파일, 긴 단일 라인, 긴 관계명, 중복 Parser Chunk 처리 보강
• Citation에 sourceKind를 포함해 고정 Commit lineage 자동 판정을 복구
• 422 Validation 응답의 Content-Length 불일치 수정
• Activepieces Evaluation Flow를 1~9개 Source Profile 범위로 확장
• 실 OpenAI Compose Override, 서버 배포·롤백·장애 복구 Runbook 추가

실증 결과

• 9개 Source Profile 모두 실제 OpenAI Embedding으로 ACTIVE
• Golden Question 70건
  • 자동 엄격 판정: 48/70
  • Codex 수용: 59/70
  • 기대 ANSWERED 60건 중 수용 가능 답변: 49건, 81.7%
  • 올바른 보류: 10/10, 100%
  • 실제 답변 Citation 포함률·라인 해석률: 100%
  • Branch·Repository·Test-only·Prompt Injection·Secret·Allowlist 경계 위반: 0건
  • Provider P95: 6,028ms
• 승인 Compatibility Set의 Cloud Europa + qemu-exec-tools 교차 답변과 Escalation Profile 확인
• 미승인 Cross-Repository 2건 모두 보류
• Activepieces Run 성공, AI 평가 6/6 통과
• D1 요청 422 거절, Provider 호출 증가 0
• Canary 삭제 후 Chunk·Embedding·Symbol·Relation 잔존 0
• AI Gateway 0.6.0 -> 0.5.0 -> 0.6.0 롤백·복구 및 OpenAI·DB·Vector Ready 확인

검증

• AI Gateway 단위·계약 테스트: 112개 통과
• Event Gateway 테스트: 23개 통과
• OpenAPI: 23개 Operation
• Activepieces RAG Flow: 5개 유효
• Golden Set: 70건, 코드/스키마 26건, 9개 Profile
• PDF 보고서 76페이지, PPTX 10장, 발표 PDF 10페이지
• PPTX overflow 검사 및 전체 PDF 페이지 렌더링·시각 검수 통과
• 32개 Artifact Manifest 체크섬·링크·Secret Pattern 검증 통과

검토 자료

• docs/reports/issue-46-golden-set-quality-security-e2e-validation.md
• docs/runbooks/golden-set-quality-security-e2e.md
• output/issue-46-live-evaluation.json
• output/issue-46-server-evidence.json
• output/pdf/techflow-golden-set-quality-security-e2e-report.pdf
• output/presentation/techflow-golden-set-quality-security-e2e.pptx
• output/pdf/techflow-golden-set-quality-security-e2e-presentation.pdf