박현애 AI 엔지니어

문제 정의와 결과 해석은 연구실이 담당했고, 담당 범위는 구현이었습니다. 이 시기 작업의 정량 결과는 남아 있지 않습니다.

환자 데이터가 병원 네트워크 밖으로 나갈 수 없어 추론을 100% 온프레미스로 구성했습니다. 검색은 임상의가 판단하는 순서를 따라 유사 증례를 먼저 보고, 가이드라인은 최신성으로 재정렬해 폴백으로 둡니다.

납품 저장소는 병원 자료라 비공개이며, 정량 지표는 공개하지 않습니다.

병원 시스템을 Vertex AI로 포팅하면서 평가를 다시 만들었습니다. 처음에는 24/24 통과, groundedness 5.0이 나왔는데, 이때 판정 모델에는 검색된 문서가 전달되지 않은 상태였습니다.

실제 근거를 넣고 다시 돌리자 20/24, groundedness 4.42가 됐고, 모델의 환각 4건과 제 계측 코드 결함 3건이 함께 드러났습니다. 수정 후에도 4/24는 근거 없는 문장을 인용하며, 그 한계를 숫자와 같이 공개했습니다.

위 평가가 드러낸 실패를 대상으로 7B 모델을 QLoRA로 튜닝했습니다. 홀드아웃 30건에서 조작 인용은 2 → 0이 됐지만, 학습 전 기록해둔 대로 과잉 거절이 나타났습니다. 원인은 abstain 라벨 8/37(22%) 오류였습니다.

라벨을 고쳐 재학습한 v2는 grounding +0.23, helpfulness +0.17이었고, 3/30은 여전히 과잉 거절합니다. 이 규모에서 어댑터는 순이득이 아니며, 공개한 권장안은 베이스 모델 + 엄격 프롬프트 + 안전성 리뷰어 게이트입니다.