Chat GPT 성능평가 방법

궁금해서 정리해 봅니다.

---

Reference

1. ChatGPT의 응답품질은 시간이 지남에 따라 어떻게 평가되고 개선되나요?

https://botpress.com/ko/blog/how-is-the-quality-of-chatgpts-responses-evaluated-and-improved-over-time

1) 응답 품질평가에서 인간 검토자의 역활

- 인간 검토자는 ChatGPT 답변이 의도한 목표와 기대에 얼마나 잘 부합하는지 평가함
- 인간 검토자는 ChatGPT 가 인간과 같은 텍스트를 생성하는지의 품질을 평가한다
- 인간 검토자는 ChatGPT 가 공감할 수 있는 답변을 제공하고, 사용자의 우려사항을 효과적으로 해결하는지 문석한다. 

2) 응답 정확도 평가

- ChatGPT의 정확도를 평가하기 위해서는 쿼리를 얼마나 잘 이해하고, 정보를 제공하는지 평가해야 함.
- 답변이 해당 분야의 전문가가 작성한 고품질의 테스트와 얼마나 유사한지 분석하는 것도 중요
- 모델 정확성 평가 방법 
   : 구체적인 질문을 하고 답변이 정확하고 신뢰할 수 있는지 검토 한다 (예: 특정 질환의 증상, 잠재적인 치료 옵션 질문)

3)