패스트캠퍼스 환급챌린지 6일차 미션(2월6일):프롬프트 엔지니어링으로 시작하는 AI/LLM 서비스 개발 강의후기
본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
숙소 리뷰 데이터를 활용한 자연어 처리(NLP)와 LLM 기반 평가 방법을 다뤘다. 강의를 통해 실제 리뷰 데이터를 전처리하고, 평가 기준을 설정하며, LLM을 활용한 요약 및 평가 모델을 실습했다. 특히, MT-Bench 방식의 Pairwise 비교 평가와 다양한 샘플을 활용한 Baseline 모델 개발 과정이 인상적이었다.
🔹 주요 포인트
✅ 데이터 전처리:
- JSON 형식의 리뷰 데이터를 불러오고, 6개월 이내의 최신 리뷰만을 선별하는 방식
- 긍정적 리뷰(별 5개)와 부정적 리뷰(별 4개 이하)로 나눠 가공
✅ LLM 기반 요약:
- GPT 모델을 활용해 리뷰 요약을 수행
- 다양한 temperature 값을 적용해 요약 스타일의 차이 분석
✅ LLM 기반 평가:
- AI 모델 간의 성능 비교를 위해 MT-Bench 스타일 평가 방법론 적용
- 한 개의 기준 요약(Baseline)과 실제 요약을 비교하여 성능을 판단
- 단순한 점수 평가보다 Pairwise 비교 방식이 더 효과적이라는 점 이해
🔹 인사이트
📌 "평점이 높다고 무조건 긍정적인 리뷰는 아니다"
리뷰 텍스트를 분석하면서, 별 4개를 준 리뷰에서도 부정적인 요소(방음 문제, 청결 이슈 등) 가 존재한다는 것을 확인했다. 평점만 보고 사용자 만족도를 판단하는 것은 한계가 있음을 알게 되었다.
📌 "LLM 요약은 중요 정보를 압축하지만, 모델 성능에 따라 핵심 포인트가 달라진다"
같은 데이터를 요약하더라도 temperature 설정에 따라 요약 스타일이 변화하며, 단순 요약보다 구체적이고 세부적인 정보를 담은 요약이 평가에서 더 높은 점수를 받는다는 점을 배웠다.
📌 "LLM 모델 평가에서는 Pairwise 방식이 점수 기반 평가보다 신뢰도가 높다"
단순한 점수 부여 방식보다, 두 개의 요약을 직접 비교하는 방식이 더 객관적이라는 점을 실습을 통해 이해했다.
① 오늘자 날짜, 공부 시작 시각
② 오늘자 날짜, 공부 종료 시각
③ 클립 1번 수강 인증 사진
④ 클립 2번 수강 인증 사진
⑤ 학습 인증샷 1장 이상 (ex. 필기 촬영, 작업물, 등)
몇일째 해결을 못하고 있다.
