기록이 기억을 지배한다

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 이번 강의는 OpenAI의 GPT를 활용하여 리뷰의 긍부정을 판단하는 API 및 데모를 구축하는 과정에 대한 실용적인 내용을 담고 있었습니다. 특히 FastAPI, Streamlit, JSON 응답 처리 등 실무에서 바로 적용할 수 있는 기술들을 다룬 점이 인상적이었습니다.배운 점 & 핵심 인사이트GPT 활용 능력 강화GPT를 활용해 리뷰의 긍/부정을 판단하는 프롬프트 작성법을 배울 수 있었습니다.다양한 프롬프트 테스트를 통해 보다 정확한 응답을 유도하는 방법을 실습할 수 있었습니다.FastAPI 기반 API 구축10줄 내외의 코드만으로 API를 빠르게 구축할 수 있는 FastAPI의 강력함을 실감할 수 있었습니다.OpenAI API를 활..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 이 강의에서는 리뷰 데이터를 분석하여 긍정적, 부정적 키워드를 자동으로 추출하는 방법을 학습했습니다. 특히, OpenAI API를 활용한 프롬프트 엔지니어링, JSON 응답 구조화, Function Calling 기법을 적용하여 실무에서 사용할 수 있는 키워드 분석 시스템을 구축하는 것이 핵심이었습니다.🔹 주요 학습 내용프롬프트 최적화기본적인 텍스트 기반 분석에서 Prompt Template을 적용하여 동적 프롬프트 생성을 가능하게 함.한글보다 영어 프롬프트를 사용할 경우 성능 향상이 가능함을 확인.OpenAI API를 활용한 리뷰 분석gpt-3.5-turbo와 gpt-4-turbo 모델을 활용하여 리뷰 속 감정 키워드 추출.Functi..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.  이번 강의에서는 OpenAI의 GPT 모델을 활용하여 리뷰의 긍정/부정을 판단하는 API와 데모를 구축하는 방법을 배웠습니다. 단순한 텍스트 분석을 넘어 JSON 응답 처리, FastAPI 기반 API 개발, Streamlit을 활용한 데모 제작까지 다뤄 실제 서비스 개발에 적용할 수 있는 유용한 기술들을 익힐 수 있었습니다.1. 핵심 배운 점🔹 OpenAI API 사용법openai 패키지를 활용하여 GPT 모델을 호출하는 기본 방법을 학습JSON 형식으로 응답을 받기 위해 response_format={"type": "json_object"} 옵션 사용API 호출 시 비용 계산 방법 이해🔹 프롬프트 엔지니어링프롬프트 템플릿을 활용하..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 이번 강의에서는 네이버 리뷰 데이터를 분석하고 AI 고객센터를 개발하는 과정을 학습했다. OpenAI의 GPT API를 활용하여 FAQ 자동 생성, Q&A 응대 시스템 개발, 그리고 VectorDB를 활용한 검색 기능을 구현하는 내용을 다뤘다.1. 강의 개요 및 주요 내용네이버 리뷰 데이터 분석태스크에 맞는 프롬프트 작성법을 학습.OpenAI의 GPT API를 활용하여 리뷰 데이터를 분석하는 API 및 데모 개발.JSON 데이터 파싱의 다양한 방법을 익히며 데이터 구조를 이해하는 과정 포함. AI 고객센터 프로젝트FAQ 자동 생성 (GPT-3.5 기반): 상품 상세 텍스트 데이터를 바탕으로 FAQ를 자동 생성.FAQ 자동 생성 (GPT-4..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.  이번 강의에서는 평가용 테스트 케이스를 확보하고 변환하는 과정을 학습했다. 총 50개의 테스트 케이스를 확보하는 것이 목표였으며, 대화 데이터를 분석하여 2인 대화(20개)와 3인 이상 대화(30개)를 선별하는 방법을 실습했다.1. 데이터 필터링 및 수집 과정glob 모듈을 활용하여 특정 경로에서 JSON 데이터를 불러왔다.대화 참여자가 2명인 경우, 30턴 이상 진행된 대화를 필터링하여 20개의 데이터를 확보했다.참여자가 3명 이상인 경우에도 동일한 기준을 적용하여 30개의 데이터를 선정했다.대화의 첫 번째와 두 번째 문장이 동일한 경우 반복된 데이터로 간주하여 제거했다.결과적으로, 필터링된 데이터가 conversations 리스트에 ..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 이번 강의는 카카오톡 대화 요약 프로젝트를 중심으로 AI 서비스 개발과 모델링 파이프라인을 다루었습니다. 이전 프로젝트와 연속성을 갖추면서도, 실무에 적용할 수 있는 세부적인 요소들을 추가 학습할 수 있는 좋은 기회였습니다.🚀 배운 점 & 인사이트1️⃣ 후기 요약 vs. 대화 요약후기 요약은 주어진 텍스트를 요약하는 상대적으로 정적인 작업이라면, 대화 요약은 실시간성과 비용 측면에서 추가적인 고려가 필요함을 알게 되었습니다.특히, 실시간 대화 요약은 다양한 화자의 문맥을 유지하는 것이 중요하며, 모델링 과정에서 이를 어떻게 해결할지 고민해야 했습니다.2️⃣ 데이터 확보 방법론데이터 크롤링을 통한 기존 방식과 달리, 데이터 허브나 생성형 ..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 숙소 리뷰 데이터를 활용한 자연어 처리(NLP)와 LLM 기반 평가 방법을 다뤘다. 강의를 통해 실제 리뷰 데이터를 전처리하고, 평가 기준을 설정하며, LLM을 활용한 요약 및 평가 모델을 실습했다. 특히, MT-Bench 방식의 Pairwise 비교 평가와 다양한 샘플을 활용한 Baseline 모델 개발 과정이 인상적이었다.🔹 주요 포인트✅ 데이터 전처리:JSON 형식의 리뷰 데이터를 불러오고, 6개월 이내의 최신 리뷰만을 선별하는 방식긍정적 리뷰(별 5개)와 부정적 리뷰(별 4개 이하)로 나눠 가공✅ LLM 기반 요약:GPT 모델을 활용해 리뷰 요약을 수행다양한 temperature 값을 적용해 요약 스타일의 차이 분석✅ LLM 기반..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 1. 데이터 확보의 중요성서비스 개발에서 데이터 확보는 단순한 준비 과정이 아니라, 서비스 품질과 성능을 결정짓는 핵심 요소입니다. 특히, 후기 요약 같은 자연어 처리(NLP) 기반 서비스에서는 다양한 시나리오에서 테스트할 수 있도록 최대한 유사한 데이터를 확보해야 합니다.서비스 출시 전, 다양한 환경과 케이스에서 테스트후기 요약 방식이 서비스 기획 단계에서 어떻게 반영될지 고려충분한 평가 데이터 확보를 통해 객관적인 성능 검증2. 데이터의 유형과 활용데이터는 목적에 따라 평가 데이터, 학습 데이터, 참고 데이터로 구분될 수 있습니다.① 참고 데이터기존의 우수한 후기 요약 예시를 수집하여 기준을 마련유저가 원하는 요약 스타일이나 주요 키워..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 야놀자 리뷰 요약 프로젝트는 AI 서비스의 전체 개발 과정을 배워 볼 수 있다1. 프로젝트의 강점- 단순하면서도 실용적인 태스크리뷰 요약은 상대적으로 쉬운 NLP 태스크에 속하지만, 실제 서비스로 연결하려면 여러 가지 조건과 제약을 설정해야 한다. 특히, 주어진 텍스트만 활용하기 때문에 외부 지식이 필요 없다는 점에서 AI 모델을 실험하고 적용하기에 적합한 프로젝트였다.- End-to-End 개발 경험이 프로젝트는 단순히 AI 모델을 돌려보는 것이 아니라, 데이터 수집부터 모델 튜닝, 그리고 GUI 기반의 데모 제작까지 포함되었다. 따라서 단순히 AI 모델을 활용하는 것뿐만 아니라, 이를 서비스로 구현하는 과정까지 배울 수 있었다.- 실전..

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.Prompt Engineering 파트 실습 3 - 1. 평가 기준 설정 평가 지표는 단순한 숫자가 아니다강의에서는 대표적인 LLM 평가 지표(예: MMLU, ARC, HellaSwag, TruthfulQA 등)를 소개했다. 하지만 중요한 점은, 이 지표들이 절대적인 기준이 아니라 태스크에 따라 유의미한 차이를 보일 수 있다는 것이다.예를 들어, Mistral이 LLaMA2보다 더 높은 점수를 기록했지만, 특정 한글 Q&A 태스크에서는 반대의 결과가 나왔다. 즉, 모델 선택 시에는 전반적인 성능이 아니라, 실제 활용할 태스크와 평가 지표 간의 연결성을 고려해야 한다는 점을 깨달았다.단순한 정확도(Accuracy) 평가를 넘어, 의미를 고려한..