[LLM] 머신러닝 Flow

누구나 하는 머신러닝?! 예... 그날이 오고야 말았습니다

 

---

1. 데이터 수집 및 전처리

위키 데이터를 다운로드하거나 API를 통해 가져옵니다.
텍스트 데이터를 정제하고 불필요한 마크업을 제거합니다.
문장 토큰화, 전처리 작업을 진행합니다.

 

2. 데이터 학습 방법 선택

지도 학습 기반 분류 모델
비지도 학습 기반 임베딩 모델
대화 모델 (seq2seq, transformer)

 

3. 모델 구현 기술 스택

Python (권장)
프레임워크: PyTorch, TensorFlow
라이브러리:
데이터 처리: pandas, numpy
자연어 처리: NLTK, spaCy
머신러닝: scikit-learn, Hugging Face Transformers

 

4. 모델 훈련 단계

데이터셋 분할 (훈련, 검증, 테스트)
모델 아키텍처 설계
하이퍼파라미터 튜닝
손실 함수 및 최적화 알고리즘 선택

 

5. 챗봇 인터페이스 개발

Flask, Django 등 웹 프레임워크
프론트엔드: React, Vue.js
API 엔드포인트 구현
대화 로직 설계

 

6. 평가 및 개선

대화 일관성 테스트
응답 정확도 평가
사용자 피드백 수집
지속적인 모델 fine-tuning

 

 

 

 

예 일단 가는데까지 가봅시다