[LLM] Day1. 올라마Ollama , gemma2 9b 모델 설치

0. 올라마? Ollama?

LLM(Large Language Model)
- 사람들이 사용하는 자연어(글자와 말)를 이해하고 생성하도록 훈련된 AI 모델

모델
- AI가 "학습한 뇌"
- 데이터를 보고 학습한 결과를 담고 있음.

Ollama는 LLM 모델을 쉽게 사용하거나 관리할 수 있도록 도와주는 프레임워크임!

 

---

 

1. 올라마 선택 이유

지도/비지도 학습이 모두 가능한 올라마로

로컬 설치가 가능한 올라마로

보안도 함께 잡으면서 그 쉽다는 머신러닝을 시작해보겠습니다.

사실은 라마가 귀여워서 맘에 들었습니다.

 

---

 

2. 올라마 설치

올라마 다운로드

저는 윈도우10을 쓰고있기에 Windows로 용감하게 다운

 

설치 하겠냐말겠냐 따윈 없군. Install 누르면 바로 다운됩니다.

저 뚱한 라마표정 진짜 귀엽다

 

올라마 라이브러리

 

 

---

 

3. 모델 설치

 

일단 나는 쫄보니까 70B의 거대한 용량을 컴퓨터가 감당할수없을것같기에

gemma2 9b로 먼저 간다 (사실 llama3.3 가고 싶었는데 70B말곤 선택지가 없어서 우솨함 ㅠ)

https://ollama.com/library/gemma2:9b

파라미터 7B -> 70억개

파라미터 70B -> 700억개 (이때부턴 GPU 고성능 필요)

 

 

나는 window니까, cmd에 올라마 다운된거 확인한 번 하고

쿨하게 명령어 쳐준다

C:\Users\admin>ollama --version // 올라마 설치확인
ollama version is 0.5.4


C:\Users\admin>ollama run gemma2:9b // 모델 설치

설치중...