mdls

지금까지 소개한 copilot, chatGPT, Gemini, Claude등 여러 생성형 AI의 장점은 좋은 퀄리티의 답변을 받을 수있다는 것인데. 사용자가 원하는 정보를 빠르게, 또 가장 최근 업데이트 된 내용으로 얻을 수있게 해주지만, 동시에 인터넷에 연결되어 정보가 새어나갈 수있다는 큰 단점이 생기기도 한다. 가장 실용적일 수있는 실무에 이용하기가 어렵다는 것이다. 회사에서 이메일을 작성하거나 NDA가 포함된 민감한 서류를 첨부하여 분석할때는 이런 인공지능을 활용하기 어려운게 현실이다.

그런데 만약 내 컴퓨터에서, 인터넷 연결 없이 인공지능의 도움을 얻을 수있다면? 훨씬 실용적인 방법이 될수 있지 않을까? 오늘은 로컬 컴퓨터에서 인공지능을 사용할 수있는 Ollama를 소개하려 한다.

LLaMA는 Meta(구 페이스북)에서 개발한 차세대 LLM으로 현재는 오픈소스로 무료로 다운로드 하여 사용 가능하다. 윈도우 10 이상의 버전에서만 작동하며 Mac이나 Linux 운영체제를 사용한다면 바로 다운로드를 통해 이용 가능하다. 

LLaMA를 실행하기 위해서는 Ollama 웹사이트(링크는 위에)에서 실행 파일을 인스톨한뒤 커맨드 라인을 입력하면 된다.

터미널을 켜서 아래의 커맨드 라인을 입력하면 바로 실행 가능하다.

ollama run llama2

인터넷 연결이나 멤버십 없이도 나만의 챗지피티, 인공지능을 사용 가능하게 된 것이다. 이렇게 다운로드 하였다면 원하는 질문을 물어보면 된다. 예를 들어 핫초콜릿 레시피를 물어봤는데. 간단한 질문에는 대답을 잘 하지만, 조금 어렵거나 복잡한 질문에는 온라인으로 사용 가능한 인공지능보다 질적으로 많이 떨어진 답변을 받게 된다.

게다가 치명적인 단점이 두가지 있는데.

답변의 신뢰도가 많이 낮다는 점과 영어 이외의 언어로 답변/해석하는 데에는 큰 한계가 있다는 것이다.

예를 들면 핫초콜릿 레시피를 알려달라는 내용을 영어로 작성했을때의 대답과 한국어로 이를 해석해달라 했을때의 결과가 눈에 띄게 차이가 있다는 것이다. 갑자기 러시아어, 일본어, 영어 등을 섞어서 대답하지를 않나 또 번역한 한국어라 하더라도 말도 안되는 단어 선택을 한다는 것이 마치 처음 챗지피티가 나왔을때가 떠올랐다.

이런 문제를 해결하기 위해 Ollama웹사이트에서 라이브러리에 있는 여러 모델을 함께 다운로드하여 사용하는 것을 추천한다. 가장 인기있는 모델로는 Gemma와 Mistral이 있다.