이전 글에서 ollama로 llama 3를 로컬에서 실행해서 사용해 보았었다.ollama 프롬프트에 몇 가지 질문을 던져보면 원하는 답변을 얻을 경우도 있지만 말도 안 되는 엉터리 답변도 그럴싸하게 진실인 것처럼 답변을 한다.이런 현상을 AI 할루시네이션(Hallucination : 환각)이라고 하는데 다양한 원인들로 인해 발생하고 이를 줄이기 위해 다양한 해결 방법을 사용해야 한다.LLM에 학습되지 않은 지식을 주입하는 방법이 몇 가지 있다.Fine-Tuning : 현재 사용하는 model에 새로운 지식에 대한 dataset을 추가 학습Retrieval-Augmented Generation (RAG) : 응답을 생성하기 전 학습 datasource 외부의 신뢰할 수 있는 지식 베이스를 참조하도록 하는 ..

LLaMA 소개https://llama.meta.com/LLaMA (Large Language Model Meta AI)는 메타에서 만든 오픈소스 모델이다.LLaMA 1의 경우 2023년 2월 24일에 학계를 대상으로 오픈소스로 공개되어 수많은 파생형 모델들이 탄생하였다LLaMA 2의 경우 2023년 7월 18일에 학계뿐만 아니라 기업도 사용 가능하도록 공개하였다.LLaMA 3의 경우 2024년 4월 18일 공개되었다.META의 LLaMA 뿐만 아니라 많은 LLM 모델들이 현재 경쟁하고 있다.최단기간 가장 많은 가입자/이용자를 달성하여 파장을 일으킨 OpenAI의 ChatGPT 또한 현재 GPT-4o 가 공개된 상황이고이외에도 Google의 Gemini, Antropic의 Claude, Mistral A..

python 공부할 때 package 관리/ 가상 환경 관리를 위해 pipenv를 사용해 본 적이 있다.2020.08.25 - [Study/Python] - Python 개발 환경 구성하기, pipenv 사용하기4년 정도 지나고 요즘엔 어떤 게 있나 찾아보니 poetry가 괜찮은 듯하여 한번 사용해 보았다.https://python-poetry.org/poetry 이외에도 다양한 package 관리 / 가상 환경 관리 도구가 있다.https://ritza.co/articles/gen-articles/pipenv-vs-virtualenv-vs-poetry-vs-pyenv-vs-pip/poetry 설치하기https://python-poetry.org/docs/뭔가 여러 방법의 설치 방식을 안내하고 있고 py..

stable diffusion 소개whisper를 사용해 본 김에 ai 관련 오픈소스를 찾아보니 stable diffusion이 있었다. stable diffusion은 2022년에 공개된 오픈소스로 text to image 인공지능 모델이라고 한다. 이미지에 대한 여러 단어들과 각종 설정들을 통해 이미지를 생성하거나 생성된 이미지를 기반으로 다시 재생성을 하기 위한 다양한 기능을 제공하여 생성된 이미지를 다듬어나갈 수 있다. https://github.com/Stability-AI/stablediffusion stable diffusion은 whisper와 동일하게 python으로 제공된다. 다만 whisper처럼 단순하게 음성을 텍스트로 변환하는 게 아닌 이미지 생성과 관련한 다양한 설정을 편하게 하..

Whisper 소개 Whisper는 Open AI에서 공개한 인공지능 모델로 음성을 분석해 텍스트로 변환할 수 있다. https://openai.com/ https://github.com/openai/whisper 로컬에서 python으로 실행해 볼 수도 있고 whisper를 좀 더 편하게 쓸 수 있는 오픈 소스들이 github에 계속 만들어지고 있는 듯하다. Whisper 설치 사전 준비 다음의 사전 준비를 하면 된다. Python 설치 GPU를 사용할 수 있도록 CUDA Toolkit 설치 CUDA에 cuDNN(CUDA Deep Nural Network Library)을 추가 CUDA와 cuDNN 설치를 하지 않아도 whisper를 사용할 수 있다. CUDA Toolkit 설치 CUDA Toolkit..

TensorFlow 2.x는 1.x와 개발 형태가 매우 달라졌다. 2.x에서는 기존 코드를 사용할 수 있는 호환 기능을 제공하지만 기본적으로 아예 새로 만드는 게 좋다. 하지만 대부분의 학습 문서가 아직은 1.x 코드 기준이라 공부하기 어려운 경우가 많다. 이 경우 TensorFlow에서 제공하는 스크립트를 사용하여 1.x의 코드를 2.x에서 돌릴 수 있도록 변환하여 학습을 진행하고 이후 2.x의 코드로 다시 공부해보는 것도 방법일 수 있을 것 같다. tf_upgrade_v2 변환 스크립트 사용하기 TensorFlow 2.x를 받으면 tf_upgrade_v2 스크립트를 제공한다. 1.x의 코드를 2.x에 호환되도록 변경하려면 아래처럼 변환 스크립트를 사용하면 된다. tf_upgrade_v2 --infil..

Python 설치하기 python 설치 Welcome to Python.org 64bit로 설치해야함 (다운로드 이후 64 어쩌구 있는지 확인) 설치 시 옵션에 있는 add path 처리가 기본 비활성화인데 이거 체크 안 하면 수작업으로 path 추가해야 함 (체크하고 설치를 권장함) 추가되는 path는 2개임 C:\Users\bluesky\AppData\Local\Programs\Python\Python38\ C:\Users\bluesky\AppData\Local\Programs\Python\Python38\Scripts\ tensorflow를 사용하려면 반드시 64bit로 다운로드하여야 함 pip 사용 업그레이드 pip install --upgrade pip pip로 tensorflow 설치하기 In..