- 프로젝트명(Project name, 프로젝트의 핵심 기능을 명확하고 간결하게)
- LLM Fine-tuning group study
- 한 줄 요약 및 목적(Summary)
- 진행기간 및 참여인원(Period and Members)
- 기간: 2024.12.30 ~ 2025.1.23
- 참여인원: 27
- 주요 기능 및 역할(Main features and Role)
- 내 역할
- google/gemma-2b-it full fine-tuning
- meta-llama/Meta-Llama-3.1-8B-Instruct LoRa fine-tuning
- 사용 기술 및 툴(Used tools: Languages, Frameworks, libraries, DB, Env)
Python Runpod HuggingFace-libraries Weights & Biases(wandb)
- 성과 및 배운 점(Achievement & Learned)
- PEFT 기법 학습.
- Quantumization 기법 학습.
- 관련 링크(Related links)
- Study Intro: https://cafe.naver.com/wikibookstudy/1846
- Github: https://github.com/gwangmin/llm-finetuning
- Blog post: https://gwangmin1.tistory.com/category/AI/LLM%20%EC%8A%A4%ED%84%B0%EB%94%94?page=1