• 프로젝트명(Project name, 프로젝트의 핵심 기능을 명확하고 간결하게)
    • LLM Fine-tuning group study
  • 한 줄 요약 및 목적(Summary)
    • LLM 파인튜닝 과정에 대한 공부 및 실습.
  • 진행기간 및 참여인원(Period and Members)
    • 기간: 2024.12.30 ~ 2025.1.23
    • 참여인원: 27
  • 주요 기능 및 역할(Main features and Role)
    • 내 역할
      • google/gemma-2b-it full fine-tuning
      • meta-llama/Meta-Llama-3.1-8B-Instruct LoRa fine-tuning
  • 사용 기술 및 툴(Used tools: Languages, Frameworks, libraries, DB, Env)
    • Python Runpod HuggingFace-libraries Weights & Biases(wandb)
  • 성과 및 배운 점(Achievement & Learned)
    • PEFT 기법 학습.
    • Quantumization 기법 학습.
  • 관련 링크(Related links)
    • Study Intro: https://cafe.naver.com/wikibookstudy/1846
    • Github: https://github.com/gwangmin/llm-finetuning
    • Blog post: https://gwangmin1.tistory.com/category/AI/LLM%20%EC%8A%A4%ED%84%B0%EB%94%94?page=1