AI/LLM6 RLHF (Reinforcement Learning from Human Feedback) 이전 포스팅(03.18, by lt.mj)에서는 '효율적인 LLM 튜닝을 위한 PEFT기법'에 대해서 알아보았습니다. PEFT는 리소스와 시간의 제약으로 인해 AI 모델 개발자가 LLM을 직접 파인튜닝하기 어려울 때, 효율적으로 성능을 개선하는 방법으로 활용되었는데요 이번 포스팅에서는 우리에게 친숙한 OpenAI의 ChatGPT가 어떻게 '사용자 친화적인 대화형 AI'로 자리 잡을 수 있었는지, 그 비결인 RLHF(Reinforcement Learning from Human Feedback) 기법을 중심으로 살펴보겠습니다 1. RLHF란? RLHF는 사람의 피드백(Human Feedback)을 사용하여 강화 학습(Reinforcement Learning)을 개선하는 방법입니다. 간단히 말해, '사람이 .. 2025. 3. 27. 효율적인 LLM 튜닝을 위한 Parameter Efficient Fine-Tuning (PEFT) 이전 포스팅에서는 LLM의 학습 과정과 Fine-Tuning 방식에 대해 살펴보았는데요.2025.03.18 - [AI/LLM] - LLM의 학습 과정 이번에 Fine-Tuning의 한계를 극복하고 보다 효율적인 LLM 튜닝을 가능하게 하는 Parameter Efficient Fine-Tuning (PEFT) 기법에 대해 살펴보겠습니다.PEFT는 전체 모델을 다시 학습하는 Full Fine-Tuning과 비교하여 연산 비용과 메모리 사용량을 줄이면서도 특정 작업에 모델을 적응시키는 방법입니다. 이번 포스팅에서는 PEFT의 주요 기법인 Adapter Layers, LoRA, Prompt-Tuning에 대해 다뤄보려고 합니다. 1. Fine-Tuning의 한계와 PEFT의 필요성LLM을 Fine-Tuning할.. 2025. 3. 18. LLM의 학습 과정 이전 포스팅에서는 트랜스포머 구조의 등장과 그 학습 능력을 통해 대규모 언어 모델(LLM)이 나오게된 배경에 대한 내용을 포스팅 하였었습니다. 이번 포스팅에서는 LLM의 학습 과정과 주요 훈련 기법에 대해 다뤄보겠습니다.LLM을 학습하는 과정은 크게 사전 학습(Pre-training)과 미세 조정(Fine-tuning)으로 나뉩니다. 사전 학습의 경우 모델이 학습하는 방식은 자기지도 학습(Self-Supervised Learning)을 기반으로 하여 모델이 학습되고, 미세 조정의 경우 각 하위 목표에 맞는 방식으로 재학습 됩니다. (1) 사전 학습(Pre-training) 단계모델이 대규모 데이터셋을 통해 일반적인 지식을 학습하는 과정입니다이 과정에서 LLM은 자기지도 학습(Self-Supervised.. 2025. 3. 18. Large Language Models (LLMs) 이론 및 등장 배경 이번 포스팅에서는 대규모 언어 모델(Large Language Models, LLMs)의 바탕이 되는 트랜스포머 모델의 등장 배경과 LLM이 나올 수 있었던 이유에 대해서 알아보도록 하겠습니다.1. 기존 순환신경망 (Recurrent Neural Network)의 한계와 트랜스포머의 등장 LLM은 텍스트를 인식하고 생성하는 등의 작업을 수행할 수 있는 일종의 생성형 인공지능(Generative AI) 입니다. 기존의 AI 모델들과 달리 LLM은 방대한 양의 텍스트 데이터를 학습하여 뛰어난 언어 이해 및 생성 능력을 갖추게 되었습니다. 이러한 발전이 가능했던 핵심 요인은 바로 '트랜스포머(Transformer)' 아키텍처의 등장입니다. 트랜스포머 모델은 2017년 구글 연구팀이 발표한 "Attent.. 2025. 3. 14. LangChain의 핵심 아키텍처와 기능 살펴보기 최근 인공지능 기술이 빠르게 발전하면서 대형 언어 모델(LLM, Large Language Model) 을 활용한 애플리케이션이 활발히 개발되고 있습니다. 챗봇, 문서 요약, 코드 생성, 검색 증강 생성(RAG) 등 다양한 분야에서 LLM이 활용되고 있지만, 이를 효과적으로 개발하고 관리하는 것은 여전히 복잡한 작업입니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 LangChain입니다. LangChain은 LLM 애플리케이션 개발을 손쉽게 할 수 있도록 돕는 프레임워크로, 다음과 같은 기능을 제공합니다.Haystack, RAGFlow는 RAG를 최적화하는 데 집중한 프레임워크였다면 LangChain은 RAG뿐만 아니라 챗봇, 자동화된 에이전트, 워크플로우 체인 등 다양한 기능을 포함하는 LLM 개.. 2025. 3. 12. LLM 서빙을 위한 오픈소스 서비스 비교하기 ChatGPT, GPT-4 등 대규모 언어 모델(LLM, Large Language Model)이 빠르게 발전하면서 많은 주목을 받고 있습니다. 하지만 기존의 클라우드 기반 LLM은 API 사용량에 따라 비용이 급격히 증가할 수 있고 데이터 프라이버시 문제로 인해 민감한 정보 또한 외부 서버에 의존해야 한다는 한계가 있습니다. 이러한 문제를 해결하기 위해 최근에는 LLM을 자체적으로 서빙할 수 있는 다양한 오픈소스 소프트웨어가 등장하면서 이를 활용한 새로운 서비스들도 빠르게 출시되고 있습니다. 오픈소스 LLM은 자체 서버에서 데이터를 처리하기 때문에 보안성과 개인정보 보호 측면에서 유리하며, 로컬 또는 클라우드 인프라에 직접 배포하여 운영할 수 있어 장기적으로 비용 절감 효과도 기대할 수 있습니다. 또.. 2025. 2. 25. 이전 1 다음
