1. Vector DB 구성 1) Loader- PDF Loader: LangChain에서 PDF 문서를 불러와 RAG 시스템에 사용할 수 있도록 변환하는 도구from langchain.document_loaders import PyMuPDFLoader# PDF 파일 로드pdf_path = "2025년 사이버 위협 전망 보고서.pdf"pdf_loader = PyMuPDFLoader(path + pdf_path)# 문서 로드 실행documents_pdf = pdf_loader.load()# 출력 확인print(f"총 {len(documents_pdf)} 개의 페이지가 로드됨") - csv 로더: 각 행을 하나의 Document 객체로 변환data = pd.read_csv(path+'sample.csv')d..
[RAG] 1. 벡터 DB 구성과 RAG 파이프라인 구축
1. Vector DB 구성 1) Vector DB 정의: 대규모 텍스트 데이터 및 임베딩 벡터를 저장, 검색용 2) Vector DB 과정텍스트 추출: Loader다양한 문서로부터 텍스트 추출하기 = > 텍스트 분할: Splitterchunk 단위로 분할Document 객체로 만들기 => 텍스트 벡터화: Text Embedding => Vector DB로 저장: Vector Store 2. 벡터 디비 구성과정 1) Loader다양한 소스에서 문서를 불러오고 처리하는 과정을 담당 from langchain.document_loaders import TextLoader# 텍스트 파일 경로 지정file_path = "상록수.txt"# TextLoader를 이용하여 문서 로드loader = TextLoa..