#Ollama
3개 글
SGLang은 vLLM보다 빠를까 — 로컬 LLM 서빙 엔진 선택 기준
SGLang, vLLM, Ollama를 RadixAttention, PagedAttention, OpenAI 호환 API, 설치 난이도, 운영 리스크 관점에서 비교하고 로컬 LLM 서버 도입 기준을 정리했다.
나만의 LLM Wiki 구축 전략: 로컬 LLM·RAG·노트·업무지식을 연결하는 실전 설계도
M5 프로맥스 128GB급 로컬 환경에서 LLM Wiki를 구축하려는 사람을 위해 노트 구조, RAG, 벡터DB, 로컬 LLM, 문서 수집, 보안, 운영 루틴까지 심층 분석했습니다.
Ollama만 쓸까, vLLM까지 볼까 — 로컬 LLM 추론 엔진 선택 기준
Ollama와 vLLM을 로컬 LLM 실행, 병렬 요청 처리, PagedAttention, OpenAI 호환 서버 관점에서 비교하고 개인·팀이 언제 vLLM을 검토해야 하는지 정리했다.