본문 바로가기

전체 글200

GPU VRAM과 모델 서빙 요건 — 그리고 H100×8로 GLM-5.2 서빙 가능한가 0. 한눈에 보는 결론H100(80GB) 8장(합산 640GB)으로는 GLM-5.2(744B)를 공식 정밀도(BF16/FP8)로 서빙할 수 없다. FP8 가중치만 ~744GB로, 8장 합산 VRAM 640GB를 가중치 단계에서 이미 초과한다 (런타임 오버헤드·KV cache는 계산할 것도 없음). 공식 권장 구성은 H200/H20 8장(141GB×8 = 1,128GB) 단일 노드(FP8)이다.1. 모델 서빙 VRAM = 세 가지 합LLM을 GPU에 올려 서빙할 때 필요한 VRAM은 크게 세 덩어리로 나뉜다. 구성요소무엇인가크기를 좌우하는 것① 가중치모델 파라미터 자체파라미터 수 × 정밀도(바이트) — 고정② 런타임 오버헤드활성값(activation), CUDA/드라이버 컨텍스트, NCCL 통신버퍼, 메모.. 2026. 6. 24.
REST API 와 Stateless 개념 정리 REST API 와 RESTful, 그리고 Stateful vs Stateless 정리1. REST API 란?1-1. REST 의 뜻REST = REpresentational State Transfer직역하면 "표현(Representation)을 통한 상태(State)의 전달(Transfer)" 이다.2000년 Roy Fielding의 박사 논문에서 제안된 아키텍처 스타일(설계 원칙) 이다.특정 기술이나 프로토콜이 아니라, "웹(HTTP)을 잘 쓰는 방법에 대한 약속/스타일" 이다.1-2. 풀어서 이해하기Resource(자원): 서버가 다루는 모든 것(회원, 게시글, 상품 등). 각 자원은 URI로 식별된다.예: /users/1 → "1번 사용자"라는 자원Representation(표현): 그 자원의 .. 2026. 6. 23.
nginx 개념 정리 nginx 개념 정리1. nginx란?nginx(엔진엑스) 는 오픈소스 웹 서버(Web Server) 소프트웨어다.정적 파일을 빠르게 내려주고, 클라이언트의 요청을 뒤쪽 서버로 전달(프록시)하는 역할을 한다.2004년에 등장 (당시 Apache의 동시접속 처리 한계를 개선하려는 목적)이벤트 기반(Event-driven), 비동기(Asynchronous) 구조 → 적은 자원으로 많은 동시접속 처리웹 서버 외에도 리버스 프록시 / 로드 밸런서 / 캐시 서버 / API 게이트웨이 로 두루 쓰인다한 줄 요약: "요청을 가장 앞단에서 받아 정적 파일은 직접 주고, 동적 요청은 뒤(WAS)로 넘겨주는 입구 역할"2. 왜 쓰는가? (nginx의 존재 이유)2-1. 정적 콘텐츠를 빠르게 처리HTML, CSS, JS, .. 2026. 6. 19.
github clone 시 classic token 입력하는법 리모트 서버에 붙어서 git clone을 하는법 1번방법. git clone https://github.com/ID/repo_name.git여기서 password을 github에서 발급받은 토큰을 넣어야 하는데 터미널 환경에서 비밀번호 붙여넣기가 안되는 경우가 있다. 그럴때는 2번 방법으로. 2번방법.git clone https://@github.com/ID/repo_name.git여기서 가 github에서 발급받은 토큰 2025. 8. 18.

티스토리툴바