칩이 아니라 ‘공장’을 판다 — NVIDIA가 AI 팩토리 전체를 하나의 청사진으로 묶었다. · NVIDIA DSX 종합 분석 전력이 병목인 시대, 경쟁의 단위는 FLOPS가 아니라 ‘메가와트당 토큰’이다. NVIDIA DSX는 단일 칩·서버
[카테고리:] Tech
어떤 설정으로 vLLM을 빠르게 할 것인가?
그 설정, 다른 모델에서도 통한다. 거의. — vLLM Performance · Engineering Notes vLLM Performance · Engineering Notes — 2편 그 설정, 다른 모델에서도 통한다. 거의. 전편에서 정리한 suffix 구성을 10개
AIDC인가? AI Token Factory 인가?
Classical IDC에서 AIDC로 — 16-Layer 패러다임 전환 Uptime을 임대하던 부동산이 → tokens/watt를 생산하는 공장이 되었다 Classical IDC와 AIDC는 같은 단어 두 개로 묶이지만, 전력·냉각·네트워크·운영 KPI가 사실상 다른 운영 체계다 —
vLLM은 이미 빠르다. 당신이 설정을 안 켰을 뿐
vLLM Performance · Engineering Notes 코드 한 줄 고치지 않고, vLLM에 이미 들어 있는 내장 설정만으로 Llama-3.3-70B 추론을 6개 워크로드 전부 가속한 156셀 측정 리포트. ────────────────────────────────────── vLLM 소스에는 손대지 않았다.
GPU은 어떻게 AI 시대의 핵심이 되었는가? – NPU, XPU
AI 개발에 대규모 GPU는 필수적인 요소로 간주된다. 한국 정부는 2025년 초 부족한 GPU를 공공 인프라 형태로 제공할 계획을 발표하였다. 이 시리즈의 핵심 주제이기도 하다. 그런데 국내외적으로 다양한 설계를 기반으로 다양한
GPU은 어떻게 AI 시대의 핵심이 되었는가? – AI 발전의 역사
GPU에 대해서 자세히 알아 보기 위해서는 AI 발전의 역사를 살펴 보아야 한다. 특히 2번째 AI 겨울을 끝내고 지금의 AI 기술의 확산에 큰 기둥 중 하나이기 때문이다. 그래서 이번 포스팅에서는 1950년대
AI 리터러시(Literacy)
AI 리터리시란 무엇인가? AI 리터러시, 모두 영어로 적혀 있는 AI 리터러시는 무엇일까? 쉽게 말해서 AI 리터러시는 AI를 잘 활용하는 것 뿐 아니라 AI를 비판적인 관점에서 오류 없이 사용하고, 결과물이 윤리적