전체 글
단편과 시리즈 글을 모두 모았습니다. 최신 글부터 읽거나 관심 있는 주제로 찾아보세요.
주제별로 보기
-
SSE와 Streamable HTTP 2부 — SSE만으로는 부족한가? 양방향 통신과 RPC의 문제
1부에서는 SSE(Server-Sent Events)가 어떻게 하나의 HTTP Response를 이용해 서버에서 클라이언트로 데이터를 계속 전달할 수 있는지 살펴봤습니다. 핵심은 단순했습니다. HTTP Response는 반드시 한 번에 전달될 필요가 없다. 하나의 HTTP Response를 종료하지 않고 데이터를…
-
SSE와 Streamable HTTP 1부 — HTTP 연결 하나로 데이터를 계속 보내는 SSE
LLM을 이용한 서비스를 개발하다 보면 자연스럽게 스트리밍(Streaming)이라는 말을 접하게 됩니다. ChatGPT에 질문을 입력했을 때를 생각해봅시다. 답변 전체가 완성될 때까지 기다렸다가 한꺼번에 화면에 나타나는 것이 아니라, 생성되는 내용이 조금씩 화면에 나타납니다. 서버에서는 아직…
-
AI 개발자가 알아야 할 비동기 프로그래밍 2부
동기와 비동기의 진짜 차이 — async는 동시에 실행한다는 뜻일까? 1부에서는 AI 서비스를 개발할 때 왜 비동기 프로그래밍에 대한 이해가 중요한지 살펴봤다. 특히 FastAPI API Server가 하는 일을 보면 CPU로 직접 계산하는 시간보다…
-
AI 서비스는 왜 개발할 때는 잘 되는데 운영에 가면 터질까?
AI 개발자가 알아야 할 비동기 프로그래밍 1부 AI 서비스를 개발하는 일은 예전보다 훨씬 쉬워졌다. Python으로 FastAPI API 서버를 만들고, LLM API를 호출하고, Vector DB를 연결하면 생각보다 빠르게 서비스를 만들 수 있다. 예를…
-
Pixel RAG 3부(Part2) — ColPali·ColQwen과 Qdrant로 구현하는 Visual Document Retrieval
18. Pixel RAG에서 GPU는 필요한가? 여기서 현실적인 문제가 나온다. Text Embedding Model은 비교적 가볍다. 하지만 Visual Document Retriever는 Vision-Language Model을 기반으로 하기 때문에 훨씬 무겁다. 특히 문서 적재 시 다음 과정이 필요하다.…
-
Pixel RAG 3부(Part1) — ColPali·ColQwen과 Qdrant로 구현하는 Visual Document Retrieval
1부에서는 Pixel RAG가 무엇인지 알아봤고, 2부에서는 기존 Text RAG 시스템에 Pixel RAG를 추가하면 아키텍처가 어떻게 달라지는지 살펴봤다. 이번에는 한 단계 더 들어가 보자. 실제로 Pixel RAG의 Visual Retrieval은 어떻게 구현할까? 여기서 중요한…
-
Pixel RAG 2부 — 기존 RAG 시스템에 Pixel RAG를 붙이면 무엇이 달라질까?
1부에서 Pixel RAG의 기본 개념을 살펴봤다면, 이번에는 조금 더 실전적인 이야기를 해보자. 이미 운영 중인 RAG 시스템에 Pixel RAG를 추가하려면 무엇을 바꿔야 할까? 결론부터 말하면 기존 RAG를 버리고 Pixel RAG로 다시 만드는…
-
Pixel RAG 1부 — RAG가 문서를 ‘읽는’ 방식이 달라지고 있다.
RAG(Retrieval-Augmented Generation)는 이제 생성형 AI 서비스를 만들 때 가장 많이 사용되는 아키텍처 중 하나가 되었다. 기업 내부 문서를 검색하거나, 매뉴얼을 기반으로 질문에 답하거나, 수많은 보고서에서 필요한 정보를 찾아주는 AI 서비스를 생각해보자. 일반적인…
SSABLE / Engineering Notes 홈으로 돌아가기 →