LLM을 넘어선 AI 시스템 설계: '에이전트 레이어'의 중요성
최근 인공지능(AI) 분야에서 가장 뜨거운 주제는 단연 거대 언어 모델(LLM)입니다. 사용자들은 최신 LLM의 성능 비교, 컨텍스트 창 크기, 추론 능력 등을 논하며 AI 기술 발전을 주시하고 있습니다. 하지만 실제 기업 환경에 도입되는 AI 시스템은 단순히 '가장 똑똑한 모델'을 사용하는 것만으로는 성공하기 어렵습니다.
AI 에이전트 레이어: 왜 필요한가?
전문적인 관점에서 볼 때, 기업용 AI 시스템의 핵심은 LLM 자체가 아니라, 모델 주변을 둘러싼 '아키텍처'입니다. 이 구조를 'AI 에이전트 레이어(AI Agent Layer)'라고 부릅니다. LLM은 언어를 생성하는 능력을 제공하지만, 실제 비즈니스 시스템이 요구하는 것은 신뢰할 수 있는 데이터 검색, 컨텍스트 기억, 안전한 도구 호출, 정책 준수, 상태 유지, 감사 추적 기록 등 훨씬 복잡하고 결정론적인 행동입니다.
예를 들어, 고객의 거래가 거절된 이유를 묻는 상황을 가정해 봅시다. LLM은 '카드 만료'나 '잔액 부족' 같은 일반적인 설명을 잘 할 수 있습니다. 하지만 실제 은행 시스템은 고객 정보를 조회하고, 특정 거래 기록을 검사하며, 사기 방지 신호를 평가하고, 내부 공개 정책에 따라 어떤 정보가 안전하게 공유될 수 있는지 판단해야 합니다. 이 과정에서 모델은 하나의 참여자일 뿐이며, 그 주변의 아키텍처가 결과의 유용성, 안전성, 규정 준수 여부를 결정합니다.
엔터프라이즈 시스템 관점에서의 AI 설계
전통적인 엔터프라이즈 소프트웨어는 항상 상태 관리(State Management), 트랜잭션 처리, 접근 제어(Access Control), 가용성, 장애 복구 등 견고한 원칙을 기반으로 설계되어 왔습니다. 이러한 걱정거리들은 인터페이스가 대화형이거나 추론 엔진이 신경망이라고 해서 사라지는 것이 아닙니다. 오히려 AI는 이 전통적인 엔터프라이즈 아키텍처의 중요성을 더욱 증폭시킵니다.
메모리(Memory) 관리: 가장 먼저 해결해야 할 문제
AI 에이전트에게 '기억'은 필수적입니다. 하지만 LLM 자체는 본질적으로 상태가 없는(stateless) 시스템입니다. 매 API 호출마다 이전 대화 내용을 다시 전달해 주어야만 마치 기억하는 것처럼 보일 뿐입니다. 기업의 비즈니스 프로세스는 연속성을 요구하며, 에이전트가 모든 상호작용 후 아무것도 기억하지 못한다면 실질적인 업무에 사용될 수 없습니다.
따라서 아키텍트는 어떤 종류의 메모리가 필요한지 명확히 정의해야 합니다. 단순히 대화 기록을 저장하는 것을 넘어, 다음과 같은 복잡한 형태의 메모리 관리가 필요합니다:
- 에피소드적 메모리 (Episodic Memory): 과거 결정 사항, 계정 이력, 이전 사고 보고서 등 시간 순서가 있는 장기 기억.
- 지식/의미론적 메모리 (Semantic Memory): 조직의 표준 운영 절차(SOP), 제품 문서, 도메인 지식 베이스와 같은 안정적인 정보.
- 절차적 메모리 (Procedural Memory): 승인 체계나 컴플라이언스 체크포인트처럼 버전 관리가 필요한 비즈니스 규칙.
이러한 장기, 구조화된 메모리를 관리하고 검색하는 과정은 단순한 텍스트 저장소를 넘어섭니다. 이는 데이터 플랫폼의 문제입니다.
PostgreSQL과 pgvector: 에이전트 메모리 구축의 최적 솔루션
오픈소스 DBMS 중 PostgreSQL은 AI 에이전트가 요구하는 복합적인 메모리 기능을 구현하는 데 매우 강력한 기반을 제공합니다. 특히 pgvector와 같은 확장 기능 덕분에 관계형 데이터베이스의 안정성과 벡터 검색의 유연성을 동시에 확보할 수 있습니다.
관계형 필터링과 의미론적 검색의 결합
순수한 벡터 데이터베이스는 유사도 검색(Similarity Search)에 최적화되어 있지만, 기업 환경에서는 단순히 '비슷한' 정보를 찾는 것만으로는 부족합니다. 반드시 접근 제어, 사용자 ID 기반 필터링, 유효 기간 체크, 특정 부서/민감도 레벨 등 전통적인 데이터베이스의 엄격한 거버넌스(Governance)가 필요합니다.
PostgreSQL은 이 두 가지 요구사항을 하나의 트랜잭션 내에서 처리할 수 있게 합니다. 즉,
음성 브리핑으로 듣기
글 내용을 음성 브리핑 영상으로도 정리했습니다. 이동 중이거나 화면을 오래 보기 어려울 때 아래 영상으로 핵심 흐름을 먼저 확인할 수 있습니다.
원문 출처 및 참고 자료
이 글은 아래 원문 자료를 바탕으로 작성되었습니다.
- 제목: Vibhor Kumar: The AI Agent Layer: Architecture, Implementation, and the Future of Intelligent Enterprise Systems
출처: Planet PostgreSQL
URL: https://postgr.es/p/9md - 제목: Why cloud native belongs at the heart of agentic AI: Lessons from building a multi-agent security platform on Kubernetes
출처: CNCF Blog
URL: https://www.cncf.io/blog/2026/06/17/why-cloud-native-belongs-at-the-heart-of-agentic-ai-lessons-from-building-a-multi-agent-security-platform-on-kubernetes/ - 제목: Security advisory: CVE-2026-9740 and CVE-2026-11933 in Percona Server for MongoDB
출처: Percona Blog
URL: https://www.percona.com/blog/security-advisory-cve-2026-9740-and-cve-2026-11933-in-percona-server-for-mongodb/