MIT 라이선스로 공개된 자율 실행 런타임 dsh와 에이전틱 컨트롤 플레인의 등장
팀원들과 노션에 정리된 이번 달 고객 피드백 데이터를 분석하려고 할 때, 과거에는 사람이 일일이 문서를 열고 주요 키워드를 요약하는 애플리케이션을 직접 실행해야 했습니다. 최근 영상 시연에서는 사람의 개입 없이 복잡한 다단계 작업을 대신 수행하는 자율 인공지능 에이전트의 구동 모습을 확인할 수 있었습니다. 딥시크는 에이전트가 스스로 계획을 세우고 도구를 호출하며 여러 전문가 모델과 협력할 수 있도록 돕는 실행 런타임인 디에스에이치(dsh)를 선보였습니다. 개발자는 MIT 라이선스로 배포된 이 오픈소스 도구를 활용해 작업의 상태를 지속해서 유지하며 업무를 완료하는 독자적인 기반을 구축할 수 있습니다. 사용자의 요청과 도구 설명을 바탕으로 에이전트가 적절한 시점에 도구를 호출하면, 그 결과로 반환된 구조화된 데이터를 다시 애플리케이션이 실행하는 방식으로 작동합니다.
에이전트가 도출한 결과물이 실제 업무 환경에서 의도한 조건을 충족하는지 점검하는 과정도 영상 시연에서는 구체적인 작업 순서로 제시되었습니다. 개발자는 에이전트 프로그램을 배포하기 전에 평가 도구를 활용하여 모델의 출력이 특정 스타일과 콘텐츠 기준에 부합하는지 반드시 테스트해야 합니다. 새로운 언어 모델로 업그레이드하거나 다른 방식을 시도할 때, 응용 프로그래밍 인터페이스를 통해 코드 단에서 평가 기준을 설정하면 어긋난 결과가 나오는 상황을 미리 막을 수 있습니다. 검증을 마친 에이전트는 주어진 권한을 바탕으로 독립적인 제어 평면 위에서 안전하게 동작하게 됩니다. 이를 통해 사용자는 화면 확인만으로도 에이전트가 지정된 계획에 따라 여러 단계의 업무를 무리 없이 완수하고 있는지 손쉽게 추적하고 파악할 수 있습니다.
Agents SDK의 상태 유지 메커니즘과 Claude Tool use의 구조화된 데이터 반환 흐름
사용자가 메신저 창에 복잡한 데이터 분석과 결과 보고서 작성을 한 번에 지시하는 상황을 떠올려 볼까요. 인공지능이 중간에 길을 잃지 않고 작업을 마칠 수 있는 이유는 에이전트의 상태 유지 방식 덕분입니다. OpenAI 문서에 따르면 이들은 스스로 계획을 세우고, 여러 전문가 모델과 협업하며 다단계 업무를 완수하도록 작업 상태를 기록하는 애플리케이션입니다. 여기서 눈여겨볼 부분은 판단과 실행 사이의 명확한 선 긋기입니다. Anthropic의 도구 호출 기능을 보면, 모델은 사용자의 요청과 도구 설명을 바탕으로 언제 외부 기능이 필요한지 결정합니다. 이후 모델이 화면을 직접 보고 코드를 돌리는 대신, 클라이언트나 서버 쪽 애플리케이션이 알아듣고 실행할 수 있는 구조화된 데이터를 반환하여 행동 제안만 넘기는 역할을 맡습니다.
명령을 내리는 주체와 실제 기능이 돌아가는 환경이 분리되어 있으므로, 반환된 데이터가 정상적인지 점검하는 단계가 뒤따릅니다. 공식 문서의 평가 가이드를 보면 모델의 출력 결과물이 사용자가 미리 지정한 형식과 내용 기준을 충족하는지 테스트하는 절차가 나옵니다. 개발자는 코드를 짜서 Evals API를 직접 구성하고, 새 모델을 얹었을 때 기대한 대로 동작하는지 성능을 추적하게 됩니다. 나아가 영상 시연에서는 자율 에이전트 구축을 돕는 오픈소스 실행 런타임으로 DeepSeek Harness를 소개하며 관련 동작 환경을 보여줍니다. 결과적으로 인공지능의 제안이 코드 실행으로 이어지기 전, 응답 형태를 평가 도구로 검증하고 독립된 런타임에 넘겨 작업을 분담하는 흐름이 만들어집니다.
단일 에이전트 정의부터 사용자 요청에 기반한 도구 호출 시점 판별과 실행까지의 순서
새로운 업무 자동화를 위해 처음 에이전트를 개발할 때는 여러 역할을 한 번에 모으기보다, 당장 필요한 특정 작업을 맡을 단일 대상을 정의하는 행동부터 시작합니다. 오픈에이아이(OpenAI)의 에이전트 소프트웨어 개발 도구(SDK) 빠른 시작 가이드를 보면 가장 먼저 도구를 설치한 뒤 하나의 에이전트를 정의하고 실행하는 작업 순서를 안내합니다. 현장에서 에이전트는 짧은 문답에 답하고 끝나는 것이 아니라, 여러 단계의 과제를 완수하기 위해 스스로 계획을 세우고 전문가와 협력하며 충분한 상태를 유지하는 애플리케이션 실행 주체로 동작합니다. 한 번의 지시로 긴 작업이 이어질 때 에이전트가 흐름을 놓치지 않고 다음 단계를 이어가는 작동 방식은 바로 이 상태 유지 능력에서 비롯됩니다.
설정된 에이전트가 데이터를 가져오거나 구체적인 행동을 취하려면, 사용자의 요청에 맞춰 언제 외부 도구를 써야 할지 정확히 판별하는 과정이 필요합니다. 앤스로픽(Anthropic) 클로드의 도구 사용 문서를 보면 모델은 사용자의 요청 내용과 제공된 도구 설명을 바탕으로 호출 시점을 스스로 결정하여 구조화된 호출 값을 반환합니다. 이후에는 개발자가 만든 애플리케이션이 직접 클라이언트 도구를 실행하거나 서버 측에서 이를 처리하는 순서로 이어집니다. 관련 영상 시연에서는 딥시크 하네스(DeepSeek Harness)가 자율 인공지능 에이전트를 구축하기 위한 오픈소스 기반의 실행 런타임으로 동작하는 모습을 보여줍니다. 판별된 도구 호출 명령을 받아 실제 환경에서 명령을 구동하는 별도의 실행 런타임이 맞물려야 지시한 작업이 마무리됩니다.
Evals API를 활용한 모델 출력 평가와 애플리케이션 신뢰성 확보를 위한 테스트 제약
새로운 인공지능 모델로 버전을 올린 뒤 기존에 잘 되던 기능이 갑자기 멈추거나 엉뚱한 데이터를 반환하는 상황을 실무에서 자주 겪게 됩니다. 에이전트가 예상치 못한 도구를 임의로 호출하는 것을 막으려면 오픈에이아이(OpenAI)의 Evals API를 사용하여 모델의 출력을 사전에 평가해야 합니다. 기술 문서에서는 이 과정을 모델이 사용자가 지정한 스타일과 내용 기준을 제대로 충족하는지 시험하는 절차로 정의합니다. 앤스로픽(Anthropic) 모델의 경우 사용자의 요청과 주어진 도구 설명을 바탕으로 어떤 기능을 쓸지 결정하고 구조화된 호출 내역을 반환하지만, 실제 그 코드를 넘겨받아 애플리케이션 실행을 담당하는 주체는 우리가 만든 클라이언트 프로그램입니다. 따라서 에이전트가 내린 결정이 곧바로 시스템에 반영되지 않도록 반환된 출력값의 형태를 먼저 검증하는 제약이 필요합니다.
단일 도구 호출을 넘어 다단계 작업을 수행하는 에이전트를 구축할 때도 명확한 안전 장치와 제약이 뒤따라야 합니다. 영상 시연에서는 딥시크 하네스(DeepSeek Harness)라는 오픈소스 런타임을 이용해 자율 에이전트 인프라를 구성하는 흐름을 자세히 보여줍니다. 여기서 에이전트는 작업을 끝마칠 때까지 필요한 상태 데이터를 계속 유지하고 스스로 행동 계획을 세우는 역할을 맡습니다. 모델이 복잡한 단계를 거쳐 내놓은 결괏값을 온전히 테스트하기 위해 개발자는 실제 운영 서비스 영역과 철저히 분리된 격리 환경을 구성해야만 합니다. 이 제한된 공간 안에서 에이전트의 출력을 평가하여 애플리케이션이 기대한 대로 작동하는지 꼼꼼히 파악하고, 치명적인 오류가 없다는 사람 승인을 거친 뒤에 배포하는 것이 애플리케이션의 신뢰성을 확보하는 올바른 길입니다.
애플리케이션 확장 기능 선택 전 클라이언트와 서버 간 도구 실행 주체의 경계 확인
에이전트에게 새로운 기능을 연결하려 할 때 가장 먼저 할 일은 실제 코드가 어디서 도는지를 파악하는 작업입니다. 앤스로픽의 기술 문서를 보면 모델은 사용자의 요청과 도구 설명을 바탕으로 언제 도구를 쓸지 결정한 뒤 구조화된 호출 형태만 반환합니다. 이 호출을 받아 실제 명령을 수행하는 주체는 여러분이 만든 애플리케이션(클라이언트 도구)이 될 수도 있고 인공지능 제공사(서버 도구)가 될 수도 있습니다. 첫 자동화 대상을 고를 때는 무작정 여러 기능을 붙이기보다 애플리케이션 실행 권한이 내부 클라이언트에 머무는 작은 단위를 선택하는 편이 낫습니다. 오픈에이아이의 에이전트 개발 소프트웨어 개발 키트(SDK) 가이드가 조언하듯, 하나의 에이전트를 정의하고 구동해보는 가장 기초적인 작업부터 시작해 다음으로 필요한 기능을 골라나가는 방식이 알맞습니다.
실행 주체를 정했다면 배포 이전에 결과물이 의도대로 나오는지 점검하는 작은 평가 단위를 만들어야 합니다. 오픈에이아이의 평가 가이드에 따르면, 이벌스(Evals) 응용 프로그래밍 인터페이스(API)를 사용해 모델의 출력값이 여러분이 지정한 형식과 내용 기준을 충족하는지 프로그래밍 방식으로 구성하고 테스트할 수 있습니다. 새로운 언어 모델로 업그레이드하거나 다른 모델을 시도할 때 애플리케이션이 기대만큼 동작하는지 파악하려면 꼭 필요한 확인 방법입니다. 영상 시연에서는 자율 에이전트 구성을 위한 오픈소스 실행 런타임인 딥시크 하니스(DeepSeek Harness)를 선보이는 모습을 볼 수 있는데, 모듈러 인프라 환경일수록 모델의 행동 제안이 우리가 정한 기준에 맞는지 코드로 검증하는 과정부터 챙겨두어야 합니다.
바로 써볼 체크리스트
시작 전에 확인할 것
도입 전후로 아래 항목만 확인해도, 자동화가 예상 밖으로 움직일 가능성을 크게 줄일 수 있습니다.
- 에이전트가 외부 도구를 호출할 때 사용자의 요청에 따라 생성된 데이터가 사전 정의된 스키마와 일치하는지 확인하고, 유효하지 않은 입력은 즉시 차단하여 시스템을 보호하는 입력 검증 로직이 정상 작동하는지 담당자가 직접 점검해야 합니다.
- 클라이언트 또는 서버에서 에이전트가 기능 실행이나 데이터 접근 시 최소 권한 원칙에 따라 부여된 권한 경계 내에서만 동작하는지 확인하고, 허용되지 않은 자원에 대한 접근 시도를 완벽히 차단하는지 권한 설정을 꼼꼼하게 점검해야 합니다.
- 모듈형 에이전트를 배포하기 전에 Evals API 등 평가 도구를 활용하여 출력 결과가 사전에 지정한 기대 성능과 안전 기준을 명확히 충족하는지 테스트 또는 평가를 수행하고, 모든 실패 사례와 잠재적 위험 요소를 상세하게 분석해야 합니다.
- 다단계 작업을 수행하는 에이전트가 계획을 수립하고 도구를 호출하며 상태를 유지하는 전체 실행 흐름과 의사결정 과정을 빠짐없이 기록하여, 문제 발생 시 신속하고 정확하게 원인을 파악할 수 있도록 로그/추적 체계를 완벽하게 갖추어야 합니다.
- 자율 에이전트 런타임 환경에서 실행 중 오류가 발생하거나 예상치 못한 결과가 도출될 경우 추가 손상을 막기 위해 즉시 작업을 멈추고 안전한 상태로 복구하는 실패 시 중단·되돌림 절차가 정상 작동하는지 배포 환경에서 철저하게 확인해야 합니다.
- 에이전트가 인프라 환경에서 중대한 상태 변경이나 민감한 데이터 수정 등 고위험 작업을 수행하기 전에는 반드시 지정된 관리자에게 내용을 보고하고 사람 승인을 받아야만 최종 실행되도록 안전한 워크플로우 제어 프로세스를 명확하게 구축해야 합니다.
참고 자료
- The Open-Sourcing of DeepSeek Harness Opens the Door to Modular, Unbundled AI Agent Infrastructure (InfoQ) https://www.infoq.com/news/2026/08/deep-seek-harness/
- OpenAI Agents SDK guide (OpenAI documentation) https://developers.openai.com/api/docs/guides/agents
- Tool use with Claude (Anthropic documentation) https://platform.claude.com/docs/en/agents-and-tools/tool-use/overview
- OpenAI evaluations guide (OpenAI documentation) https://developers.openai.com/api/docs/guides/evals