샌프란시스코 & 노이다, 인도--(뉴스와이어)--세계 최초의 에이전트 기반 AI 품질 엔지니어링 플랫폼인 테스트뮤 AI(TestMu AI)(구 람다테스트(LambdaTest))는 에이전트 어슈어런스(Agent Assurance)의 정식 출시를 발표했다. 에이전트 어슈어런스는 도구 호출, 파일 작성, 기록 변경과 같은 작업을 수행하는 AI 에이전트를 테스트한다. 이 테스트는 에이전트가 수행했다고 주장하는 내용이 아니라 실행 과정에서 실제로 변경된 내용을 확인한다. 이제 모든 팀은 데모 예약 없이도 테스트뮤 AI 계정을 생성하고 자체 에이전트를 대상으로 테스트를 수행할 수 있다.

에이전트 어슈어런스는 대기자 명단과 안내식 온보딩 세션 기반으로 2026년 8월 17일에 출시되었다. 그 이후로 에이전트 어슈어런스를 실행하는 CLI인 루크(Rook)는 초기 팀의 피드백을 반영하여 꾸준히 릴리스를 출시해 왔다.

에이전트 평가는 주로 최종 답변을 기준으로 이루어지는데, 그 답변이 에이전트 자체의 업무에 대해 잘못된 정보를 제공할 수도 있다. 규제되는 고객 경험 워크플로에서 LLM 에이전트의 성능을 평가하는 벤치마크인 CX벤치(CXBench)에서 2026년 10월에 발표한 내용을 따르면, 올바른 결과를 도출한 실행의 80.1%가 여전히 프로세스 검사에 실패했으며, 두 가지 검사를 모두 통과한 경우는 13.8%에 불과했다. 잘못된 도구를 사용하거나 필수 단계를 건너뛴 에이전트라도 성공으로 보고할 수 있다. 그렇기 때문에 에이전트 어슈어런스는 최종 판정을 내리기 전에 실행의 영향을 검사한다. 여기에는 팀이 연결한 후크를 통해 보고된 에이전트가 수행한 도구 호출과 변경된 레코드, 메시지 및 아티팩트가 포함된다. 관찰할 수 없는 모든 항목은 ‘확인 불가’로 보고되며, ‘통과’로 보고되는 경우는 절대 없다.

에이전트 어슈어런스 정식 출시 버전의 기능

· 자동 생성된 테스트 스위트: 에이전트의 PRD, 정책 문서 또는 API 사양과 같은 문서와 해당 엔드포인트에서 파생된 기능적 및 공격적 시나리오. 코드베이스 추가는 선택 사항이며, 추가 시 더 심층적인 분석 결과를 얻을 수 있다.

· 레드티밍: LLM 애플리케이션의 OWASP 톱10 및 10대 에이전트 기반 애플리케이션의 OWASP 톱10에 나열된 20가지 위험 요소 모두에 매핑된 다중 턴 공격을 비롯한 25가지 공격 패턴. 보고서는 위험 요소별로 정리되며, 어떤 테스트가 진행되었는지, 각 공격이 어떤 수준에 도달했는지, 그리고 어떤 내용이 확인되었는지를 보여준다.

· 증거에 기반한 판정: 모든 평가 기준은 통과, 실패 또는 확인 불가로 끝나며, 각 판정은 근거가 되는 증거를 명시한다. ‘확인 불가’는 절대 통과로 간주되지 않으며, 보고서에는 확인되지 않은 각 결과가 별도로 나열되고 해당 결과를 확인하는 데 필요한 사항이 명시된다.

· 품질, 성능 및 토큰 경제: 기능 및 공격자 테스트 외에도 실행 과정에서 출력 품질과 명령 준수 여부를 확인하고, 에이전트가 토큰 사용량을 보고할 때 토큰 효율성(작업당 비용, 상세도 및 중복 도구 호출)을 측정하며, 매 턴마다 지연 시간을 기록한다.

· 근본 원인 분석: 요청 시 루크는 실패한 테스트를 그룹화하고 각 그룹에 대해 예상 원인과 해결 방법을 제시한다. 문서와 엔드포인트만 있어도 충분히 시작할 수 있으며, 에이전트 코드를 추가하면 더 심층적인 근본 원인을 파악할 수 있다.

· CI에서의 회귀 테스트: 각 실행은 이전 실행과 비교되며, 마지막 실행 이후 새로 실패한 테스트에는 플래그가 지정된다. 액세스 키 로그인은 브라우저가 없는 CI 실행기에서 작동하며, 깃허브 액션(GitHub Actions), 젠킨스(Jenkins) 및 아르고 CD(Argo CD)용 레시피를 제공한다.

· 다중 에이전트 테스트: 에이전트 어슈어런스는 사람이 개입하지 않고 서로 작업을 인계하는 에이전트 팀이나 웹훅을 통해 n8n 에이전트를 평가할 수 있다.

· 제어된 쓰기: 에이전트의 쓰기는 실질적인 동작이므로 루크는 실행 계획을 보여주고 대화형 실행 전에 확인을 요청한다.

· 공급자 키 없음: 루크는 에이전트의 용도를 파악하고, 시나리오를 작성하며, 사용자가 에이전트를 실행하는 방식대로 에이전트를 실행하고, 모델은 테스트뮤 AI의 컨트롤러에서 실행된다. 호스팅된 클라우드 UI는 무제한 팀 규모에 대한 결과를 보여준다.

· 감사용 기록: 테스트 대상 에이전트로 전송되는 모든 메시지, 모든 응답, 모든 도구 호출 및 모든 판정은 자격 증명, 토큰 및 키가 가려진 상태로 세션 트랜스크립트에 기록된다.

· 개발자들의 작업 공간에서 작동: 맥OS(macOS), 리눅스(Linux) 또는 윈도우즈(Windows)에서 터미널이나 클로드 코드(Claude Code), 코덱스(Codex) 또는 제미나이 CLI(Gemini CLI) 내에서 에이전트 어슈어런스를 실행하고 npm, 홈브류(Homebrew) 또는 설치 프로그램을 사용하여 루크를 설치할 수 있다.

테스트뮤 AI의 공동 창립자 겸 제품 책임자인 마얀크 볼라(Mayank Bhola)는 에이전트 어슈어런스의 정식 출시에 대해 “에이전트가 작업을 완료했다고 말하더라도 여전히 작업이 잘못되었을 수 있다. 에이전트 어슈어런스는 답변을 평가하지 않고, 해당 실행이 무엇을 변경했는지를 평가하며, 판단할 수 없을 때는 그렇다고 명확하게 알려준다. 그렇기 때문에 ‘확인 불가’는 절대 통과로 간주되지 않는다. 추측이 수반된 통과율은 아예 수치가 없는 것보다 더 나쁘다. 팀들은 그 수치를 바탕으로 배포를 결정하기 때문이다. 초기 팀들은 가장 어려운 단계가 첫 실행에 이르는 것이라고 말했기 때문에 우리는 영업 전화 단계를 없앴다. 이제 팀은 에이전트 어슈어런스 시스템을 첫날부터 자사 에이전트에게 적용하여 에이전트의 행동 중 어느 부분이 검사되었는지 정확하게 확인할 수 있다”고 언급했다.

테스트뮤 AI 엔지니어링 그룹 SVP 비풀 베르마(Vipul Verma)는 “에이전트를 사용하면 실행할 때마다 경로가 바뀔 수 있다”며 “그래서 우리는 경로를 예측하려는 시도를 멈추고 에이전트가 실제로 어디에 도달했는지, 무엇을 변경했는지, 무엇을 보냈는지, 무엇에 영향을 미쳤는지 확인하기 시작했다. 정식 출시를 통해 이제 모든 팀이 에이전트 어슈어런스로 자사 에이전트의 실제 활동을 확인할 수 있으며, 에이전트가 주장하는 내용뿐만 아니라 실제 활동 내역도 확인할 수 있다”고 말했다.

출시 상태

에이전트 어슈어런스는 테스트뮤 AI 계정에 가입하는 모든 사용자에게 일반 공개되어 있다. 사용자는 4000 크레딧과 4개의 동시 실행을 포함하는 14일 무료 체험판으로 시작할 수 있다. 시나리오와 실행 결과는 팀이 유료 플랜으로 전환하는지 여부와 관계없이 팀 저장소에 일반 파일 형태로 유지된다.

에이전트 어슈어런스는 testmuai.com/agent-assurance에서 이용 가능하다.

자주 묻는 질문

에이전트 어슈어런스란 무엇인가?

에이전트 어슈어런스는 AI 에이전트가 보고한 내용이 아닌 에이전트가 실제로 변경한 내용을 평가하는 테스트이다. 루크 CLI는 코드나 문서에서 테스트 스위트를 생성하고, 해당 스위트에 대해 에이전트를 실행하고, 팀이 연결한 후크를 통해 도구 호출 및 그 영향을 확인하고, 확인할 수 없었던 사항은 별도로 보고한다. 루크 CLI는 일반적으로 이용 가능하며 누구나 설치할 수 있다.

에이전트 어슈어런스는 CI/CD 파이프라인에서 실행될 수 있는가?

그렇다. 에이전트 어슈어런스는 헤드리스 CI 실행기를 위한 액세스 키 로그인을 지원하며 깃허브 액션, 젠킨스 및 아르고 CD용 레시피를 제공한다.

테스트뮤 AI는 어떤 AI 에이전트를 테스트할 수 있는가?

테스트뮤 AI는 에이전트 어슈어런스를 통해 코딩, 워크플로, 백오피스 및 멀티 에이전트 시스템을 테스트하고, 에이전트 테스팅(Agent Testing)을 통해 채팅, 음성, 전화, 비디오 및 이미지 에이전트를 테스트한다.

에이전트 어슈어런스 무료 체험판이 제공되는가?

사용자는 4000 크레딧과 4개의 동시 실행 기능을 제공하는 14일 무료 체험판을 이용할 수 있다.

테스트뮤 AI 소개

테스트뮤 AI(구 ‘람다테스트’)는 팀이 지능적으로 테스트하고 더 빠르게 출시할 수 있도록 지원하는 풀스택 에이전트 기반 AI 품질 엔지니어링 플랫폼이다. 확장성을 고려하여 설계되었으며 AI 네이티브 방식으로 구축된 이 플랫폼은 웹, 모바일 및 엔터프라이즈 애플리케이션 전반에 걸쳐 소프트웨어 품질을 계획, 작성, 실행 및 분석하는 엔드투엔드 AI 에이전트를 제공하며, 실제 장치, 실제 브라우저 및 맞춤형 실제 환경에서 작동한다.

이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.