AWS·UC버클리, AI 에이전트 대기 중 실행 멈추는 ‘인피니티’ 공개

아마존웹서비스(AWS)와 미국 UC버클리가 23일 AI 에이전트가 외부 도구의 응답을 기다리는 동안 실행 상태를 저장하고 처리를 멈추는 오픈소스 런타임 ‘인피니티(Infinity)’를 공개했다. 긴 대기 시간에 프로세스를 계속 묶어두는 방식과 달리 응답이 들어올 때 필요한 작업만 다시 시작하도록 설계했다.

대기 중엔 대화 기록 저장, 응답 오면 재개

AWS의 기술 설명에 따르면 인피니티는 모델 응답 생성과 도구 호출을 한 단위로 처리한다. 에이전트가 도구를 부르면 대화 기록을 저장한 뒤 해당 작업 단위를 끝내고, 도구의 결과가 입력 대기열에 들어올 때 새 작업을 시작한다. 같은 에이전트의 메시지는 순서대로 처리하고 서로 다른 에이전트의 작업은 병렬로 수행한다.

이 설계는 코드 빌드나 승인 요청처럼 결과가 늦게 오는 작업을 염두에 뒀다. AWS가 제시한 서버리스 배치 예시에서는 대기 중인 에이전트의 AWS 람다 실행이 끝난다. 다만 기록 저장소, 메시지 대기열, 외부 도구나 다음 모델 호출까지 비용이 없어지는 것은 아니다. AWS는 실제 운영비 절감액을 제시하지 않았다.

‘8GB에서 7만5000개’는 측정치 환산

AWS는 모의 모델과 메모리 내 저장소를 이용해 AMD EPYC 9R14 서버 프로세서의 단일 스레드에서 에이전트 8만 개를 시험했다고 밝혔다. 각 에이전트는 20차례 대화했고, 모델 응답은 약 1.2KB였다. 대기 상태의 에이전트당 메모리 증가량은 약 100KB로 측정됐다.

회사가 내세운 ‘8GB에 약 7만5000개’는 이 메모리 증가율을 라즈베리파이5의 8GB 용량에 대입한 수치다. 라즈베리파이에서 그 수만큼 구동한 실측 결과는 아니다. 실제 대화 기록이나 도구 출력이 커질 때의 메모리 사용량, 실제 모델과 저장소를 쓴 운영환경의 처리 성능도 이 시험만으로 알 수 없다.

프로젝트의 공개 저장소에는 코드가 게시됐고 사용 안내 문서도 제공된다. AWS는 인피니티를 정식 관리형 서비스가 아닌 초기 연구 공개판이라고 설명했다. 라이선스는 아파치 2.0이다.

대표 이미지: AI 생성 이미지 / 데이마크

출처: https://aws.amazon.com/blogs/opensource/introducing-infinity-a-runtime-for-extreme-agent-concurrency

https://github.com/hydro-project/infinity

https://infinity.hydro.run/docs/infinity-runtime/quickstart/launching-your-first-agent/