98%의 비용 절감으로 새로운 경제성 확보
판정 결과를 반환하는 데 드는 비용이 100만 토큰당 $5.00가 아니라 약 $0.15로 낮아지면, 토큰 사용량을 더 이상 제한할 필요는 없습니다. 몇 가지 샘플이 아닌 모든 상호작용을 평가하고 보호하세요.
Luna
Luna 평가 모델
모든 상호작용을 평가하고 가드레일을 적용하도록 특별히 설계된 소형 언어 모델을 통해 합리적인 비용으로 전체 트래픽의 100%를 모니터링하세요.
모든 것을 평가하기에는 너무 높은 비용
프론티어 저지는 스캔된 100만 토큰당 약 $5.00의 비용이 발생할 수 있습니다. 프로덕션 규모에서는 모든 항목에 실행하기에 비용 부담이 너무 크기 때문에, 팀에서는 상호작용의 1~5%만 검사하고 나머지도 동일하기를 바랄 수밖에 없습니다. 하지만 놓치는 상호작용이 가장 큰 문제를 일으킬 수 있습니다. 미처 발견하지 못한 환각이나, 감지되지 않고 빠져나간 인젝션이 그 예입니다.
너무 느려서 아무것도 차단할 수 없음
프론티어 저지가 판정 결과를 반환하는 데까지 약 3,200ms가 소요될 수 있습니다. 그때쯤이면 이미 도구가 실행된 후이므로, 판정 결과는 이미 발생한 상황을 사후적으로 설명하는 데 그치게 됩니다. 감사는 할 수 있지만, 보호할 수는 없습니다. 반면 Luna는 약 152ms 만에 판정 결과를 반환하므로, 도구가 실행되기 전에 작업을 차단할 수 있을 만큼 빠릅니다.
결정론적, 단일 토큰 평가 점수
Luna는 단일 토큰으로 판정 결과를 반환하므로 결과 점수를 빠르고 일관되게 얻을 수 있습니다. 동일한 입력을 두 번 실행해도 동일한 답변을 얻을 수 있으며, 이는 모델을 저지로서 신뢰할 수 있게 해 주는 요소입니다. 또한 Luna는 사용자의 VPC 내부에서 실행되고 학습되므로 데이터가 방화벽 외부로 유출되지 않습니다.
코드 없이 Luna를 도메인에 맞게 튜닝
기본 제공되는 메트릭스를 사용하면 바로 시작할 수도 있지만, 각 도메인마다 올바른 결과에 대한 고유한 기준이 있을 수도 있습니다. Luna Studio를 사용하면 Luna의 판정 결과를 몇 건만 수정해도 사용자의 기준을 학습하여 자체 작업에서 약 95%의 정확도에 도달할 수 있습니다. 별도의 라벨링 파이프라인이나 모델 학습 전문 지식이 필요하지 않습니다. Studio에서 튜닝된 메트릭을 검토, 수정 및 배포하는 모든 작업을 진행할 수 있습니다.
기능
비용 증가 없이 실시간 평가 확장
프로덕션 환경에서 모든 상호작용 평가
대규모 모델의 비용과 지연 시간 부담 없이 상시 평가를 실행하세요. Luna-2의 미세 조정된 SLM은 100만 토큰당 몇 센트 수준의 비용으로 밀리초 단위의 빠른 판정 결과를 제공하므로, 대규모 프로덕션 환경에서도 실용적인 평가를 구현할 수 있습니다.
위험한 에이전트 동작이 실행되기 전에 포착
실수가 실제 작업으로 이어지기 전에 에이전틱 워크플로에 가드레일을 적용하세요. Luna-2는 실시간으로 도구 선택과 에이전트 흐름을 평가하여, 문제가 발생한 후에 탐지하는 것이 아니라 도구가 실행되기 전에 위험한 동작을 포착합니다.
에이전트의 속도를 저하시키지 않고 더 많은 검사 실행
수 초의 지연 없이 에이전트 동작의 여러 차원을 한 번에 평가할 수 있습니다. Luna-2는 L4 GPU에서 200밀리초 이내에 10~20개의 검사를 동시에 실행할 수 있어, 대규모 환경에서도 실시간 가드레일을 적용할 수 있습니다.
프로덕션 평가 비용 절감
모든 상호작용마다 프론티어 LLM 저지 비용을 지불하지 않고도 프로덕션 수준의 평가를 수행할 수 있습니다. Luna-2는 높은 정확도와 짧은 지연 시간을 유지하면서 100만 토큰당 $0.12의 비용으로 평가를 제공합니다.
에이전트가 실제로 작업을 완료하는지 확인
최종 응답 이상의 내용 측정합니다. Luna-2는 도구 오류, 도구 선택의 품질, 작업 진행 정도 및 작업 완료 여부를 평가하므로 에이전트가 사용자의 목표를 향해 성공적으로 나아가 이를 달성하는지 확인할 수 있습니다.
애플리케이션에 중요한 메트릭스를 확장
AI 애플리케이션에 특화된 동작을 평가합니다. Luna-2는 프로덕션 사용 사례에 맞는 맞춤형 LLM 메트릭스를 지원할 수 있으며, 경량 어댑터를 통해 최소한의 인프라 오버헤드로 단일 기본 모델을 수백 개의 메트릭스로 확장할 수 있습니다.
리소스
Splunk에 대한 추가 정보
Luna 평가 모델 자주 묻는 질문
Luna는 평가용으로 특별히 설계된 소형 언어 모델 제품군입니다. 이 모델은 에이전트 상호작용을 빠르고 경제적으로 평가하고 보호하므로, 일부 샘플이 아닌 트래픽의 100%를 합리적인 비용으로 모니터링할 수 있습니다.
프론티어 저지는 비용이 많이 들고 속도가 느리기 때문에, 팀에서는 전체 트래픽의 1~5%만 샘플링하여 평가하고 실제 작업이 실행된 후에야 결과를 검토할 수 있습니다. Luna는 에이전트 상호작용 평가라는 한 가지 작업만을 위해 구축되었으므로, 모든 것을 평가할 수 있을 만큼 저렴하고 실시간으로 보호할 수 있을 만큼 빠릅니다.
Luna는 LLM 저지 접근 방식보다 약 98% 낮은 비용으로 평가 및 가드레일을 실행하므로, 일부만 선별해 평가하는 방식에서 벗어나 모든 상호작용에 적용할 수 있는 경제성을 제공합니다.
예. Luna는 단일 토큰으로 판정 결과를 반환하므로 결과 점수는 결정론적입니다. 동일한 입력을 두 번 실행하면 동일한 결과를 얻을 수 있으며, 이러한 일관성이 모델을 저지로서 신뢰할 수 있게 하는 이유입니다.
네. Luna Studio를 사용하면 몇 건의 판정 결과만 수정해도 Luna가 사용자의 기준을 학습하므로, 별도의 라벨링 파이프라인이나 모델 학습 전문 지식 없이도 자체 작업에서 약 95%의 정확도를 달성할 수 있습니다.
