AISI 평가 저장소 공개는 에이전트 벤치마크를 재사용 가능한 체계로 묶었다

핵심 요약

• AI Security Institute는 2024-11-13 공개 평가 저장소 발표를 냈다.
• 이 저장소는 Inspect AI용 공개 평가 모음을 저장소와 문서 사이트로 제공한다.
• 에이전트 성능과 안전성 평가는 자체 스프레드시트가 아니라 재사용 가능한 평가 코드와 데이터로 관리되는 방향이 강해졌다.

맥락

• 에이전트 품질 평가는 단일 점수보다 작업군, 채점 방식, 재현 가능성이 중요하다.
• AISI 공개 저장소는 평가 사례를 모아 내부 평가 설계의 출발점으로 쓰기 좋다.

판단 근거

• AISI 블로그가 2024-11-13 공개 날짜와 공개 평가 모음의 목적을 제공한다.
• GitHub 저장소와 문서 사이트는 에이전트, 코딩, 안전성 평가 항목의 실제 구현을 보조한다.
• 평가 체계를 새로 만드는 팀에는 직접 벤치마크를 만들기 전 기준 후보로 채택할 가치가 있다.

근거 해석

AISI 발표와 공개 저장소가 공개 날짜, 평가 저장소 목적, 에이전트 관련 평가 범위를 확인한다.

비교 축

• AISI 공개 평가 저장소 vs 자체 평가 저장소
• 에이전트 벤치마크
• 안전성 평가

추천

에이전트 품질 게이트를 만들면 채택하라. 공개 평가를 그대로 신뢰하기보다 내부 작업군과 함께 섞어 기준선을 만들어야 한다.

위험

• 내부 작업과 평가 범위 불일치
• 평가별 유지보수 상태 차이
• 모델별 채점 편차

출처

• 블로그 Announcing Inspect Evals
  AI Security Institute 주근거

  2024-11-13 공개 평가 저장소 날짜와 공개 평가 모음 목적 확인 자료

  https://www.aisi.gov.uk/blog/inspect-evals
• 저장소 inspect_evals
  AI Security Institute 보조근거

  AISI 공개 저장소의 평가 구현과 에이전트 관련 평가 항목 확인 자료

  https://github.com/UKGovernmentBEIS/inspect_evals