MLflow 3는 에이전트 평가와 관측성을 실험 관리 안으로 합쳤다

핵심 요약

• MLflow는 2025-06-09 MLflow 3 출시를 발표했다.
• 출시 글은 실험, 관측성, 거버넌스가 하나의 AI 시스템 관리 흐름으로 합쳐졌다고 설명한다.
• 에이전트 품질 관리는 단순 로그 저장보다 평가, 추적, 승인 기록을 함께 묶는 방향으로 이동했다.

맥락

• 에이전트 제품은 모델 성능뿐 아니라 도구 호출, 대화 흐름, 실패 사례를 함께 추적해야 한다.
• MLflow를 이미 쓰는 조직은 기존 실험 관리 체계 위에 에이전트 평가를 얹을 수 있다.

판단 근거

• MLflow 출시 글이 2025-06-09 날짜와 MLflow 3의 핵심 변화를 제공한다.
• Databricks 글은 통합 AI 실험, 관측성, 거버넌스 맥락을 보조한다.
• 기존 MLflow 사용자에게는 새 평가 체계를 따로 만들기보다 먼저 채택 검토할 가치가 높다.

근거 해석

MLflow 출시 글과 Databricks 설명이 출시 날짜, 평가, 관측성, 거버넌스 통합 방향을 확인한다.

비교 축

• MLflow 3 vs LangSmith
• MLflow 3 vs OpenTelemetry
• 평가와 관측성 통합

추천

MLflow나 Databricks를 이미 운영 중이면 채택하라. 별도 체계를 쓰는 팀은 데이터 반출과 저장소 비용을 먼저 비교해야 한다.

위험

• Databricks 결합도
• 운영 데이터 비용
• 기존 평가 체계 이전 부담

출처

• 블로그 MLflow 3 Launch
  MLflow 주근거

  2025-06-09 MLflow 3 출시 날짜와 주요 변화 확인 자료

  https://mlflow.org/blog/mlflow-3-launch/
• 블로그 MLflow 3.0: Unified AI Experimentation, Observability, and Governance
  Databricks 보조근거

  MLflow 3의 실험, 관측성, 거버넌스 통합 맥락 확인 자료

  https://www.databricks.com/blog/mlflow-30-unified-ai-experimentation-observability-and-governance