4 AWS and NVIDIA AI Operations and Deployment Updates for Practitioners

이번에 공개된 소식은 AWS와 NVIDIA가 각각 AI 운영, 평가, 관측성, 배포 흐름을 어떻게 다루는지 보여줍니다. 공통점은 모델 자체보다 개발부터 운영까지 이어지는 실무 단계를 정리했다는 점입니다. [S2][S3][S4][S7] [S2] [S3] [S4] [S7]

오늘의 AI 뉴스 한눈에 보기

오늘 다룰 내용은 AWS와 NVIDIA의 AI 운영·배포 관련 소식 4가지입니다. AWS는 deep agent 평가와 SageMaker AI의 관측성, 그리고 SageMaker AI MLflow Apps를 포털에 임베드하는 방법을 소개했고, NVIDIA는 Step 3.7 Flash를 NVIDIA GPU에서 실행하는 방향을 공유했습니다. 실무 관점에서는 평가, 관측성, 멀티모달 실행, 포털 임베드라는 키워드로 묶어 볼 수 있습니다. [S2][S3][S4][S7]

Sources: [S2], [S3], [S4], [S7]

딥 에이전트 평가를 LangSmith와 AWS에서 다루는 방법

AWS는 LangChain의 deep agent 평가 경험과 Anthropic의 agent eval 가이드를 바탕으로, LangSmith on AWS에서 deep agent를 평가하는 실무 가이드를 공개했습니다. 이 글은 five evaluation patterns를 적용하고, pytest와 LangSmith로 오프라인 평가를 구성하며, 프로덕션에서는 온라인 모니터링을 설정하는 흐름을 설명합니다. 예시는 Amazon Bedrock을 사용하는 text-to-SQL deep agent로, 평가가 개발 단계와 운영 단계를 함께 연결한다는 점을 보여줍니다. [S2]

Sources: [S2]

SageMaker AI LLM 추론의 관측성을 넓히는 접근

AWS는 Amazon SageMaker AI LLM inference를 위한 포괄적 관측성 솔루션을 소개했습니다. Amazon Managed Grafana 대시보드를 사용해 GPU utilization부터 LLM quality까지 함께 보는 구성을 보여주며, 단순 인프라 지표와 모델 품질 신호를 한 화면에서 다루는 점이 핵심입니다. 운영 중인 LLM endpoint를 볼 때 무엇이 자원을 쓰는지와 결과 품질이 어떤지 함께 확인하려는 팀에 맞는 접근입니다. [S3]

Sources: [S3]

NVIDIA GPU에서 멀티모달 AI를 실행하는 방향

NVIDIA는 Step 3.7 Flash를 NVIDIA GPU에서 실행하는 내용을 공개하며, 멀티모달 AI가 텍스트 생성만이 아니라 이미지, 문서, 비디오를 함께 다루는 방향으로 확장되고 있음을 강조했습니다. 이 소식은 멀티모달 시스템을 실제 GPU 환경에서 운영하는 관점에 초점을 둡니다. 즉, 모델 기능의 범위가 넓어질수록 실행 환경과 배포 방식도 함께 고려해야 한다는 점을 보여줍니다. [S4]

Sources: [S4]

SageMaker AI MLflow 앱을 포털에 임베드하는 방법

AWS는 SageMaker AI MLflow Apps UI를 커스텀 포털에 임베드하는 방법을 공개했습니다. React 프런트엔드와 Flask reverse proxy를 조합하고, AWS Signature Version 4(SigV4) 인증을 처리하며, 전체 스택을 AWS CDK로 배포하는 구성을 다룹니다. 이 글은 MLflow 기반 실험 UI를 팀 포털 안으로 넣어 운영 흐름에 맞게 연결하는 방법을 보여준다는 점에서 실무적입니다. [S7]

Sources: [S7]

---

One-line takeaway: 이번 뉴스들은 AI를 만들고 끝내는 단계가 아니라, 평가·관측성·멀티모달 실행·포털 임베드까지 이어지는 운영 흐름을 AWS와 NVIDIA가 각각 어떻게 정리하는지 보여줍니다. [S2][S3][S4][S7] [S2] [S3] [S4] [S7]

Short summary: AWS는 deep agent 평가, SageMaker AI 관측성, MLflow 앱 포털 임베드 방법을 공개했고, NVIDIA는 Step 3.7 Flash를 NVIDIA GPU에서 실행하는 멀티모달 AI 흐름을 소개했습니다. 이번 소식들은 개발에서 운영까지 이어지는 실무 단계를 어떻게 연결할지 보여줍니다. [S2][S3][S4][S7]

Sources and references: - [S2] Artificial Intelligence - Evaluating Deep Agents using LangSmith on AWS - URL: https://aws.amazon.com/blogs/machine-learning/evaluating-deep-agents-using-langsmith-on-aws/ - [S3] Artificial Intelligence - Comprehensive observability for Amazon SageMaker AI LLM inference: From GPU utilization to LLM quality - URL: https://aws.amazon.com/blogs/machine-learning/comprehensive-observability-for-amazon-sagemaker-ai-llm-inference-from-gpu-utilization-to-llm-quality/ - [S4] NVIDIA Technical Blog - Run Step 3.7 Flash on NVIDIA GPUs with Enterprise-Ready Multimodal AI - URL: https://developer.nvidia.com/blog/run-step-3-7-flash-on-nvidia-gpus-with-enterprise-ready-multimodal-ai/ - [S7] Artificial Intelligence - Build a custom portal with embedded Amazon SageMaker AI MLflow Apps - URL: https://aws.amazon.com/blogs/machine-learning/build-a-custom-portal-with-embedded-amazon-sagemaker-ai-mlflow-apps/

Internal link ideas: - AWS SageMaker AI와 MLflow를 함께 쓰는 실험 추적 흐름 정리 - LLM 운영에서 evaluation과 observability를 구분하는 방법 - 멀티모달 AI 배포 시 GPU 운영 체크포인트 - SigV4 인증이 필요한 내부 포털 통합 패턴

AWS #NVIDIA #AI operations #evaluation #observability #multimodal AI #deployment #MLflow

---

Note AI-assisted content
This post was drafted with AI (gpt-5.4-mini) using source-grounded inputs.
Please review the citations and original links below.