4 AWS and NVIDIA AI Operations and Deployment Updates for Practitioners
4 AWS and NVIDIA AI Operations and Deployment Updates for Practitioners 이번에 공개된 소식은 AWS와 NVIDIA가 각각 AI 운영, 평가, 관측성, 배포 흐름을 어떻게 다루는지 보여줍니다. 공통점은 모델 자체보다 개발부터 운영까지 이어지는 실무 단계를 정리했다는 점입니다. [S2][S3][S4][S7] [S2] [S3] [S4] [S7] 오늘의 AI 뉴스 한눈에 보기 오늘 다룰 내용은 AWS와 NVIDIA의 AI 운영·배포 관련 소식 4가지입니다. AWS는 deep agent 평가와 SageMaker AI의 관측성, 그리고 SageMaker AI MLflow Apps를 포털에 임베드하는 방법을 소개했고, NVIDIA는 Step 3.7 Flash를 NVIDIA GPU에서 실행하는 방향을 공유했습니다. 실무 관점에서는 평가, 관측성, 멀티모달 실행, 포털 임베드라는 키워드로 묶어 볼 수 있습니다. [S2][S3][S4][S7] Sources: [S2], [S3], [S4], [S7] 딥 에이전트 평가를 LangSmith와 AWS에서 다루는 방법 AWS는 LangChain의 deep agent 평가 경험과 Anthropic의 agent eval 가이드를 바탕으로, LangSmith on AWS에서 deep agent를 평가하는 실무 가이드를 공개했습니다. 이 글은 five evaluation patterns를 적용하고, pytest와 LangSmith로 오프라인 평가를 구성하며, 프로덕션에서는 온라인 모니터링을 설정하는 흐름을 설명합니다. 예시는 Amazon Bedrock을 사용하는 text-to-SQL deep agent로, 평가가 개발 단계와 운영 단계를 함께 연결한다는 점을 보여줍니다. [S2] Sources: [S2] SageMaker AI LLM 추론의 관측성을 넓히는 접근 AWS는 Amazon SageMaker AI LLM inference를 위한 포괄적 관측성 솔루션을 소개했습니...