Możesz teraz używać Amazon Elastic Inference, aby przyspieszyć wnioskowanie i zmniejszyć koszty wnioskowania dla modeli PyTorch w Amazon SageMaker, Amazon EC2 i Amazon ECS. Ulepszone biblioteki PyTorch dla EI są dostępne w Amazon SageMaker, AWS Deep Learning AMI i AWS Deep Learning Containers, dzięki czemu możesz wdrożyć modele PyTorch w produkcji przy minimalnych zmianach kodu. Elastyczne wnioskowanie obsługuje modele skompilowane w języku TorchScript w PyTorch. Aby używać elastycznego wnioskowania z PyTorch, musisz przekonwertować swoje modele PyTorch na TorchScript i użyć elastycznego wnioskowania API do wnioskowania. PyTorch dołącza do TensorFlow i Apache MXNet jako platforma do głębokiego uczenia się obsługiwana przez Amazon Elastic Inference.

Elastyczne wnioskowanie pozwala dołączyć odpowiednią ilość przyspieszenia opartego na GPU do dowolnej instancji Amazon SageMaker, instancji EC2 lub zadania ECS, aby obniżyć koszty prowadzenia wnioskowania głębokiego uczenia nawet o 75%.

PyTorch dla elastycznego wnioskowania jest obsługiwany w regionach, w których dostępna jest Amazon Elastic Inference.

Źródło

Więcej o Amazon Elastic Inference