Amazon Elastic Inference

Amazon Elastic Inference pozwala na dołączenie akceleracji opartej na GPU do instancji Amazon EC2 i Sagemaker lub zadań Amazon ECS, aby obniżyć koszty prowadzenia wnioskowania głębokiego uczenia nawet o 75%. Amazon Elastic Inference obsługuje modele TensorFlow, Apache MXNet, PyTorch i ONNX.

Wnioskowanie to proces przewidywania przy użyciu wyszkolonego modelu. W aplikacjach do głębokiego uczenia się wnioskowanie stanowi do 90% całkowitych kosztów operacyjnych z dwóch powodów. Po pierwsze, samodzielne instancje GPU są zwykle zaprojektowane do szkolenia modeli – nie do wnioskowania. Podczas gdy zadania szkoleniowe przetwarzają wsadowo setki próbek danych, zadania wnioskowania zwykle przetwarzają pojedyncze dane wejściowe w czasie rzeczywistym, a zatem zużywają niewielką ilość obliczeń na GPU. To sprawia, że ​​samodzielne wnioskowanie na podstawie GPU jest nieopłacalne. Z drugiej strony samodzielne instancje procesora nie są wyspecjalizowane w operacjach macierzowych, a zatem często są zbyt wolne, aby wnioskować o głębokim uczeniu się. Po drugie, różne modele mają różne wymagania dotyczące procesora, karty graficznej i pamięci. Optymalizacja dla jednego zasobu może prowadzić do niepełnego wykorzystania innych zasobów i wyższych kosztów.

Amazon Elastic Inference rozwiązuje te problemy, umożliwiając dołączenie odpowiedniej ilości przyspieszenia wnioskowania opartego na GPU do dowolnego typu instancji EC2 lub SageMaker lub zadania ECS, bez zmian kodu. Dzięki Amazon Elastic Inference możesz wybrać dowolną instancję procesora w AWS, która jest najlepiej dostosowana do ogólnych potrzeb obliczeniowych i pamięciowych Twojej aplikacji, a następnie osobno skonfigurować odpowiednią ilość przyspieszenia wnioskowania opartego na GPU, umożliwiając efektywne wykorzystanie zasobów i zmniejszenie koszty