AWS kündigt heute die allgemeine Verfügbarkeit von Inf2-Instances in Amazon Elastic Compute Cloud (Amazon EC2) an. Diese Instances liefern hohe Leistung zu den niedrigsten Kosten in Amazon EC2 für generative KI-Modelle, einschließlich großer Sprachmodelle (LLMs) und Vision-Transformatoren. Inf2-Instances werden von bis zu 12 AWS-Inferentia2-Chips unterstützt, dem neuesten von AWS entwickelten Deep-Learning-Beschleuniger (DL). Sie bieten einen bis zu viermal höheren Durchsatz und eine bis zu zehnmal geringere Latenz als Amazon-EC2-Inf1-Instances der ersten Generation.
Quelle: aws.amazon.com
Für generative KI optimierte Amazon-EC2-Inf2-Instances sind jetzt allgemein verfügbar
Published by