Einfügen, Aktualisieren und Löschen auf Datensatzebene in Amazon S3 mit Amazon EMR

Version 5.28.0 von Amazon EMR unterstützt jetzt Apache Hudi (Incubating). Für Data Engineers, die Amazon EMR zur Datenpipelineentwicklung und Datenverarbeitung nutzen, vereinfacht Apache Hudi ab sofort das inkrementelle Datenmanagement und den Datenschutz in Fällen, bei denen Daten auf Datensatzebene eingefügt, aktualisiert und gelöscht werden müssen. Apache Hudi ermöglicht die Datenschutz-Compliance von auf Amazon S3 basierten Data Lakes, die Erfassung von Echtzeit-Streams und Change Data Capture-Protokollen, das Einordnen von spät eingehenden Daten sowie die Nachverfolgung von Änderungen und Rollbacks. Apache Hudi ist Open-Source-basiert und unterstützt die Datenspeicherung auf Amazon S3 in anbieterunabhängigen Open-Source-Formaten wie Apache Parquet und Apache Avro.
Quelle: aws.amazon.com

AWS AppSync erhält neue Echtzeitfunktionen durch die Unterstützung von PureWebSockets für GraphQL-Subscriptions

AWS AppSync ist ein verwalteter GraphQL-Service zur Vereinfachung der Anwendungsentwicklung, der es Ihnen ermöglicht, eine flexible API für den sicheren Zugriff, die Bearbeitung und Kombination von Daten aus einer oder mehreren Datenquellen zu erstellen. Jede der von AppSync unterstützten Datenquellen kann einfach auf Echtzeitbetrieb umgestellt werden. Das Verbindungsmanagement wird automatisch zwischen Client und Service übernommen. Mit dem heutigen Launch erhält AppSync weitere Verbesserungen zur Optimierung des Zugriffs auf Anwendungen, die Echtzeit-Updates erfordern, z. B. Gaming-Leaderboards, Social-Media-Apps, Punktestände bei Sportveranstaltungen, Live-Streaming, interaktive Chatrooms, IoT-Dashboards und viele mehr. Hierfür dient eine neue Protokolloption mit Support für Metriken und höhere Nutzlasten.
Quelle: aws.amazon.com

Höhere Standardlimits in AWS App Mesh für mehrere Ressourcen

In AWS App Mesh gelten jetzt höhere Standardlimits für bestimmte App Mesh-Ressourcen – virtuelle Knoten, Back-ends, Router und Routen. Durch die höheren Limits lassen sich größere Anwendungen einfacher mit App Mesh verwalten. Die Anzahl virtueller Knoten pro Mesh, die Ihren Diensten, Tasksets oder mit dem Mesh verbundenen Bereitstellungen zugewiesen sind, wurde von 20 auf 200 erhöht. Die Anzahl der Back-ends pro Knoten – also die Anzahl abhängiger Dienste, zu denen ein bestimmter Dienst eine Verbindung aufbauen kann – wurde von 25 auf 50 erhöht. Die Anzahl virtueller Router pro Mesh wurde von 20 auf 200 erhöht. Dies ermöglicht Routing für alle mit dem Mesh verbundenen Dienste. Die Anzahl an Routen pro virtuellem Router wurde von 20 auf 50 erhöht. Dadurch lassen sich mehrere Parameter für Routing-Entscheidungen abgleichen.  
Quelle: aws.amazon.com

Azure high-performace computing at SC’19

HBv2 Virtual Machines for HPC, Azure’s most powerful yet, now in preview

Azure HB v2-series Virtual Machines (VM) for high-performance computing (HPC) are now in preview in the South Central US region.

HBv2-series Virtual Machines are Azure’s most advanced HPC offering yet, featuring performance and Message Passing Interface scalability rivaling the most advanced supercomputers on the planet, and price and performance on par with on-premises HPC deployments.

HBv2 Virtual Machines are designed for a variety of real-world HPC applications, from fluid dynamics to finite element analysis, molecular dynamics, seismic processing & imaging, weather modeling, rendering, computational chemistry, and more.

Each HBv2 Virtual Machines features 120 AMD EPYCTM 7742 processor cores at 2.45 GHz (3.3 GHz Boost), 480 GB of RAM, 480 MB of L3 cache, and no simultaneous multithreading. A HBv2 Virtual Machine also provides up to 340 GB per second of memory bandwidth, up to four teraflops of double-precision compute, and up to eight teraflops of single-precision compute.

Finally, a HBv2 Virtual Machine features 900 GB of low-latency, high-bandwidth block storage via NVMeDirect, and supports up to eight Azure Managed Disks.

200 Gigabits high data rate (HDR) InfiniBand comes to the Azure

HBv2-series Virtual Machines feature one of the cloud’s first deployment of 200 Gigabit per second HDR InfiniBand networking from Mellanox, which provides up to 8 times higher bandwidth and 16 times lower latencies than found elsewhere on the public cloud.

With HBv2 Virtual Machines, Azure is also introducing two new network features to support the highest sustained performance for tightly-coupled workloads. The first is adaptive routing, which helps optimize Message Passing Interface performance on congested networks. The second is support for dynamic connected transport (DCT) which provides reliable transport, and enhancements to scalable, asynchronous, and high-performance communication.

As with HB and HC Virtual Machines, HBv2 Virtual Machines support hardware-based offload for Message Passing Interface collectives.

Azure & Cray deliver cloud-based seismic imaging at 28,000 cores, 42 GB per second reads, and 62 GB per second write performance

Customers come to Azure for our ability to support their largest and most critical workloads. Energy companies have been among the first and most eager to embrace our advanced HPC capabilities, including for their core subsurface discovery workloads. Advances in subsurface computing support more accurate identification of energy resources, as well as safer extraction of these resources from challenging areas such as beneath thick deposits of salt in the Gulf of Mexico.

As part of our work with one of our strategic partner operators energy exploration customers, today we are sharing that Azure recently supported what is believe to be one of the largest cloud-based seismic processing workload yet.

Powered by up to 468 Azure HB Virtual Machines totaling 28,080 AMD EPYC first generation CPU cores and more than 123 terabyte per second of aggregate memory bandwidth, the customer was able to run imaging jobs utilizing a variety of pre-stack and post-stack migration, full-waveform inversion, and real-time migration techniques.

Seismic imaging is as much about data movement as it is compute, however, to support this record scale customer workload Cray provided the supercomputing firm’s vaunted ClusterStor storage system. Announced earlier this year, Cray® ClusterStor™ in Azure is a dedicated Lustre filesystem solution to accelerate data processing for the largest and most complex HPC and AI jobs run on Azure, and can optionally be connected to Azure H-series Virtual Machines. Not only does Cray ClusterStor in Azure leverage the same technology that powers many of the fastest HPC filesystems on the planet, it also is among the most affordable on the cloud. Over a typical three-year reserved instance period, Cray ClusterStor in Azure can cost as little as 1/10th of Lustre offerings found on other public clouds.

The combination of the Azure HB-series Virtual Machines and Cray ClusterStor provided a highly scalable solution as delivering an 11.5x improvement in time to solution as the pool of compute virtual machines was increased from 16 to 400.

The Cray ClusterStor in Azure storage solution, whose measured performance peaked at 42 GB per second (reads) and 62 GB per second (writes) also delivered significant differentiation for the customer by driving a 66 percent improvement in application performance as compared to an alternative, high-performance network file system (NFS) approach.

Available now

Azure HBv2-series Virtual Machines are currently available in South Central US, with additional regions rolling out soon.

Learn more about Azure HPC Virtual Machines.
Find out more about high-performance computing (HPC) in Azure.
Find out more about Cray ClusterStor in Azure.

Quelle: Azure

Amazon GuardDuty unterstützt den Export von Ergebnissen in Amazon S3-Buckets

Amazon GuardDuty-Kunden können Ergebnisse jetzt mithilfe der GuardDuty-Managementkonsole und -API nach Amazon S3 exportieren. Der Ergebnisexport vereinfacht die regionsübergreifende Aggregation von Ergebnissen. Die entsprechende Konfiguration im GuardDuty-Master-Konto ermöglicht Kunden, Ergebnisse aus allen verknüpften Mitgliedskonten und allen AWS-Regionen in einen einzigen kundeneigenen S3-Bucket zu exportieren. Der verwendete S3-Bucket kann sich in demselben Konto befinden, in dem GuardDuty aktiviert ist, oder in einem anderen AWS-Konto. Sobald der Ergebnisexport in allen Regionen konfiguriert ist, werden Amazon GuardDuty-Ergebnisse automatisch aus GuardDuty in den festgelegten Amazon S3-Bucket exportiert. Diese Funktionserweiterung bietet Kunden eine einfachere Möglichkeit, um Ergebnisse zur Integration in andere AWS-Services, Drittanbieteranwendungen oder zur langfristigen Aufbewahrung konto- und regionsübergreifend in einen einzigen kundeneigenen Amazon S3-Bucket zu exportieren.  
Quelle: aws.amazon.com

Support für Dolby Vision und Dolby Atmos-Codierung jetzt mit AWS Elemental MediaConvert verfügbar

AWS Elemental MediaConvert bietet jetzt Support für Dolby Vision High Dynamic Range (HDR)-Videocodierung für bessere Farbe, Kontrast und Helligkeit auf Consumer-Display-Geräten und Support für Dolby Atmos-Audiocodierung für tiefen Surround-Sound. MediaConvert, das in Kombination mit diesen Technologien von Dolby Laboratories verwendet wird, gibt Videoanbietern die Möglichkeit, Premium-Erlebnisse für Verbraucher zu schaffen.
Quelle: aws.amazon.com

Amazon WorkSpaces führt WorkSpaces-Verzeichnis-APIs ein

Sie können jetzt Amazon WorkSpaces-APIs verwenden, um Ihre Verzeichnisse bei WorkSpaces zu registrieren und Verzeichnisdetails zu ändern. Mit den neuen APIs können Sie Ihre Workflows automatisieren, die die Registrierung eines Verzeichnisses bei WorkSpaces oder das Ändern von WorkSpaces-Eigenschaften auf Verzeichnisebene erfordern, einschließlich standardmäßiger WorkSpace-Erstellungseinstellungen, Self-Service-Berechtigungen und Zugriffssteuerungen.
Quelle: aws.amazon.com

Amazon Redshift führt instanzübergreifende Wiederherstellung ein

Amazon Redshift unterstützt jetzt die instanzübergreifende Wiederherstellung, damit Sie Redshift-Snapshots in Clustern mit unterschiedlichen Größen oder mit unterschiedlichen Knotentypen wiederherstellen können. Dies vereinfacht Snapshot-Wiederherstellungsworkflows, um Ihre sich entwickelnden Anwendungsfälle zu unterstützen. Sie können den Instance-Typ und die Anzahl basierend auf Rechenressourcen, Speicherkapazität und Kostenanforderungen Ihrer spezifischen Workloads ändern. Sie können z. B. einen Snapshot Ihres Produktionsclusters mit dichtem Rechencluster mit Small Instances in ein Cluster mit leistungsstarken großen Instances für anspruchsvollere Workloads oder in einem kostengünstigeren Entwicklungscluster instanzübergreifend wiederherstellen. Sobald ein Cluster wiederhergestellt wurde, können Sie die Größe ändern, wenn sich Ihre Leistungs- und Kapazitätsanforderungen im Laufe der Zeit ändern.
Quelle: aws.amazon.com

AWS Managed Services (AMS) unterstützt jetzt SUSE Linux Enterprise Server 12 SP4

AWS Managed Services (AMS) hat die Unterstützung für SUSE Linux Enterprise Server 12 SP4 eingeführt. Sie können jetzt geschäftskritische Anwendungen auf SUSE Linux Enterprise Server in Ihren AMS Managed Landing Zones ausführen. Die SUSE Linux Enterprise Server-Unterstützung hat das adressierbare Inventar von Kundenanwendungen erweitert, die für laufende Vorgänge mit minimaler Umgestaltung zu AMS migriert werden können.
Quelle: aws.amazon.com