POSTED ONMARCH 14, 2023 BY AZUREFINOPS
ChatGPT (und verwandte) aus FinOps-Sicht
Wenn Sie in der Lage sind, Technologie für, nun ja, Unternehmen bereitzustellen, es sei denn, Sie haben sich in einer Höhle versteckt, wissen Sie, dass Microsoft seine Partnerschaft mit OpenAI vertieft hat, indem es dessen Dienste über Azure zur Verfügung gestellt hat.
Da mein Fokus auf FinOps und den Auswirkungen der Technologieentscheidungen eines Unternehmens auf die Cloud-Laufzeitkosten liegt, war einer meiner ersten Gedanken, als ich von der Azure/OpenAI-Integration erfuhr, wie viel kostet das und was sind die Kostenelemente? Und im Follow-up:
Was sind die Metriken für die Berechnung der Kosten von Azure OpenAI-Diensten?
Wie immer ist der erste Ort, an dem Sie beginnen sollten, der Azure-Preisrechner:
Sie finden die OpenAI-Angebote, indem Sie OpenAI in das Feld „Produkte suchen“ eingeben:
Hier ist die Standardansicht des OpenAI-Preisberechnungs-Widgets:
Wie Sie sehen können, sind die vier Preiselemente:
- Region
- Series
- Model
- Tokens
Abgesehen von der Region sind all diese Begriffe in diesem Zusammenhang einzigartig in der Welt des maschinellen Lernens und großer Sprachmodelle, sodass Definitionen und Klarstellungen erforderlich sind, um Ihnen zu helfen, Kostenszenarien zu verstehen.
Serie und Modell beziehen sich auf das OpenAI-Modell (weitere Informationen zu den verfügbaren Modellen finden Sie hier) und die Serie dieses Modells, die Sie als Engine für Ihr Projekt auswählen. Hier sind die Optionen für Serien:
Und hier sind die Optionen für Modelle:
Es liegt auf der Hand, dass die richtigen Entscheidungen ein erhebliches Fachwissen über KI-Methoden erfordern, so dass die Herausforderung für Unternehmen aus FinOps-Sicht darin besteht, die technischen Anforderungen, wie sie vom KI- oder Datenanalyse-Team eines Unternehmens interpretiert werden, in Begriffe zu übersetzen, die für die Finanzabteilung und andere Stakeholder verständlich sind (d. h. wie können diese Entscheidungen aus Sicht der Einheitsökonomie gerechtfertigt werden).
Hier ist ein Blick auf einige der anderen kostenverursachenden Elemente
Auch hier sehen wir Optionen, die ein hohes Maß an Kenntnissen der Terminologie des maschinellen Lernens für eine fundierte Konfiguration erfordern. Wie viele Trainingsstunden werden benötigt? Wie viele Token für die Inferenz und warum? Dies sind einige der Schlüsselfragen.
Es gibt noch viel mehr zu tun, aber dieser Beitrag ist keine Einführung in KI oder maschinelles Lernen, sondern eher die Kostenfaktoren, die mit dem Einsatz dieser Technologie verbunden sind. Für einen guten Überblick darüber, wie OpenAI-Technologie über Azure bereitgestellt wird, empfehle ich den Artikel Was ist Azure OpenAI Service?
Die gute Nachricht für Unternehmen, die die Cloud nutzen (praktisch jeder, zu diesem Zeitpunkt), ist, dass das Bewusstsein für FinOps als Praxisbereich wächst. Die schwierigere Nachricht (nicht gerade „schlecht“, aber nicht unbedingt ein einfaches „gut“) ist, dass mit dem Hinzufügen von mehr Diensten zu Cloud-Plattformen auch die Schwierigkeit des Aufbaus einer effektiven FinOps-Praxis zunimmt.
Der Schlüssel zum Erfolg liegt darin, zu verstehen, wie Elemente einer Cloud-Lösung Kosten verursachen. Wenn es um bewährte Technologien wie virtuelle Maschinen geht, ist es ziemlich einfach: Faktoren wie Festplattengröße und -typ, Arbeitsspeicher und Prozessorklasse sind gut bekannt. Das Gleiche gilt für PaaS-Datenbanken, die zwar neuer als VMs sind, aber kostengenerierende Elemente enthalten, die, obwohl sie in Cloud-Begriffe übersetzt werden, größtenteils vertraut sind.
Technologien wie KI und maschinelles Lernen, die über API zur Verfügung gestellt werden, stellen eine neue Art von FinOps-Herausforderung dar und erfordern einzigartige Arten der Koordination, um sicherzustellen, dass ihr Einsatz für Ihr Unternehmen funktioniert.
Resourcen:
Was ist Azure OpenAI Service?
https://learn.microsoft.com/en-us/azure/cognitive-services/openai/overview
Preise für den Azure OpenAI-Dienst
https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/
Azure OpenAI Service-Modelle
https://learn.microsoft.com/en-us/azure/cognitive-services/openai/concepts/models
Erfahren Sie, wie Sie ein Modell für Ihre Anwendung anpassen
