62 - Generative AI unter der Haube 2: Pre-Training und Finetuning mit Mariano Kamp

In dieser zweiten Episode des AWS Podcasts "Cloud Horizonte" tauchen Oskar Neumann und Pawel Warmuth erneut mit Mariano Kamp in die technischen Details der Generativen KI (Gen AI) ein. Wir werfen einen Blick auf Pre-Training mit dem BERT-Modell, das die Basis für Large Language Models (LLMs) bildet. Mariano erklärt den Übergang vom supervisierten Lernen zu ungelabelten Daten, erläutert das Konzept des "Lückentexts" zur Wissensgewinnung und beschreibt den Prozess des Finetunings, um ein Pre-Trained-Modell auf spezifische Aufgaben zuzuschneiden. Erfahren Sie, wie diese Techniken das Verständnis von Sprache und Bedeutung in Gen AI ermöglichen. Hörerfragen für nehmen wir gerne als Email an: [email protected] Links: https://awsnlpconference2023.splashthat.com/