#73 - AI Nyheder + Kaspers Tur til Meta i Sillicon Valley

I denne episode af Verbos Podcast diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de seneste nyheder inden for AI, herunder Googles nye Genie 2-model, opdateringer til Lama 3.3, OpenAI's 'Shipmas' initiativ, og nye abonnementsmuligheder for ChatGPT. De udforsker også fremtidige interaktioner med AI-modeller og hvordan disse teknologier kan ændre vores måde at arbejde og kommunikere på. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen emner relateret til OpenAI's nye API til reinforcement learning, hvordan det kan anvendes til fine tuning af AI-modeller, samt de tekniske aspekter af kvantecomputing og qubits. De dykker ned i forskelle mellem gamle og nye metoder inden for reinforcement learning og giver eksempler fra medicinsk forskning. Samtalen berører også stabiliteten af reinforcement learning pipelines og de seneste fremskridt inden for kvantecomputing, herunder Googles Willow chip. I denne samtale diskuterer værterne emner relateret til computere, kvantemekanik, AI-strategier og personlige oplevelser fra Silicon Valley. De dykker ned i tekniske aspekter af computere, herunder støjfølsomhed og kvantecomputing, samt de filosofiske og praktiske implikationer af sprogteori i AI. Derudover præsenteres en ny AI-strategi for digitalisering i Danmark, og værterne deler personlige anekdoter fra deres rejse til Silicon Valley. I denne episode diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen deres oplevelser fra en konference om LLM-forskning og udvikling. De dykker ned i emner som fine-tuning af modeller, udfordringer ved sprogunderstøttelse, og Metas strategi for at fremme open source AI. Gennem samtalen fremhæves vigtigheden af samarbejde og feedback fra udviklerfællesskabet for at forbedre AI-teknologier. Chapters 00:00 Introduktion til AI-nyheder 02:59 Google Genie 2: En ny 3D-model 06:02 Lama 3.3: Multilingualitet og forbedringer 09:03 OpenAI's 12 Days of Shipmas 11:54 ChatGPT Pro: Nye abonnementsmuligheder 15:03 Sora: En ny video- og tekstmodel 17:58 Fremtidige interaktioner med AI-modeller 22:31 Generering af videoer og visuel forståelse 25:07 Reinforcement learning fra menneskelig feedback 28:20 Gamle og nye metoder i reinforcement learning 30:44 Eksempler på fine tuning i medicinsk forskning 32:56 Stabilitet i reinforcement learning pipelines 35:12 Google Willow og kvantecomputing 39:31 Forståelse af qubits og superposition 45:59 Random circuit sampling og kvantebenchmarking 48:02 Støjfølsomhed i Computere 50:02 Continuous Thought vs. Chain of Thought 52:05 Sprogets Eksternalitet og Intern Sprog 55:56 AI-strategi for Digitalisering 01:03:59 Røverhistorier fra Silicon Valley 01:10:40 Konferenceoplevelser og LLM-forskning 01:18:42 Udfordringer ved fine-tuning af LLM'er 01:26:13 Metas strategi for open source AI 01:32:30 Afslutning og refleksioner over AI-udvikling