#71 - Har OpenAI svært ved at udvikle mere avanceret AI?

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende udfordringer i AI-udviklingen, herunder diminishing returns, samarbejdet mellem Google og OpenAI, samt vigtigheden af dataens kvalitet og de økonomiske aspekter ved træning af AI-modeller. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende tendenser inden for AI, herunder investeringer i nye modeller som GPT-5 og GPT-6, samt de økonomiske realiteter bag hype. De udforsker også kreative tilgange til AI-udvikling, herunder 'chain of thought' prompting og 'test time training', som kan forbedre AI-modellers præstationer. Desuden præsenteres et nyt projekt, Garak, der fokuserer på LLM-sikkerhed. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de sikkerhedsudfordringer, der er forbundet med store sprogmodeller (LLM'er), herunder problemer som prompt injection, hallucinationer og misinformation. De taler også om vigtigheden af at teste og evaluere LLM'er for at sikre, at de fungerer korrekt og etisk. Diskussionen berører nuværende evalueringsmetoder og deres begrænsninger, samt fremtidige perspektiver for AI-ingeniører. Links: 🔥 Bloomberg artikel: https://archive.ph/2024.11.13-100709/https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai 🔥 Test-time Training paper: https://arxiv.org/abs/2411.07279 🔥 Ugens repo: https://github.com/NVIDIA/garak Kapitler 00:00 Introduktion til AI-udviklingens udfordringer 03:09 Google og OpenAI's samarbejde 05:59 Diminishing Returns i AI-modeller 09:01 Kvalitet vs. kvantitet i data 12:02 Innovative metoder til dataindsamling 14:59 Økonomiske udfordringer i AI-udvikling 21:05 Investeringer i AI: Hype og Realiteter 23:12 Kreativ Tænkning i AI-udvikling 24:35 Chain of Thought: En Ny Tænkning i AI 30:02 Test Time Training: En Revolution i AI 40:21 Ugens Repo: Garak og LLM-sikkerhed 43:40 Sikkerhedsudfordringer ved LLM'er 47:54 Testning og evaluering af LLM'er 54:00 Kritik af nuværende evalueringsmetoder 59:52 Afslutning og fremtidige perspektiver