Self-hosted LLM/AI i kælderen

Anders er begyndt at bygge en lokal, open-source konkurrent til Open AI - eller er han? Hør med, når Anders forklarer Bo sit projekt og Bo stiller dumme spørgsmål. Her er beskrivelsen fra vores producer: I denne episode dykker vi ned i Anders' spændende projekt med at etablere en self-hosted, open source AI-model. Vi diskuterer teknologiske muligheder, udfordringer ved self-hosting, og hvordan man kan optimere AI-udnyttelse lokalt for at undgå de stigende omkostninger ved kommercielle API-tjenester. Emner - Anders' projekt med egen AI-model baseret på open source modeller - Brugen af kraftige grafikkort og GPU'er til AI-beregninger - Fordele ved self-hosting af AI frem for cloud-tjenester - Sikkerhed og GDPR-krav ved lokal hosting af AI - Valg af modeller og data til træning af AI - Økonomiske aspekter ved AI-udvikling og drift - Fremtiden for open source AI og europæisk uafhængighed Tidsstempler 00:00 Introduktion til AI-projektet 02:51 Uafhængighed fra amerikanske leverandører 05:55 Valg af hardware og software til AI 08:51 Open Source AI-modeller og deres anvendelse 12:01 Test og evaluering af AI-modeller 14:48 Politisk bias og databeskyttelse i AI 19:38 Virtuelle servere og grafikkort 22:14 AI-agenter og deres kompleksitet 25:33 Omkostninger og GDPR i AI 29:10 Optimering af AI-forbrug 32:21 Fremtiden for AI og open source 36:32 Priser og monopol i AI-verdenen