Een klein model getraind voor één taak: een wake word
Voor mijn eigen spraakassistent had ik een wake word nodig dat lokaal draait, de hele dag, op een telefoon. Geen taak voor een groot model: een klein model getraind op opnames van die ene zin, getoetst op de fouten die ertoe doen.
De situatie
Een assistent die luistert naar zijn naam moet altijd aan staan, offline en goedkoop, en mag niet wakker worden op het verkeerde woord. De hele dag audio naar een cloudmodel sturen is niet privé en niet betaalbaar.
De aanpak
- Opnames van de wake-zin en van alles wat genegeerd moet worden, in verschillende stemmen, ruimtes en met verschillende ruis.
- Een klein model getraind voor die ene taak, geëxporteerd voor de telefoon.
- Een evaluatieset met de twee fouten die ertoe doen: het woord missen, en wakker worden op het verkeerde. Elke hertraining wordt eraan gemeten voordat hij live gaat.
- Android-integratie in Kotlin; het zware werk gaat pas na het wake word naar een groter model.
Het resultaat
- Altijd luisteren op het apparaat, zonder dat audio het verlaat.
- Modelkeuze per taak: klein en lokaal om te luisteren, groot en gehost om te begrijpen.
- Een patroon dat past op elke smalle taak met veel volume: classificeren, routeren, extraheren.
Technologie
Python, PyTorch, Kotlin, Android, Claude voor de begripsstap.
De producten erachter: AI Integration, Android App. Wil je praten over iets vergelijkbaars? Gebruik het contactformulier of plan een gesprek.
Meer casestudy's: Van Phalcon naar Laravel, module voor module · Een API die AI-assistenten kunnen gebruiken: Laravel, Android en een MCP-server · Een eenmansbedrijf gerund door agents ·