LLM's veilig gebruiken binnen je organisatie is een uitdaging

Techzine Talks

De hype rond generatieve AI begint wat weg te zakken. Aan de basis van generatieve AI staan LLM's, maar veel organisaties worstelen op dit moment hoe je deze modellen op een goede manier toepast binnen de organisatie. Dat blijkt nog een hele uitdaging, zeker als je het op een veilige en compliant manier wilt doen. Hoe weet je bijvoorbeeld dat je guardrails ook voldoen? Of heb je zekerheid dat je data binnen de landsgrenzen blijft en niet zomaar uitlekt? Dit en meer in deze aflevering van Techzine Talks!

Steeds vaker worden LLM's gekoppeld aan allerlei databronnen met bedrijfsdata. Die bedrijfsdata moet op een juiste manier worden toegepast binnen diverse AI scenario's. Dat is een hele krachtige toepassing, maar valt of staat ook met de kwaliteit van data, maar ook of de data geschikt is voor het specifieke scenario. De data moeten dan ook goed gecureerd zijn: je kunt niet gewoon even een datalake koppelen. Ook moeten er guardrails worden toegepast die niet te omzeilen zijn.

Het succesvol toepassen van LLM's valt of staat dus met een goed plan en scenario. Daarnaast moeten managers die zich door hypes laten sturen worden teruggefloten, want dit is geen technologie die even snel kan worden toegepast en uitgerold. Voor interne applicaties kan een organisatie wellicht wat meer risico nemen. Voor applicaties die direct door de klant gebruikt kunnen worden, zoals chatbots, moet men zeer goed data cureren. De data moet echt beperkt zijn en hier moet een goede strategie en compliance-policy aan hangen met de juiste guardrails. Ook moet de data passen binnen de gewenste scenario's. Het beste advies is op dit moment om vooral te focussen op interne applicaties en nog heel voorzichtig te zijn met externe applicaties. Dit en meer in deze aflevering van Techzine Talks.