Nvidia onthult beveiligingsplatform om te voorkomen dat AI-agenten schurkenstaten worden
Een logo van Nvidia wordt getoond op de Computex Taipei-tentoonstelling in Taipei, Taiwan. (AP-bestandsfoto)
Nvidia heeft een nieuw beveiligingsplatform onthuld dat is ontworpen om te voorkomen dat agenten van kunstmatige intelligentie schurkenstaten gaan gebruiken, en zegt dat het “grenzen” stelt die eerdere inbreuken hadden kunnen voorkomen.
klasse = “cf”>
De aankondiging van het Open Agent Safety Platform van het bedrijf volgt op een reeks onthullingen van top AI-bedrijven over hun modellen die ontsnappen en inbreken in andere organisaties.
De onthullingen leidden tot een woedend debat over de veiligheid van geavanceerde kunstmatige-intelligentiesystemen, inclusief zelfverbeterende modellen waarvan sommigen vrezen dat ze aan de menselijke controle zouden kunnen ontsnappen.
Leidinggevenden van Nvidia zeiden in een mediabriefing op 28 september dat het nieuwe, open-sourcesysteem een recent incident had kunnen voorkomen waarbij een zwerm OpenAI-agenten betrokken was die autonoom AI-bedrijf Hugging Face hadden gehackt.
“Voor zover we weten had dit nieuwe beveiligingsplatform de inbreuk kunnen stoppen als het in een vroeg stadium in grenslaboratoria was gebruikt voor modelevaluatie”, zegt Justin Boitano, vice-president enterprise AI van het bedrijf, verwijzend naar bedrijven die voorop lopen op het gebied van AI.
Nvidia maakt hoogwaardige chips die naar voren zijn gekomen als de toonaangevende bouwstenen voor AI.
klasse = “cf”>
Met de beveiligingssoftware van Nvidia, OpenShell genaamd, kunnen ontwikkelaars “formeel verifiëren dat een agent voldoende autoriteit heeft om zijn werk te doen en niet meer”, aldus Boitano.
Omdat het open source is, kan het worden ‘uitgebreid’ om te draaien op concurrerende computerplatforms, waaronder die van Arm en Intel.
Het platform bevat ook een aparte beveiligingslaag, Sentry genaamd, die ingebouwde chips gebruikt om de activiteit van AI-agenten voortdurend te monitoren en “onmiddellijk kan ingrijpen” als de agent zijn doel probeert te overschrijden, aldus het bedrijf.
Nvidia zei dat meer dan 100 organisaties het platform gebruiken bij de lancering, waaronder Microsoft, Perplexity, Accenture en JPMorgan Chase.
