Promptinjektion är ett olöst systemproblem och kan inte hanteras enbart med bättre instruktioner till modellen.
Försvaret måste kombinera isolering, dataklassning, verktygsmandat, utdatahantering och mänskliga grindar.
Evidens för
Aktuella säkerhetsramverk behandlar opålitligt innehåll, verktygsåtkomst och dataexfiltration som separata kontrollproblem.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Aktuella säkerhetsramverk behandlar opålitligt innehåll, verktygsåtkomst och dataexfiltration som separata kontrollproblem.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Aktuella säkerhetsramverk behandlar opålitligt innehåll, verktygsåtkomst och dataexfiltration som separata kontrollproblem.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Evidens emot
Avgränsade miljöer utan opålitliga indata eller kraftfulla verktyg kan ha en betydligt lägre faktisk risk.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Avgränsade miljöer utan opålitliga indata eller kraftfulla verktyg kan ha en betydligt lägre faktisk risk.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Avgränsade miljöer utan opålitliga indata eller kraftfulla verktyg kan ha en betydligt lägre faktisk risk.
AgentDojo · proceedings.neurips.cc ↗Defeating Prompt Injections by Design, CaMeL · arxiv.org ↗Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems · arxiv.org ↗Så kan påståendet falla
Påståendet försvagas om en promptbaserad metod ensam motstår en öppen, reproducerbar attacksamling med opålitliga källor och privilegierade verktyg.
Ett publicerat påstående är användbart bara så länge det fortfarande går att motbevisa.