Den största nackdelen med att implementera fysiska tokens för säkerhet är
förlust eller stöld . Om en fysisk token går förlorad, stulen eller skadad, komprometteras den säkerhet som den tillhandahåller omedelbart. Till skillnad från något som ett lösenord som kan ändras kräver ett förlorat fysiskt token ofta en lång och potentiellt obekväm ersättningsprocess. Detta gör användaren sårbar tills en ersättare utfärdas.