Stai facendo un pò di confusione.
Quello che devi fare è, come dice Atilim, calcolare limite destro e limite sinistro della funzione e verificare che questi due limiti conicidono e che sono uguali al valore della funzione nel punto..
Edit.
Per completezza:
quello che vorresti fare con l'epsilon dovresti farlo verificando che
per ogni epsilon<0 esiste delta tale ogni volta che |x-x0|<delta si ha che |f(x)-f(x0)|<epsilon