"Man går hen ad vejen, ned ad trappen osv." Dvs. man er på vejen, og bliver ved med at være på vejen.

"Noget falder af taget." Dvs. det er noget, der var på taget, og bagefter ikke længere er det.

En anden måde at sige det på:

AD = langs med, hen over eller gennem noget
(Hvis du kan udskifte [a] med langs med, hen over eller gennem, skal der stå ad.)
AF = væk fra noget, om en årsag eller en anledning
(Hvis du kan udskifte [a] med fra, skal der stå af.)

Mere: http://sproget.dk/raad-og-regler/typiske-problemer/ad-eller-af