Como liberar la memoria acumulada por el vb.net

Simplemente agregar al final una llamada al garbage collector para que actue:
GC.Collect()