Когда библиотеки подключаются через References, то они будут загружаться при запуске самого приложения, поэтому для них будет выделятся память (даже если они изначально не используются). Подключение же библиотек через Assembly позволит подключить библиотеку именно в нужный для этого момент, тем самым оптимизировав использование оперативной памяти.