Разгрузите совместно использованную библиотеку C из памяти
unloadlibrary libname разгружает библиотеку unloadlibrary libnamelibname из памяти.
Используйте с библиотеками, которые загружаются с помощью функции loadlibrary.
Чтобы разгрузить файл MEX, используйте функцию clear.