Функция mex использует обрабатывающий большой массив API. Это означает, что опция -largeArrayDims является значением по умолчанию. Можно или обновить файлы MEX или создать функции с опцией -compatibleArrayDims.
Значение по умолчанию, режим сборки для S-функций MEX C остается -compatibleArrayDims.