Введение

Детектор маркера маршрута является основным компонентом восприятия беспилотного привода. Детектор анализирует изображения дорог, захваченных с помощью монокулярного датчика камеры, и возвращает информацию о типах кривизны и разметки каждой полосы. Вы можете проектировать и моделировать алгоритм детектора маркера маршрута с помощью MATLAB ® или Simulink ® и оценить его точность с помощью известной основной истины. Можно сделать генерацию кода С++, чтобы интегрировать детектор во внешнее программное окружение и развернуть на транспортном средстве. Выполнение генерации кода и верификации модели Simulink обеспечивает функциональную эквивалентность между симуляцией и реализацией в реальном времени.

Для получения информации о том, как спроектировать детектор маркера маршрута, смотрите пример Design Lane Marker Detector Using Unreal Engine Simulation Environment. В этом примере показано, как протестировать детектор маркера маршрута в 3D среде симуляции и сгенерировать код С++ для реализации в реальном времени. В этом примере вы будете:

Этот пример проверяет алгоритм детектора маркеров маршрута на 3D среде симуляции, которая использует Unreal Engine ® из Epic Games ®. Для симуляции движущей среды Unreal Engine требуется 64-разрядная платформа Windows ®.

if ~ispc
    error(['Unreal driving simulation environment is only supported on Microsoft', char(174), ' Windows', char(174), '.']);
end

Чтобы гарантировать воспроизводимость результатов симуляции, установите случайный seed.

rng(0);

Исследуйте модель

Система детектора маркера маршрута в этом примере имеет испытательный стенд детектора маркера маршрута и образец модели.

Откройте тестовую модель.

open_system('LaneMarkerDetectorTestBench');

Открытие этой модели запускает helperSLLaneMarkerDetectorSetup скрипт, который инициализирует дорожный сценарий с помощью drivingScenario объект в базовом рабочем пространстве. Он также конфигурирует параметры детектора маркера маршрута, параметры модели транспортного средства и сигналы шины Simulink, необходимые для определения входов и выходов для LaneMarkerDetectorTestBench модель. Тестовая модель содержит следующие подсистемы:

Подсистема Симуляции 3D Scenario конфигурирует дорожную сеть, устанавливает транспортное средство положения и синтезирует датчики. Это похоже на подсистему Simulation 3D Scenario в примере Highway Lane Following. Однако подсистема Simulation 3D Scenario, используемая в этом примере, не имеет радарного датчика. Откройте подсистему Simulation 3D Scenario.

open_system('LaneMarkerDetectorTestBench/Simulation 3D Scenario');

Детектор маркера маршрута - этот образец модели, которая обнаруживает контуры маршрута в системы координат. Откройте образец модели «Детектор маркера маршрута».

open_system('LaneMarkerDetector');

Блок детектора маркера маршрута использует системную Object™, HelperLaneDetectorWrapper, который конфигурирует и реализует алгоритм обнаружения маркера маршрута. Блок принимает системы координат, захваченную датчиком камеры, за вход и выводит обнаруженные контуры маршрута при помощи LaneSensor Шина Simulink.

Подсистема Metrics Assessment оценивает точность результатов обнаружения с помощью основной истины. Откройте подсистему Metrics Assessment.

open_system('LaneMarkerDetectorTestBench/Metrics Assessment');

Подсистема оценки метриков сравнивает обнаруженные контуры маршрута и основной истины контуров маршрута с помощью evaluateLaneBoundaries функция. Функция вычисляет боковое расстояние между обнаруженными контурами маршрута и достоверных данных. Если вычисленное расстояние находится внутри определенного порога, обнаруженный контур рассматривается как допустимое соответствие (истинное положительное), и соответствующее состояние маршрута устанавливается равным 1. В противном случае функция оценивает, является ли контур ложноотрицательной или ложноположительной, и затем устанавливает статус маршрута равным 0. Подсистема соединяет выходы left_lane_status и right_lane_status к лампам на приборной панели. Лампы идут green когда статус маршрута равен 1, и переходите red если состояние маршрута 0. Выходные выходы left_lane_metrics и right_lane_metrics являются массивами 1 на 3, содержащими совпадения маршрута (истинные срабатывания), промахи (ложные срабатывания) и ложные срабатывания для левого и правого диапазонов соответственно. Средние отклонения в левой и правой полосах, вычисленные по обнаруженным контурам маршрута, возвращаются на выходах left_lane_distance и right_lane_distance соответственно. Модель использует эти значения отклонения, чтобы проверить точность алгоритма во время симуляции с помощью блоков Check Static Range (Simulink): Verify Left Lane Deviation и Verify Right Lane Deviation.

Симулируйте модель

Сконфигурируйте LaneMarkerDetectorTestBench модель для симуляции в scenario_LD_02_SixVehicles сценарий. Этот сценарий содержит шесть транспортных средств, включая автомобиль , оборудованный датчиком, и определяет их траектории.

helperSLLaneMarkerDetectorSetup("scenario_LD_02_SixVehicles");

Симулируйте тестовую модель. Используйте окно визуализации и индикаторы состояния на инструментальной панели, чтобы просмотреть результаты обнаружения во время симуляции.

sim('LaneMarkerDetectorTestBench');

Можно также визуализировать основную истину контуров маршрута путем включения EnableTruthDisplay параметр mask в блоке Visualization.

Оцените точность алгоритма

Проанализируйте результаты обнаружения и проверьте общую эффективность алгоритма.

Во время симуляции модель выводит три параметра, которые характеризуют контур маршрута: кривизну, угол рыскания и боковое смещение. Модель регистрирует эти параметры для обнаруженных контуров маршрута и основной истины в переменной базового рабочего пространства logsout. Можно построить график значений в logsout при помощи helperLaneBoundaryParams функция.

helperPlotLaneBoundaryParams(logsout);

Из графиков можно вывести отклонения между основной истиной и обнаруженными контурами маршрута. Большое отклонение между графиками указывает, что обнаруженный контур маршрута значительно удалён от основной истины.

Можно также проверить эффективность алгоритма детектора маркера маршрута путем валидации и построения графиков метрик отдельно для левого и правого маршрутов. Модель также регистрирует результаты обнаружения для левого и правого маршрутов, вычисленных подсистемой Metric Assesment, в переменной базового рабочего пространства logsout . Подсистема Metric Assesment выводит:

Постройте график результатов обнаружения для левого и правого маршрутов с помощью helperPlotLaneMetrics скрипт:

[numLaneMatches, numLaneMisses, numFalsePositives] = helperPlotLaneMetrics(logsout);

Из графиков можно сделать вывод, что все обнаруженные левая полоса и правая полоса контуров совпадать с основной истиной и что нет ложных срабатываний или ложных срабатываний.

Во время симуляции модель записывает выход датчика камеры в forwardFacingCamera.mp4. Можно наложить результаты отклонений на полосы движения, обнаруженные в системы координат, и запись на видео файла при помощи helperPlotLaneDetectionResults функция.

hVideoViewer = helperPlotLaneDetectionResults(...
logsout, "forwardFacingCamera.mp4" , scenario, camera,scenarioFcnName,...
"RecordVideo", true,"RecordVideoFileName", scenarioFcnName,...
"OpenRecordedVideoInVideoViewer", true,"VideoViewerJumpToTime", 9.3);

Можно также вычислить общую точность и чувствительность алгоритма обнаружения маркера маршрута, как показано ниже:

Точность: Вычислите как процент истинных срабатываний в общем числе обнаруженных контуров маршрута.

precision = (numLaneMatches./(numLaneMatches+numFalsePositives))*100;
disp(precision);

   100

Чувствительность: Вычислите как процент истинных срабатываний в общем количестве фактических контуров маршрута.

sensitivity = (numLaneMatches./(numLaneMatches+numLaneMisses))*100;
disp(sensitivity);

   100

Точность и значения чувствительности устойчивого детектора маркера маршрута должны быть близки к 100 для различных сценариев тестирования и условий тестирования.

Сгенерируйте код С++

Теперь можно сгенерировать код С++ для алгоритма, применить общие оптимизации и сгенерировать отчет, чтобы облегчить исследование сгенерированного кода.

Сконфигурируйте LaneMarkerDetector модель для генерации кода С++ для реализации алгоритма в реальном времени. Установите параметры модели, чтобы включить генерацию кода и отобразить строение значения.

Установите и просмотрите параметры модели, чтобы включить генерацию кода С++.

helperSetModelParametersForCodeGeneration('LaneMarkerDetector');
save_system('LaneMarkerDetector');

 
 Model  configuration parameters: 
 
                 Parameter                      Value                                                              Description                                                      
    ___________________________________    _______________    ______________________________________________________________________________________________________________________

    {'SystemTargetFile'               }    {'ert.tlc'    }    {'Code Generation>System target file'                                                                                }
    {'TargetLang'                     }    {'C++'        }    {'Code Generation>Language'                                                                                          }
    {'SolverType'                     }    {'Fixed-step' }    {'Solver>Type'                                                                                                       }
    {'FixedStep'                      }    {'auto'       }    {'Solver>Fixed-step size (fundamental sample time)'                                                                  }
    {'EnableMultiTasking'             }    {'on'         }    {'Solver>Treat each discrete rate as a separate task'                                                                }
    {'ProdLongLongMode'               }    {'on'         }    {'Hardware Implementation>Support long long'                                                                         }
    {'BlockReduction'                 }    {'on'         }    {'Simulation Target>Block reduction'                                                                                 }
    {'MATLABDynamicMemAlloc'          }    {'on'         }    {'Simulation Target>Simulation Target>Dynamic memory allocation in MATLAB functions'                                 }
    {'OptimizeBlockIOStorage'         }    {'on'         }    {'Simulation Target>Signal storage reuse'                                                                            }
    {'InlineInvariantSignals'         }    {'on'         }    {'Simulation Target>Inline invariant signals'                                                                        }
    {'BuildConfiguration'             }    {'Faster Runs'}    {'Code Generation>Build configuration'                                                                               }
    {'RTWVerbose'                     }    {'of'         }    {'Code Generation>Verbose build'                                                                                     }
    {'CombineSignalStateStructs'      }    {'on'         }    {'Code Generation>Interface>Combine signal/state structures'                                                         }
    {'SupportVariableSizeSignals'     }    {'on'         }    {'Code Generation>Interface>Support variable-size signals'                                                           }
    {'CodeInterfacePackaging'         }    {'C++ class'  }    {'Code Generation>Interface>Code interface packaging'                                                                }
    {'GenerateExternalIOAccessMethods'}    {'Method'     }    {'Code Generation>Interface>Data Member Visibility>External I/O access'                                              }
    {'EfficientFloat2IntCast'         }    {'on'         }    {'Code Generation>Optimization>Remove code from floating-point to integer conversions that wraps out-of-range values'}
    {'ZeroExternalMemoryAtStartup'    }    {'off'        }    {'Code Generation>Optimization>Remove root level I/O zero initialization (inverse logic)'                            }
    {'CustomSymbolStrGlobalVar'       }    {'$N$M'       }    {'Code Generation>Symbols>Global variables'                                                                          }
    {'CustomSymbolStrType'            }    {'$N$M_T'     }    {'Code Generation>Symbols>Global types'                                                                              }
    {'CustomSymbolStrField'           }    {'$N$M'       }    {'Code Generation>Symbols>Field name of global types'                                                                }
    {'CustomSymbolStrFcn'             }    {'APV_$N$M$F' }    {'Code Generation>Symbols>Subsystem methods'                                                                         }
    {'CustomSymbolStrTmpVar'          }    {'$N$M'       }    {'Code Generation>Symbols>Local temporary variables'                                                                 }
    {'CustomSymbolStrMacro'           }    {'$N$M'       }    {'Code Generation>Symbols>Constant macros'                                                                           }

Сгенерируйте код и проверьте отчет генерации кода из образца модели.

slbuild('LaneMarkerDetector');

### Starting build procedure for: LaneMarkerDetector
### Successful completion of build procedure for: LaneMarkerDetector

Build Summary

Top model targets built:

Model               Action                       Rebuild Reason                   
==================================================================================
LaneMarkerDetector  Code generated and compiled  Generated code was out of date.  

1 of 1 models built (0 models already up to date)
Build duration: 0h 1m 15.75s

Используйте отчет генерации кода для исследования сгенерированного кода. Дополнительные сведения об отчете о генерации кода см. в разделе Отчеты о генерации кода (Embedded Coder). Используйте ссылку Отчет по интерфейсам кода в Отчете о генерации кода, чтобы исследовать следующие сгенерированные методы:

Дополнительные методы get и set для интерфейса сигнала объявлены в LaneMarkerDetector.h и определено в LaneMarkerDetector.cpp.

Оценка функциональности кода

После генерации кода С++ для детектора маркера маршрута, теперь можно оценить функциональность кода с помощью симуляции цикл (SIL). Он обеспечивает раннее понимание поведения развернутого приложения. Для получения дополнительной информации о SIL симуляции см. SIL и PIL симуляции (Embedded Coder).

SIL симуляция позволяет вам проверить, что скомпилированный сгенерированный код на хосте функционально эквивалентен режиму normal mode.

Сконфигурируйте параметры алгоритма и тестовой модели, чтобы поддержать SIL симуляцию и логгирование информации о выполнении.

helperSetModelParametersForSIL('LaneMarkerDetector');
helperSetModelParametersForSIL('LaneMarkerDetectorTestBench');

 
LaneMarkerDetector configuration parameters:
 
               Parameter                       Value                                    Description                         
    ________________________________    ____________________    ____________________________________________________________

    {'SystemTargetFile'            }    {'ert.tlc'         }    {'Code Generation>System target file'                      }
    {'TargetLang'                  }    {'C++'             }    {'Code Generation>Language'                                }
    {'CodeExecutionProfiling'      }    {'on'              }    {'Code Generation>Verification>Measure task execution time'}
    {'CodeProfilingSaveOptions'    }    {'AllData'         }    {'Code Generation>Verification>Save options'               }
    {'CodeExecutionProfileVariable'}    {'executionProfile'}    {'Code Generation>Verification>Workspace variable'         }

 
LaneMarkerDetectorTestBench configuration parameters:
 
               Parameter                       Value                                    Description                         
    ________________________________    ____________________    ____________________________________________________________

    {'SystemTargetFile'            }    {'ert.tlc'         }    {'Code Generation>System target file'                      }
    {'TargetLang'                  }    {'C++'             }    {'Code Generation>Language'                                }
    {'CodeExecutionProfiling'      }    {'on'              }    {'Code Generation>Verification>Measure task execution time'}
    {'CodeProfilingSaveOptions'    }    {'AllData'         }    {'Code Generation>Verification>Save options'               }
    {'CodeExecutionProfileVariable'}    {'executionProfile'}    {'Code Generation>Verification>Workspace variable'         }

Сконфигурируйте тестовую модель, чтобы симулировать детектор маркера маршрута в режиме цикл (SIL).

set_param('LaneMarkerDetectorTestBench/Lane Marker Detector','SimulationMode','Software-in-the-loop (SIL)');
sim('LaneMarkerDetectorTestBench');

### Starting build procedure for: LaneMarkerDetector
### Generated code for 'LaneMarkerDetector' is up to date because no structural, parameter or code replacement library changes were found.
### Successful completion of build procedure for: LaneMarkerDetector

Build Summary

Top model targets built:

Model               Action         Rebuild Reason                           
============================================================================
LaneMarkerDetector  Code compiled  Compilation artifacts were out of date.  

1 of 1 models built (0 models already up to date)
Build duration: 0h 0m 22.046s
### Preparing to start SIL simulation ...
Building with 'MinGW64 Compiler (C)'.
MEX completed successfully.
### Starting SIL simulation for component: LaneMarkerDetector
### Stopping SIL simulation for component: LaneMarkerDetector
### Completed code coverage analysis

Можно сравнить выходы из режима нормальной симуляции и режима симуляции цикл (SIL). Можно проверить, находятся ли различия между этими запусками в пределах допуска, используя следующий код. Постройте график различий обнаруженных параметров контура маршрута между режимом симуляции нормали и режимом SIL симуляции.

runIDs = Simulink.sdi.getAllRunIDs;
normalSimRunID = runIDs(end - 1);
SilSimRunID = runIDs(end);
diffResult = Simulink.sdi.compareRuns(normalSimRunID ,SilSimRunID);

Постройте график различий между параметрами контура маршрута, вычисленными из режима normal mode и режима SIL.

helperPlotDiffSignals(diffResult);

Заметьте, что различия между значениями граничных параметров маршрута между режимом normal mode симуляции и режимом SIL симуляции примерно равны нулю. Однако существуют небольшие различия из-за различных методов округления, используемых различными компиляторами.

Оценка времени выполнения и покрытия кода

Во время симуляции цикла (SIL) логгируйте метрики времени выполнения для сгенерированного кода на хост-компьютер к переменной executionProfile в базовом рабочем пространстве MATLAB. Это время может быть ранним индикатором для эффективности сгенерированного кода. Для точных измерений времени выполнения профилируйте сгенерированный код, когда он интегрирован во внешнее окружение или при использовании с симуляцией «цикл» (PIL). Дополнительные сведения о профилировании SIL см. в разделе Профилирование выполнения кода с SIL и PIL (Embedded Coder).

Постройте график времени выполнения для LaneMarkerDetector_step функция, использующая helperPlotExecutionProfile функция.

helperPlotExecutionProfile(executionProfile);

Заметьте, что вы можете вывести среднее время на систему координат для детектора маркера маршрута из этого графика. Для получения дополнительной информации о генерации профилей выполнения и анализе их во время SIL симуляции, смотрите Профилирование времени выполнения для SIL и PIL (Embedded Coder).

Если у вас есть лицензия Simulink Coverage™, можно также выполнить анализ покрытия кода для сгенерированного кода, чтобы измерить полноту проверки. Можно использовать недостающее покрытие данные, чтобы найти погрешности в проверке, недостающие требования или непредусмотренную функциональность. Сконфигурируйте настройки покрытия и симулируйте тестовую модель, чтобы сгенерировать отчет анализа покрытия. Найдите сгенерированный отчет CoverageResults/LaneMarkerDetector.html в рабочей директории.

if(license('test','Simulink_Coverage'))
    helperCoverageSettings('LaneMarkerDetectorTestBench');
    cvDataObj = cvsim('LaneMarkerDetectorTestBench');
    cvhtml('CoverageResults/LaneMarkerDetector',cvDataObj);
end

### Starting build procedure for: LaneMarkerDetector
### Generated code for 'LaneMarkerDetector' is up to date because no structural, parameter or code replacement library changes were found.
### Successful completion of build procedure for: LaneMarkerDetector

Build Summary

Top model targets built:

Model               Action         Rebuild Reason                           
============================================================================
LaneMarkerDetector  Code compiled  Compilation artifacts were out of date.  

1 of 1 models built (0 models already up to date)
Build duration: 0h 0m 17.364s
### Preparing to start SIL simulation ...
### Starting SIL simulation for component: LaneMarkerDetector
### Stopping SIL simulation for component: LaneMarkerDetector
### Completed code coverage analysis

Вы можете найти Decision Coverage, покрытие операторов и результаты покрытия функции во время симуляции сгенерированного кода для этого сценария тестирования, scenario_LD_02_SixVehicles. Можно протестировать эту модель с различными сценариями, чтобы получить полное покрытие сгенерированного кода. Для получения дополнительной информации о том, как анализировать результаты покрытия во время симуляции ПО в цикле, смотрите Покрытие кода для моделей в режиме ПО в цикле (SIL) и в режиме ПО в цикле (PIL) (Embedded Coder)

Исследуйте дополнительные сценарии

Этот пример предоставляет дополнительные сценарии, которые можно использовать с LaneMarkerDetectorTestBench модель:

  scenario_LF_01_Straight_RightLane
  scenario_LF_02_Straight_LeftLane
  scenario_LF_03_Curve_LeftLane
  scenario_LF_04_Curve_RightLane
  scenario_LD_01_ThreeVehicles
  scenario_LD_02_SixVehicles [Default]

При разработке и тестировании алгоритма обнаружения маркеров маршрута в разомкнутом контуре полезно начать со сценария, в котором есть только автомобиль , оборудованный датчиком. Чтобы сконфигурировать модель и рабочую область для такого сценария, используйте следующий код.

helperSLLaneMarkerDetectorSetup("scenario_LF_04_Curve_RightLane");

Можно использовать эту модель, чтобы интегрировать RoadRunner™ сцены в сценарии вождения для симуляции и проверки.