5.4. Оцінка якості моделі.

Наступним етапом після створення моделі і відшукання на її основі розв’язку задачі є оцінка якості моделі. Оцінка якості моделі є кінцевим етапом її розробки і виконує два завдання: превірка відповідності моделі цілям дослідження та оцінка достовірності результатів, що отримуються при проведенні експериментів. На достовірність результатів впливають ряд факторів, основними є:

-       коректний вибір математичного апарату;

-       методична помилка, що властива даному математичному методу;

-       наявність нестаціонарного режиму роботи;

-       необхідність синхронізації роботи окремих компонентів моделі;

-       наявність достовірної моделі вхідних впливів.

Придатність моделі характеризується такими параметрами, як: адекватність, стійкість, чутливість.

Адекватність – ступінь відповідності моделі реальному явищу чи об’єкту, для її оцінки найчастіше використовують методи математичної статистики. Процедура оцінки полягає в порівнянні результатів вимірювань в реальній системі і результатів машинного експерименту по середніх значеннях відгуків моделі і системи, по дисперсіях відхилень відгуків моделів від середнього значення даних системи чи по максимальному значенню відносних відхилень моделі і системи. Адекватну модель можна використовувати, а неадекватну не можна.

Стійкість – це властивість моделі зберігати адекватність на всьому діапазоні робочого навантаження, а також при внесенні змін в конфігурацію системи. Тут використовуються часткові тести та експертна оцінка якості системи після здійснення в ній змін. Переважно чим вища ступінь деталізації моделі, тим вища і її стійкість.

Чутливість моделі – найменше значення вхідної величини, при якій модель системи змінює свій стан і вихідні параметри. Таку оцінку проводять по кожному вхідному параметру  окремо, враховуючи діапазон його зміни. Наприклад:

1)               Визначається величина відносного середнього приросту параметра :

.

2)               Проводиться пара модельних експериментів для значень ,  і визначається значення відгуку  і .

3)               Визначається відносний приріст змінної , що характеризує чутливість моделі по к-тому параметру:

.

Крім того параметрами якості моделі є:

-                       інформативність;

-                       описові властивості моделі;

-                       прогностичні властивості моделі;

-                       надійність.

Інформативність моделі оцінюється по величині коефіцієнта множинної кореляції і величині розрахункового значення F-відношенння для коефіцієнта кореляції. Обидві величини повинні бути якомога більшими: бажано, щоб значення множинної кореляції було від 0,95 і вище, а значення F-відношення принаймні на порядок більше табличного. Неінформативністъ чи низька інформативність може бути викликана наступними причинами:

· неправильний вибір структури рівняння регресії;

· неправильний вибір числа рівнів варіювання (їх занадто мало);

· діапазони зміни перемінних занадто вузькі;

· у план і експеримент включені не усі значимо впливаючі фактори;

· на аналізований відгук занадто великий вплив роблять «шумові» (некеровані, неконтрольовані) ефекти.

Неінформативну модель використовувати не можна.

Описові властивості, зі статистичної точки зору характеризуються адекватністю моделі, а з погляду користувача — середнім і максимальним відсотком відхилення значень, розрахованих по моделі стосовно експериментального.

Властивості моделі по передбаченню, оцінюються шляхом порівняння значень, розрахованих по моделі, з експериментальними для контрольної послідовності досвідів, що не збігає з вибіркою, по якій побудована модель.

Надійність моделі з погляду правильності структури зв'язків між незалежним перемінними і відгуком можна оцінити тільки побічно по наступному наборі ознак:

§ структура моделі не повинна суперечити представленням про природу процесу чи явища;

§ якість властивостей моделі по передбаченню, не повинна істотно відрізнятися від якості описуючих властивостей, що перевіряється по F-критерію (перевірка на адекватність);

§ модель повинна бути інформативною.