5.4. Оцінка якості моделі.
Наступним етапом після створення моделі і
відшукання на її основі розв’язку задачі є оцінка якості моделі.
Оцінка якості моделі є кінцевим етапом її розробки і виконує два завдання:
превірка відповідності моделі цілям дослідження та оцінка достовірності
результатів, що отримуються при проведенні експериментів. На достовірність
результатів впливають ряд факторів, основними є:
-
коректний вибір математичного апарату;
-
методична помилка, що властива даному
математичному методу;
-
наявність нестаціонарного режиму роботи;
-
необхідність синхронізації роботи окремих
компонентів моделі;
-
наявність достовірної моделі вхідних
впливів.
Придатність
моделі характеризується такими параметрами, як: адекватність, стійкість,
чутливість.
Адекватність –
ступінь відповідності моделі реальному явищу чи об’єкту, для її оцінки
найчастіше використовують методи математичної статистики. Процедура оцінки
полягає в порівнянні результатів вимірювань в реальній системі і результатів
машинного експерименту по середніх значеннях відгуків моделі і системи, по
дисперсіях відхилень відгуків моделів від середнього значення даних системи чи
по максимальному значенню відносних відхилень моделі і системи. Адекватну
модель можна використовувати, а неадекватну не можна.
Стійкість –
це властивість моделі зберігати адекватність на всьому діапазоні робочого
навантаження, а також при внесенні змін в конфігурацію системи. Тут
використовуються часткові тести та експертна оцінка якості системи після здійснення
в ній змін. Переважно чим вища ступінь деталізації моделі, тим вища і її
стійкість.
Чутливість моделі –
найменше значення вхідної величини, при якій модель системи змінює свій стан і
вихідні параметри. Таку оцінку проводять по кожному вхідному параметру окремо, враховуючи
діапазон його зміни. Наприклад:
1)
Визначається величина відносного середнього
приросту параметра :
.
2)
Проводиться пара модельних експериментів
для значень ,
і
визначається значення відгуку
і
.
3)
Визначається відносний приріст змінної , що характеризує чутливість моделі по к-тому параметру:
.
Крім того
параметрами якості моделі є:
-
інформативність;
-
описові
властивості моделі;
-
прогностичні
властивості моделі;
-
надійність.
Інформативність
моделі оцінюється по
величині коефіцієнта множинної кореляції і величині розрахункового значення F-відношенння для коефіцієнта кореляції. Обидві величини повинні бути якомога більшими:
бажано, щоб значення множинної кореляції було від 0,95 і вище, а значення F-відношення – принаймні на порядок більше табличного. Неінформативністъ
чи низька інформативність може бути викликана наступними причинами:
· неправильний вибір структури рівняння регресії;
· неправильний вибір числа рівнів варіювання (їх занадто мало);
· діапазони зміни перемінних занадто вузькі;
· у план і експеримент включені не усі значимо впливаючі
фактори;
· на аналізований відгук занадто великий вплив роблять
«шумові» (некеровані, неконтрольовані) ефекти.
Неінформативну модель використовувати не можна.
Описові властивості, зі
статистичної точки зору характеризуються адекватністю моделі,
а з погляду користувача — середнім і максимальним відсотком відхилення значень,
розрахованих по моделі стосовно експериментального.
Властивості
моделі по передбаченню,
оцінюються шляхом порівняння значень, розрахованих по моделі, з
експериментальними для контрольної послідовності досвідів, що не збігає з
вибіркою, по якій побудована модель.
Надійність моделі з погляду правильності структури зв'язків між незалежним перемінними і
відгуком можна оцінити тільки побічно по наступному наборі ознак:
§ структура моделі не повинна суперечити
представленням про природу процесу чи явища;
§ якість властивостей моделі по передбаченню,
не повинна істотно відрізнятися від якості описуючих властивостей, що
перевіряється по F-критерію (перевірка на адекватність);
§ модель повинна бути інформативною.