Яндекс.Метеум – нова розробка чи маркетинговий хід?

В кінці листопада компанія «Яндекс» анонсувала свій оновлений погодний сервіс під назвою «Яндекс.Метеум». Нібито нова програмна розробка за своїми алгоритмами здатна розраховувати прогноз з точністю до будинку. Мене як метеоролога-любителя не міг не зацікавити новий продукт. Я завжди з повагою ставився до Яндексу, навіть незважаючи на невдалий перезапуск Кинопоиск, але детально вивчивши анонс, опублікований на сайті «Хабрахабр», я знайшов у ньому низку нестикувань і логічних помилок. Тоді я вирішив провести своє дослідження точності нового сервісу, щодо інших погодних ресурсів, а саме мого сайту «Погода 45» (Прогноз погоди для Кургану) і Foreca (базовий ресурс з якого Яндекс бере дані).

Яндекс.Метеум

Надалі я буду спиратися на розширений анонс, опублікований на Хабрахабре. Розберемо ці незрозумілості і логічні неточності, які мною були знайдені в цьому анонсі.

Розбір польотів
«Прогноз з точністю до будинку»
А чи є необхідність в такому прогнозі? В існуючих комп’ютерних моделях використовується сітка 20 на 20 кілометрів або 15 на 15 кілометрів. Що це означає? Це означає, що кожен розрахунковий вузол від попереднього знаходиться на відстані 20 кілометрів. Як правило, для рівнинної місцевості з невеликими перепадами висот цього достатньо. А от в умовах гірської місцевості, вимагає допомогу мезомасштабных моделей, де розрахункові вузли знаходяться на більш близькій відстані. Найчастіше це 5, 2 або 1 кілометр. Але бувають і винятки. Наприклад, спеціально для Олімпіади в Сочі в 2014 році була розроблена мезомасштабная модель COSMO з сіткою в 100 метрів! Зрозуміло, така модель добре розраховує локальні явища притаманні даній місцевості: туман, орографічні опади, різкі перепади температур. Але як ви бачите, навіть тут використовується сітка точністю до 100 метрів. І це виправдано. Адже збільшення числа вузлів призводить до підвищення навантаження на суперкомп’ютер, на якому запускається модель. Але потрібна точність до будинку? У деяких випадках повітряна маса виявляється настільки однорідною, що на один градус температура змінюється кожні 10, 20 або 50 кілометрів! Прогноз з точністю до будинку — це рекламна качка, не більше.

Яндекс.МетеумМінімальна температура в ЦФО вночі 2 січня

«Більш детальна інформація про глобальне стан атмосфери до нас приходить з американської моделі Global Forecast System, яка вважається однією з найбільш точних глобальних моделей у світі і має дозвіл в 0.25 градуси.»

Ще одне твердження, яке потребує пояснень. Американська комп’ютерна модель GFS дійсно хороша, але вона не сама точна. Європейська модель ECMWF – ось найточніша модель. На американському сайті weatherbell.com наводяться графіки відповідності прогнозованого барического поля і фактичного, за двома моделями на строк до 5 діб. За 2015 рік у Європейській моделі коефіцієнт відповідності 0,910, а в американській – 0.885. Прогноз барического поля – це базовий параметр. Якщо модель його добре розраховує, значить, вона може і адекватно розрахувати температуру, вітер, хмарність та опади.

Яндекс.МетеумАналіз якості прогнозування барического поля у американської та європейської моделі.

Оцінка точності
Ось і настав момент істини. Зараз декілька слів про умови експерименту. Я не з чуток знайомий з критеріями оцінки точності прогнозу. На своєму сайті «Погода 45», я вже три роки складаю свої власні прогнози для мого міста Кургану. Я використовую мультимодельную ансамблевую методику, прогноз будується на базі десятка різних моделей, які «включаються» в різний час року і в різних синоптичних ситуаціях. У 2014 році прогноз по температурі на одну добу виправдався на 95%, а в 2015 вдалося підняти точність на 1%! Мій прогноз на 10% точніше, ніж у наших місцевих синоптиків, для яких 85% — це верхня планка. Ще один сервіс, жодна самостійна модель не змогла скласти прогноз точніше, ніж у мене. Множинний підхід показує більшу ефективність, ніж прогноз одиничних моделей.

Кожен день протягом усього грудня я записував прогноз Яндекса, Фореки і свій власний. Прогноз максимальної температури вдень і мінімальної вночі. Це загальносвітова практика, тут немає нічого нового. Аналізував оправдываемость у відсотках і середню абсолютну похибку в градусах. Для оцінки оправдываемости я використовував повчання Гідрометцентру. Воно є тут.

Висновок
Яндекс.Метеум

Результати експерименту виявилися для мене очікуваними. Прогноз від Яндекса виявився на 2% точніше, ніж у Фореки, а середня абсолютна похибка виявилася практично однаковою. Це означає, що ці 2% звичайний користувач навіть не відчує. І, зрозуміло, Яндекс не зміг перевершити мої прогнози, опубліковані на сайті «Погода 45». Крім того, за час спостереження я помітив, що Яндекс не вміє прогнозувати нічний вихолодження, а це найголовніша проблема в зимовий час року. Інший проблемний момент стосувався самого сайту і додатки. З середини грудня Яндекс почав видавати самі неадекватні прогнози, які можна списати на технічні несправності. Наприклад, у новорічну ніч я очікував похолодання до -30 по більшості моделей. А Яндекс показував лише -21. Це непрощенна помилка! А 35% переваги я навіть не буду коментувати.

Яндекс.МетеумГлюк на сайті Яндекса. Немає похолодання. В новорічну ніч було -33. Яндекс показує -21.

У кінцевому підсумку можна сказати, що Яндекс не створив нічого надприродного, об’єктивний аналіз прогнозу показав перевагу над прогнозами сайту Foreca лише в межах похибки, а отже, звичайні користувачі не зможуть відчути цієї різниці. А якщо немає різниці, навіщо платити більше?

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

*