Как мы проверяем прогноз
Любой сервис прогноза может сказать, что он точный. Проверить это можно единственным способом: взять чужие, независимо собранные находки и посмотреть, выше ли наш индекс в те дни, когда грибы действительно находили. Мы это сделали и публикуем результат целиком — включая то, где ошиблись.
Что именно меряем
Берём 5447 находок из GBIF — международной базы наблюдений за живой природой, куда данные попадают от гербариев, институтов и любителей. Для каждой находки считаем наш индекс в тот день и в её месте, а потом — в другие дни того же места. Если модель права насчёт времени, день находки должен стоять выше случайного дня.
Место при этом зафиксировано — и это принципиально. Наблюдения собраны людьми, а люди ходят вдоль дорог и рядом с городами. Модель, выучившая «грибы там, где ходят люди», получила бы отличный пространственный балл, ничего не понимая про грибы. Поэтому пространственную точность мы не считаем вовсе: число, которое нельзя интерпретировать, хуже отсутствующего — его начнут цитировать.
Два вопроса вместо одного
- Волна — угадали ли мы неделю внутри сезона. Это то, что продаёт прогноз: «на этой неделе да, а на прошлой нет». Так было задумано — а что вышло на самом деле, написано ниже.
- Сезон — угадали ли месяц. Нижняя планка, а не достижение: месяц угадал бы и календарь.
Результат
Волна — угадана ли неделя
0,610
при 0,5 у случайного угадывания. Интервал 0,556–0,655, на 7 187 сравнениях. Но читать это как заслугу погоды нельзя — см. ниже.
Сезон — угадан ли месяц
0,847
интервал 0,812–0,882. Высоко — и теперь мы знаем почему: это заслуга сезонного календаря, а не погодной модели.
Что это значит по-человечески: угадать месяц мы умеем хорошо, а угадать неделю внутри сезона по погоде — пока нет. До планки, которую мы себе поставили (0,750 по этой шкале), модель не дотягивает, и мы не собираемся называть 0,610 «точностью 61%» или как-нибудь ещё красивее, чем оно есть.
Измерено 22 августа 2026 года на выгрузке GBIF по России. Источник данных: GBIF.org, лицензия CC BY.
Обновление 22 августа: погодная часть модели не подтвердилась
Мы прогнали ту же выборку трижды. Один раз честно. Один раз с намеренно перемешанными датами находок — так остаётся календарь, но исчезает всякая связь с погодой. И один раз со случайными датами, чтобы проверить сам измеритель.
| Прогон | Волна | Сезон |
|---|---|---|
| Как есть | 0,610 | 0,847 |
| Даты перемешаны | 0,576 | 0,798 |
| Даты случайны | 0,496 | 0,488 |
Нижняя строка — хорошая новость: на случайных датах измеритель дал 0,496 при ожидаемых 0,5. Считает он честно.
А верхние две — плохая. Между «как есть» и «даты перемешаны» разница всего 0,034, и доверительные интервалы у них перекрываются. Считать долю надо от того, что мы имеем СВЕРХ монетки: 0,5 — это случайное угадывание, и своего у модели 0,610 − 0,5 = 0,110. Из них календарь даёт 0,076, то есть около 69%. Оставшееся мы не можем записать на счёт погоды: 0,034 умещаются внутри доверительных интервалов, и на этих данных её вклад от нуля не отличить.
Оговорка, которая работает в обе стороны: до счёта дошли 709 находок из 5447. Остальные отброшены за отсутствием погоды — наблюдения GBIF старше, чем наша история замеров. Так что это не приговор модели, а честный итог того, что мы пока смогли измерить.
Что мы с этим делаем. Не меняем ни слова в том, что обещаем: платный доступ открывает больше дней прогноза, а не «прогноз точнее» — модель на всех тарифах одна и та же. И не трогаем сезонную часть: 0,847 — это про месяц и про календарь сроков, и вот она у нас работает.
Почему мы это показываем
Первая версия нашей проверки дала результат хуже случайного — и оказалось, что ошибались не в модели, а в самом измерителе. Мы это нашли, починили и пересчитали. Публикуем и число, и тот факт, что сначала оно было неверным.
Сервис, который показывает только удачные замеры, ничем не отличается от сервиса, который не замеряет вовсе, — разница лишь в том, что первый об этом не говорит.