Как работает k кратная перекрестная проверка

Понимание критериев обучения и разделения в машинном обучении

В области машинного обучения разделение поезд-тест — простой, но эффективный метод. По сути, это влечет за собой разделение вашего набора данных на два отдельных набора: один для обучения вашей модели, а другой для оценки ее правильности. С помощью этого метода можно оценить эффективность прогнозов вашей модели в свете свежих данных. Вы можете оценить, насколько эффективно модель обобщает и, следовательно, насколько хорошо она будет работать в реальном мире, предоставив ей совершенно новый набор данных, на котором она не обучалась. Разделение поезд-тест по существу действует как «проверка реальности» возможностей вашей модели, предоставляя вам лучшее понимание ее преимуществ и недостатков. Это позволяет вам корректировать и улучшать свою модель для лучшего достижения ваших целей, что в конечном итоге позволит получать более точные и заслуживающие доверия прогнозы. В этом посте мы рассмотрим критерии поезда и разделения, включая их значение и практическое применение.

Что такое сплит поезд-тест?

Разделение поезд-тест в машинном обучении предполагает разделение вашего набора данных на два отдельных набора: один для обучения вашей модели, а другой — для оценки ее производительности. Цель этого разделения — оценить точность вашей модели на гипотетических данных, что важно для обеспечения эффективного обобщения и получения точных прогнозов на практике. Ваша модель может быть протестирована путем сравнения прогнозов, которые она делает с использованием набора для тестирования, с фактическими значениями в наборе данных после того, как она была обучена с использованием обучающего набора для изменения ее весов и смещений. Чтобы убедиться, что данные верны во всем наборе данных и что модель не переопределяет обучающий набор, разделение часто выполняется случайным образом. Используя этот метод, вы можете гарантировать, что ваша модель будет максимально точной и сможет точно прогнозировать будущие данные.

Почему важно разделить поезд-тест?

Эффективность модели машинного обучения на невидимых данных должна оцениваться с помощью науки о данных. Это связано с тем, что модель может невероятно хорошо работать с набором данных, на котором она обучалась, но плохо работать с совершенно новыми, непроверенными данными. Другими словами, модель, которая была адаптирована к обучающим данным, может давать неправильные прогнозы при применении к новым данным. Когда модель становится слишком сложной, происходит переобучение, и модель начинает запоминать данные обучения, а не изучать основные закономерности. В результате получается модель, которая слишком настроена для обучающего набора данных и плохо работает на тестовом наборе. Чтобы избежать переобучения и гарантировать точность и надежность модели при использовании в практических приложениях, важно оценить ее эффективность на ненаблюдаемых данных.

Понимание критериев разделения поезд-тест

Случайное разделение

Разделение данных чаще всего осуществляется посредством случайного разделения. Данные случайным образом делятся на две группы: обычно 70 % для обучения и 30 % для тестирования. Если в данных нет врожденных шаблонов или структур, которые вы хотите сохранить в тестовом наборе, этот метод весьма полезен. Преимущество случайного разделения заключается в том, что обучающий и тестовый наборы репрезентативны для всего набора данных, что снижает вероятность переобучения.

Стратифицированный раскол

При стратифицированном разбиении распределение определенной переменной как в обучающем, так и в тестовом наборах сохраняется за счет разделения данных на подмножества на основе этой переменной. При работе с несбалансированными наборами данных, то есть когда для каждого класса имеется неодинаковое количество примеров, этот критерий очень полезен. Стратифицированное разделение может помочь повысить точность модели, гарантируя, что обучающий и тестовый наборы содержат одинаковое количество случаев для каждого класса.

Разделение по времени

Данные разделяются на подгруппы в зависимости от времени с разделением по времени. При работе с данными временных рядов, где важна последовательность событий, этот метод часто используется. При разбиении по времени тестовый набор обычно содержит все события, произошедшие после определенного момента времени, тогда как обучающий набор часто содержит все случаи, произошедшие до этого момента. При прогнозировании временных рядов важно, чтобы модель была обучена на исторических данных и оценена на перспективных данных.

K-кратная перекрестная проверка

K-кратная перекрестная проверка включает в себя разделение данных на K подмножества или складки, используя каждую складку в качестве тестового набора, а оставшиеся складки K-1 в качестве обучающего набора. Каждая складка служит тестовым набором один раз в течение K-времени этой процедуры. При работе с небольшими наборами данных, где может быть недостаточно информации для разделения на обучающие и тестовые наборы, очень полезна K-кратная перекрестная проверка.

Заключение

Разделение обучения и тестирования в машинном обучении — это важный этап, позволяющий убедиться, что ваша модель может эффективно обобщать и делать точные прогнозы на совершенно новых, непроверенных данных. Данные можно разделить на два подмножества, чтобы вашу модель можно было обучать на одном наборе и оценивать на другом, создавая прогнозы, которые в конечном итоге будут более точными. Однако невозможно переоценить важность выбора подходящего критерия разделения данных. Некоторые критерии могут оказаться более подходящими, чем другие, в зависимости от типа данных и проблемы, которую вы пытаетесь решить. Можно повысить точность модели, избежать переобучения и гарантировать устойчивость модели к совершенно новым, непроверенным данным. В заключение отметим, что преимущества использования различных критериев в различных обстоятельствах могут, наконец, обеспечить более точные и надежные модели машинного обучения.

Все права защищены. © Linux-Console.net • 2019-2023

Что такое переоснащение?

Переоснащение — нежелательное поведение машинного обучения, которое возникает, когда модель машинного обучения дает точные прогнозы для обучающих данных, но не для новых данных. Когда специалисты по обработке данных используют модели машинного обучения для прогнозирования, они сначала обучают модель на известном наборе данных. Затем на основе этой информации модель пытается предсказать результаты для новых наборов данных. Модель переподготовки может давать неточные прогнозы и не может хорошо работать для всех типов новых данных.

Почему происходит переобучение?

Точные прогнозы можно получить только в том случае, если модель машинного обучения обобщается касательно всех типов данных в своей области. Переобучение происходит, когда модель не может быть обобщена и слишком точно соответствует обучающему набору данных. Переобучение происходит по нескольким причинам, таким как:
• Размер обучающих данных слишком мал и не содержит достаточного количества выборок данных для точного представления всех возможных значений входных данных.
• Обучающие данные содержат большое количество нерелевантной информации, называемой зашумленными данными.
• Модель слишком долго обучается на одном наборе выборочных данных.
• Сложность модели высока, поэтому она изучает шум в обучающих данных.

Примеры переобучения
Рассмотрим пример использования, когда модель машинного обучения должна анализировать фотографии и идентифицировать снимки, на которых изображены собаки. Если модель машинного обучения была обучена на наборе данных, который содержал большинство фотографий собак на улице в парках, она может научиться использовать траву в качестве признака для классификации и может не распознать собаку в комнате.
Другим примером переобучения является алгоритм машинного обучения, который прогнозирует успеваемость студента университета и результаты выпуска, анализируя несколько факторов, таких как доход семьи, прошлая успеваемость и академическая квалификация родителей. Однако данные теста включают только кандидатов определенного пола или этнической группы. В этом случае переобучение приводит к снижению точности прогнозирования алгоритма для кандидатов с полом или этнической принадлежностью за пределами тестового набора данных.

Как определить переобучение?

Лучший метод обнаружения перегруженных моделей – тестирование моделей машинного обучения на большем количестве данных с полным представлением возможных значений и типов входных данных. Как правило, часть обучающих данных используется в качестве тестовых данных для проверки переобучения. Высокая частота ошибок в данных тестирования указывает на переобучение. Один из методов тестирования на переобучение приведен ниже.
K-кратная перекрестная проверка
Перекрестная проверка – один из методов тестирования, используемых на практике. В этом методе специалисты по обработке данных делят обучающее множество на K одинаковых по размеру подмножеств или наборов образцов, называемых слагаемыми. Процесс обучения состоит из серии итераций. Во время каждой итерации выполняются указанные ниже шаги.
1. Оставьте одно подмножество в качестве данных проверки и обучите модель машинного обучения на оставшихся подмножествах K-1.
2. Посмотрите, как модель работает на проверочном образце.
3. Оценка производительности модели на основе качества выходных данных.

Итерации повторяются до тех пор, пока вы не протестируете модель на каждом наборе образцов. Затем вы усредняете баллы по всем итерациям, чтобы получить окончательную оценку прогнозной модели.

Как предотвратить переобучение?

Вы можете предотвратить переобучение, диверсифицировав и масштабируя набор обучающих данных или используя другие стратегии анализа данных, например приведенные ниже.
Ранняя остановка
Ранняя остановка приостанавливает этап обучения до того, как модель машинного обучения узнает шум в данных. Однако важно правильно выбрать время, иначе модель все равно не даст точных результатов.
Обрезка
При построении модели можно определить несколько объектов или параметров, влияющих на окончательный прогноз. Выборка объектов (или сокращение) определяет наиболее важные функции в обучающем наборе и устраняет ненужные. Например, чтобы предсказать, является ли изображение животным или человеком, вы можете посмотреть на различные входные параметры, такие как форма лица, положение ушей, структура тела и т. д. Вы можете отдавать предпочтение форме лица и игнорировать форму глаз.
Регуляризация
Регуляризация – это набор методов обучения/оптимизации, направленных на сокращение переоснащения. Эти методы пытаются устранить те факторы, которые не влияют на результаты прогнозирования, путем оценки объектов на основе важности. Например, математические вычисления применяют штрафы к объектам с минимальным воздействием. Рассмотрим статистическую модель, пытающуюся предсказать цены на жилье в городе через 20 лет. Регуляризация даст меньшее значение штрафа для таких характеристик, как рост населения и среднегодовой доход, но большее значение штрафа для среднегодовой температуры в городе.
Ансамблирование
Ансамблирование объединяет прогнозы нескольких отдельных алгоритмов машинного обучения. Некоторые модели называют слабыми, потому что их результаты часто неточны. Методы ансамблирования объединяют всех слабых учащихся для получения более точных результатов. Они используют несколько моделей для анализа выборочных данных и выбора наиболее точных результатов. Два основных метода ансамблирования – это пакетирование и бустинг. Во время бустинга обучаются разные модели машинного обучения одна за другой, чтобы получить конечный результат, в то время как пакетирование обучает их параллельно.
Дополнение данных
Дополнение данных – это метод машинного обучения, при котором выборочные данные немного изменяются каждый раз, когда модель их обрабатывает. Это можно сделать, незначительно изменяя входные данные. При умеренном увеличении данных учебные наборы выглядят уникальными для модели и не позволяют модели изучать их характеристики. Например, применение преобразований, таких как перемещение, отражение и поворот, к входным изображениям.

Что такое недообучение?

Недообучение – это еще один тип ошибок, возникающих, когда модель не может определить значимую связь между входными и выходными данными. Вы получаете недоподходящие модели, если они не обучались в течение соответствующего периода времени на большом количестве точек данных.
Недообучение или переобучение
Неподходящие модели характеризуются высокой степенью смещения – они дают неточные результаты как для тренировочных данных, так и для набора тестов. С другой стороны, модели overfit имеют высокую дисперсию – они дают точные результаты для тренировочного набора, но не для тестового набора. Более тщательное обучение модели приводит к меньшей погрешности, но дисперсия может увеличиться. Специалисты по обработке данных стремятся найти золотую середину между недообучением и переобучением при подгонке модели. Хорошо подогнанная модель может быстро установить доминирующую тенденцию для видимых и невидимых наборов данных.

Как AWS может минимизировать ошибки переобучения в ваших моделях машинного обучения?

Вы можете использовать Amazon SageMaker, чтобы создавать, обучать и развертывать модели машинного обучения для любого сценария использования с полностью управляемыми инфраструктурой, инструментами и рабочими процессами. Amazon SageMaker имеет встроенную функцию Отладчик Amazon SageMaker, которая автоматически анализирует данные, генерируемые во время обучения, такие как ввод, вывод и преобразования. В результате система может обнаруживать и сообщать о переобучении и других неточностях без вмешательства пользователя.

Ниже приведены несколько примеров.

• Автоматическая остановка тренировочного процесса при достижении желаемой точности.
• Захватывайте показатели обучения в режиме реального времени.
• Получайте оповещения при обнаружении переобучения.

Сократите время и стоимость обучения моделей машинного обучения. Начните работу с машинным обучением на AWS, создав бесплатный аккаунт уже сегодня!

Прогнозирование осложнений язвенной болезни с помощью метода перекрёстной проверки Текст научной статьи по специальности «Клиническая медицина»

МЕТОД ПЕРЕКРЁСТНОЙ ПРОВЕРКИ / ДРЕВО РЕШЕНИЙ / ЯЗВЕННАЯ БОЛЕЗНЬ ЖЕЛУДКА И ДВЕНАДЦАТИПЕРСТНОЙ КИШКИ / КРОВОТЕЧЕНИЕ / ПЕРФОРАЦИЯ / ПРЕДСКАЗАНИЕ ОСЛОЖНЕНИЙ ЯЗВЕННОЙ БОЛЕЗНИ / CROSS-VALIDATION / DECISION TREE / DIAGNOSTICS / PEPTIC ULCER DISEASE / DUODENAL ULCER HEMORRHAGE / ULCER PERFORATION / PEPTIC ULCERS COMPLICATIONS PREDICTION

Аннотация научной статьи по клинической медицине, автор научной работы — Гололобов Григорий Юрьевич, Стамов Александр Александрович, Мехдиев Эмиль Джамаладдинович

В статье обсуждаются результаты предпринятого авторами исследования возможности применения метода перекрёстной проверки для оценки эффективности аналитической модели прогнозирования осложнений язвенной болезни. Полученные данные свидетельствуют о высокой точности метода перекрёстной проверки . Применение данного метода в целях диагностики в практике медицины позволяет отслеживать малейшие нюансы в изменении состояния больного, существенно оптимизирует работу врача, а также снижает риски осложнений от множества других заболеваний. Peptic ulcer disease (PUD) is easily cured, but it can often lead to complications demanding serious operations, even at young age. The last decades is characterized by a sharp decrease in the frequency of planned operations for PUD (more than 2 times), but the number of emergency operations for complications (perforations and bleeding) increased 2 and 3 times, respectively. In other words, the success of conservative therapy in general did not affect the frequency of these complications and the issues of surgical treatment of peptic ulcer, especially given the increased number of its complicated forms, will be relevant for a long time. Therefore, early diagnosis and prediction of the possible complications result in successful treatment of the disease. Mathematical methods are obligatory for developments in this direction. Well-studied ones, such as regression analysis, have reached their theoretical limit of accuracy and applicability. In this regard, new methods of mathematical data analysis for the diagnosis of diseases and their complications come to the forefront. So, the subject of our study is the cross-validation method as one of the most promising logical-mathematical approaches for medical practice. In the basis for our model development, we put data on 171 test subjects, 130 of whom suffered from PUD, 35 had a different pathology and 6 were healthy in the period 2014-2016. We modeled the database for each patient. This database included 227 variables, as follows: passport information, clinical diagnosis, combined pathology, complaints, treatment in the past, complications, radiology, ultrasound findings, information on surgical intervention. During cross-validation , we used the Decision Tree algorithm, as well as statistical analysis and the Monte Carlo method. The reliability of clinical diagnosis prediction was 89.47% while such indicator for mortality predicting was 98.83%. Such PUD complications as perforation and bleeding are predicted particularly well: the results were 94.15% and 87.92%, respectively. In the course of our approach, overall prediction accuracy was 92.59%. Based on these data, we conclude that cross-validation is a highly accurate method, and its application as modern diagnostic model in personalized medicine will make it possible both to mention even small changes in patient’s condition and as reduce complications hazard in many diseases.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по клинической медицине , автор научной работы — Гололобов Григорий Юрьевич, Стамов Александр Александрович, Мехдиев Эмиль Джамаладдинович

Корреляции кристаллографии и морфологического исследования биоптатов желудочной слизи
На пути к новой парадигме в медицине
Влияние хронического воспаления нёбных миндалин и тонзиллэктомии на акустические параметры голоса
Бактериологическое исследование микрофлоры отделяемого носоглотки у учащихся 11-летнего возраста
Pathogenesis of complications of Oocytes Donation (od)
i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Текст научной работы на тему «Прогнозирование осложнений язвенной болезни с помощью метода перекрёстной проверки»

Электронное научное издание Альманах Пространство и Время Т. 15. Вып. 1 • 2017

STUDIA STUDIOSORUM: УСПЕХИ МОЛОДЫХ ИССЛЕДОВАТЕЛЕЙ

Тематический выпуск в рамках года подготовки и проведения XIX Всемирного фестиваля молодежи и студентов в России

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1

STUDIA STUDIOSORUM: Achievements of Young Researchers

Thematic Issue in the run-up to the year of preparation and holding the 19th World Festival of Youth and Students in Russia Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Band 15, Ausgb. 1.

STUDIA STUDIOSORUM: Fortschritte der Nachwuchsforscher

Thematische Ausgabe im Rahmen des Jahres der Vorbereitung und Durchführung des XIX. Weltfestivals der Jugend und Studenten in Russland

Успехи в науках о человеке

Achievements in Human Sciences / Fortschritte in der H umanw issenschaften

Гололобов Г.Ю.*, Стамов А.А.**, Мехдиев Э.Д.

Прогнозирование осложнений язвенной болезни с помощью метода перекрёстной проверки

*Гололобов Григорий Юрьевич, студент 4 курса Дирекции образовательных программ «Медицина будущего» Первого Московского государственного медицинского университета им. И.М. Сеченова

ORCID ID https://orcid.org/0000-0002-7374-9800

E-mail: grigoriy-yu-gololobov@j-spacetime.com; grriffan@gmail.com

**Стамов Александр Александрович, студент 5 курса лечебного факультета Первого Московского государственного медицинского университета им. И.М. Сеченова

ORCID ID https://orcid.org/0000-0001-5642-7255

E-mail: alexander-a-stamov@j-spacetime.com; faust2539@gmail.com

***Мехдиев Эмиль Джамаладдинович, студент 4 курса Дирекции образовательных программ «Медицина будущего» Первого Московского государственного медицинского университета им. И.М. Сеченова

ORCID ID https://orcid.org/0000-0001-9773-1341

E-mail: emil-d-mekhdiev@j-spacetime.com; emilenus@yandex.ru

В статье обсуждаются результаты предпринятого авторами исследования возможности применения метода перекрёстной проверки для оценки эффективности аналитической модели прогнозирования осложнений язвенной болезни. Полученные данные свидетельствуют о высокой точности метода перекрёстной проверки. Применение данного метода в целях диагностики в практике медицины позволяет отслеживать малейшие нюансы в изменении состояния больного, существенно оптимизирует работу врача, а также снижает риски осложнений от множества других заболеваний.

Ключевые слова: метод перекрёстной проверки; древо решений; язвенная болезнь желудка и двенадцатиперстной кишки; кровотечение; перфорация; предсказание осложнений язвенной болезни.

Язвенная болезнь (ЯБ) желудка и двенадцатиперстной кишки остается одной из важнейших проблем современной хирургической гастроэнтерологии. На XXII Российской гастроэнтерологической неделе в 2016 г. отмечалось, что гастро-дуоденальные язвы являются одними из самых распространённых заболеваний органонов пищеварения. По диспансер-

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1 ‘STUPIA STUPIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15, Ausgb. 1. ‘STUPIA STUPIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

ным данным, на учёте состоит более 3 млн. больных. Также отмечено, что от осложнений умирает около 6 тысяч человек в год [Якубчик 2011]. Последнее десятилетие характеризуется резким снижением частоты плановых операций по поводу гастродуоденальных язв (более чем в 2 раза), но количество экстренных операций, выполняемых по поводу осложнений — перфораций и кровотечений, — увеличилось в 2 и 3 раза соответственно [Галимов и др. 2002; Нуртдинов 2005]. Иными словами, успехи консервативной терапии в целом не повлияли на частоту этих осложнений и вопросы хирургического лечения язвенной болезни, особенно с учетом возросшего количества её осложненных форм, будут актуальны ещё долгое время [Афендулов, Журавлев 2008].

Всё это свидетельствует о необходимости проведения ранней и современной диагностики, которые помогут вовремя заподозрить данное заболевание на догоспитальном этапе. В настоящие время «золотым стандартом» диагностики является эндоскопическое исследование (фиброгастродуоденоскопия) и R-логическое исследование [Афендулов, Журавлев 2008; Нуртдинов 2005].

Хорошо изученные на сегодняшний день математические методы, такие как регрессионный анализ, дошли до своего теоретического предела точности и применимости. В связи с этим на первый план выходят новые методы математического анализа данных для диагностики заболеваний и их осложнений [Гололобов и др. 2016, Назаренко и др. 2010, Хаса-нов и др. 2016; Akhmetshin et al. 2012]. Большой популярностью пользуется метод искусственных нейронных сетей, который уже зарекомендовал себя в медицинской практике.

С точки зрения последней, особый интерес, на наш взгляд, вызывает как один из наиболее перспективных метод перекрёстной проверки (cross-validation), который и будет рассмотрен в данной работе.

Перекрёстная проверка (сross-validation) представляет собой статистический метод оценки и сравнения алгоритмов обучения путем деления данных на два сегмента: один используется для узнавания или обучения модели, а другой используется для проверки модели. В типичной модели перекрёстной проверки циклы тренировки и проверки должны перепроверяться в последовательных циклах таким образом, чтобы каждый пункт сверялся повторно. Основой формы перекрестной проверки является К-кратная перепроверка (K-fold cross-validation) [Refaeilzadeh et al. 2009].

С учётом изложенного целью данной работы явилось использование метода перекрёстной проверки в прогнозировании осложнений язвенной болезни.

Материалы и методы

В основу модели положены данные 171 человека, 130 из которых имеют язвенную болезнь, 35 имеют иную патологию и 6 являются здоровыми в период 2014—2016 гг.

Смоделированная база данных на каждого пациента включала себя в 227 переменных, содержащих паспортную информацию, клинический диагноз, сочетанную патологию, жалобы, лечение в прошлом, осложнения, рентгенологическое заключение, УЗИ заключение, информацию по оперативному вмешательству.

В рамках работы использовалось программное обеспечение, способное построить необходимую нам модель. Метод перекрёстной проверки осуществлялся с применением алгоритм «древо решений» (Decision Tree).

В K-кратной перекрёстной проверке данные сначала в равной степени распределяются на K-сегменты (подвыбор-ки). Затем полученные подвыборки используются следующим образом: один сегмент сохраняется в качестве проверочных данных для тестирования модели, а остальные K-1 сегменты используются в качестве обучающих данных.

Таким образом, каждая подвыборка K-1 раз участвует в обучающей выборке и ровно один раз служит тестовой выборкой. Именно в этом заключается преимущество K-кратной перекрёстной проверки перед некоторыми другими её типами, например, перекрёстной проверкой на основе метода Монте-Карло, когда весь массив данных разбивается случайным образом на данные для проверки и для обучения, что в итоге со случайной долей вероятности гарантирует повторное участие одних и тех же подвыборок как в проверке, так и в обучении, а также абсолютное неучастие в вычислениях некоторых отдельно взятых подвыборок. Обычно в K-кратной перекрёстной проверке все данные стратифицируются до начала K-итераций, что подразумевает под собой перегруппировку и присвоение числовых значений для гарантии существования единственно возможного логического толкования теории. Например, если поставлена задача бинарной классификации объектов, где каждый класс содержит 50% данных, лучше всего ранжировать данные таким образом, чтобы на каждом этапе каждый класс включал в себя около половины примеров.

В результате получается оценка эффективности выбранной модели с наиболее равномерным использованием имеющихся данных [Refaeilzadeh et al. 2009].

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1 ‘STUDIA STUDIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15., Ausgb. 1. ‘STUDIA STUDIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

Для построения модели переменные анализировались на полноту, характер распределения и корреляцию между собой. Поскольку данная модель необходима для ранней диагностики заболевания без лабораторно-инструментальных методов, были использованы 38 переменных, большая часть которых является жалобами пациента.

Для метода перекрёстной проверки (cross-validation) использовался алгоритм «древо решений» (Decision Tree). Были смоделированы древа решений, использовавшие 34 входных параметра, для предсказания контрольного заключения (Х35—Х38, для каждого создавалось своё древо). Тестировался диагноз язвенной болезни, летальный исход, осложнения, требующие незамедлительного хирургического вмешательства — перфорация и кровотечение.

Входные данные включали:

X2 — возраст, локализация болей

X3 — эпигастральная область,

X4 — правое подреберье,

X5 — левое подреберье,

X8 — по всему животу,

X9 — другое место,

X10 — иррадиация в плечо,

XII — иррадиация в спину, X12 — интенсивность,

X13 — до приёма пищи (голодные боли), Х13 — после приёма пищи Х14 — сразу,

Х15 — через полтора-два часа, Х16 — ночные,

Х17 — изжога, отрыжка Х18 — воздухом, Х19 — съеденной пищей,

Х20 — боль усиливалась, прекращалась

Х21 — в горизонтальном положении, Х22 — при наклонах,

Х23 — тошнота, Х24 — рвота, Х25 — запоры, Х26 — жидкий стул, Х27 — метеоризм, Х28 — курение,

Х29 — систолическое давление, Х30 — диастолическое давление, Х31 — пульс.

Также учитывалось лечение

Х32 — амбулаторно или

Х33 — стационарно в прошлом,

Х34 — язвенный анамнез при поступлении.

Х35 — летальный исход, Х36 — язвенная болезнь, Х37 — кровотечение, Х38 — перфорация.

Контрольные древа решений представлены на рис. 1—3.

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1

‘STUDIA STUDIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15, Ausgb. 1. ‘STUDIA STUDIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

Рис. 1. Древо «Язвенная болезнь»

Рис. 2. Древо «Кровотечение»

Рис. 3. Древо «Перфорация»

Для метода перекрёстной проверки (cross-validation) были использованы те же параметры, что и для нейронной сети. Однако разделение данных на «train» и «test» происходит соответственно с методом, от большего «train» и к меньшему «test», к большему «test» и меньшему «train».

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1 ‘STUDIA STUDIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15, Ausgb. 1. ‘STUDIA STUDIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

i Не можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Результаты использования алгоритма «древо решений» (Decision Tree) представлены в табл. 1.

Результаты применения алгоритма «древо решений»

Параметры Точность, % Верно Ошибок

Клинический диагноз 89,47 153 18

Летальный исход 98,83 169 2

Перфорация 94,15 161 10

Кровотечение 87,92 150 21

Общая точность, % 92,59

Предсказание клинического диагноза составило 89,47%, что является хорошим результатом. Предсказание смертности 98,83%. Особенно хорошо прогнозируются осложнения — перфорация и кровотечение, 94,15% и 87,92% соответственно. Общая точность при этом составила 92,59%.

Точность прогнозирования данных параметров варьирует на адекватном уровне. Большой процент предсказания летального исхода объясняется малым количеством летальных исходов в тестируемой выборке.

При сравнении с методом искусственных нейронных сетей, данный метод показывает более высокую точность, что связанно с функциональной особенностью обоих методов. Однако нельзя сказать, что метод перекрёстной проверки (cross-validation) превосходит метод искусственных нейронных сетей, поскольку не известно, как повлияет на общую точность вычислений добавление новых параметров в качественном и количественном их соотношении. Это даёт нам полное право полагать, что новые математические модели предсказания отлично работают в диагностической сфере.

Таким образом, высокая точность предсказания осложнений позволяет судить о полезности данного метода в медицине. Появляется возможность тестировать курируемых пациентов на данной базе данных, прослеживать возможные осложнения и подбирать лучшую тактику лечения язвенной болезни. Персонализированный подход с внедрением новейших моделей позволит отслеживать незначительные нюансы и сильно оптимизировать работу врача, что позволит снизить риски осложнений множества заболеваний.

1. Афендулов С.А., Журавлев Г.Ю. Хирургическое лечение больных язвенной болезнью М.: ГЭОТАР-

Медиа. 2008. 344 с.

2. Галимов О.В., Шамсутдинов А.Р., Нуртдинов М.А., Дмитриев Д.М., Галимова Е.С., Нигматуллин Р.Т.,

Шумкин А.М., Муслимов С.А., Зарипов Ш.А. Способ лечения гастродуоденальных язв, осложненных рубцово-язвенным стенозом верхних отделов желудочно-кишечного тракта. Патент РФ на изобретение RUS 2189822. 2000. 10 апр. [Электронный ресурс] // FreePatent. 2002. 27 сент. Режим доступа: http://www.freepatent.ru/patents/2189822.

3. Гололобов Г.Ю., Тайсин Р.Р., Козлова О.О., Мехдиев Э.Д., Хабибуллин И.Р. Внедрение нейронных сетей

в диагностику язвенной болезни // Сборник материалов LVI научной конференции студентов и молодых учёных Западно-Казахстанского государственного медицинского университета имени Марата Оспанова с международным участием, посвященной 25-летию Независимости Республики Казахстан. Актобе, 2016. С. 62 — 63.

4. Назаренко Г.И., Осипов Г.С., Назаренко А.Г., Молодченков А.И. Интеллектуальные системы в клиниче-

ской медицине. Синтез плана лечения на основе прецедентов // Информационные технологии и вычислительные системы. 2010. № 1. С. 24 — 35.

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1 ‘STUPIA STUPIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15., Ausgb. 1. ‘STUPIA STUPIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

5. Нуртдинов М.А. Оптимизация комплексного лечения язвенной болезни желудка и двенадцатиперст-

ной кишки в хирургической клинике: Дисс. . д. мед. н. Уфа, 2005. 225 с.

6. Хасанов А.Г., Нуртдинов М.А. Гололобов Г.Ю. О прогнозировании осложнений язвенной болезни на

основе нейронных сетей // Анналы хирургии. 2016. Т. 21. № 4. С. 231 —234.

7. Якубчик Т.Н. Клиническая гастроэнтерология. Гродно: Гродненский Государственный Медицинский

Университет, 2011. 308 с.

8. Akhmetshin R.M., Giniyatullin V.M., Kirlan S.A. «Identification of Structures of Organic Substances by Means of

Complex-valued Perceptron.» Optical Memory & Neural Networks (Information Optics) 21.1 (2012): 11 — 16.

9. Refaeilzadeh P., Tang L., Liu H. «Cross Validation.» Encyclopedia of Database Systems. Eds. M. Tamer A-Zsu, and

Ling Liu. New York: Springer, 2009, pp. 532 — 538.

Цитирование по ГОСТ Р 7.0.11—2011:

Гололобов, Г. Ю., Стамов, А. А., Мехдиев, Э. Д. Прогнозирование осложнений язвенной болезни с помощью метода перекрёстной проверки [Электронный ресурс] / Г.Ю. Гололобов, А.А. Стамов, Э.Д. Мехдиев // Электронное научное издание Альманах Пространство и Время. — 2017. — Т. 15. — Вып. 1: Studia studiosorum: успехи молодых исследователей. — Стационарный сетевой адрес: 2227-9490e-aprovr_e-ast15-1.2017.23.

PREDICTION OF PEPTIC ULCER DISEASE COMPLICATIONS BASED ON CROSS-VALIDATION METHOD

Grigorii Yu. Gololobov, 4th year student at the Directorate of Educational Programs of the International School «Medicine of the Future», I.M. Sechenov First Moscow State Medical University

ORCID ID https://orcid.org/0000-0002-7374-9800

E-mail: grigorii-yu-gololobov@j-spacetime.com; grriffan@gmail.com

Alexander A. Stamov, 5th year student at the Department of General Medicine, I.M. Sechenov First Moscow State Medical University

ORCID ID https://orcid.org/0000-0001-5642-7255

E-mail: alexander-a-stamov@j-spacetime.com; faust2539@gmail.com

Emil D. Mekhdiev, 4th year student at the Directorate of Educational Programs of the International School «Medicine of the Future», I.M. Sechenov First Moscow State Medical University

ORCID ID https://orcid.org/0000-0001-9773-1341

E-mail: emil-d-mekhdiev@j-spacetime.com; emilenus@yandex.ru

Peptic ulcer disease (PUD) is easily cured, but it can often lead to complications demanding serious operations, even at young age. The last decades is characterized by a sharp decrease in the frequency of planned operations for PUD (more than 2 times), but the number of emergency operations for complications (perforations and bleeding) increased 2 and 3 times, respectively. In other words, the success of conservative therapy in general did not affect the frequency of these complications and the issues of surgical treatment of peptic ulcer, especially given the increased number of its complicated forms, will be relevant for a long time. Therefore, early diagnosis and prediction of the possible complications result in successful treatment of the disease. Mathematical methods are obligatory for developments in this direction. Well-studied ones, such as regression analysis, have reached their theoretical limit of accuracy and applicability. In this regard, new methods of mathematical data analysis for the diagnosis of diseases and their complications come to the forefront.

Electronic Scientific Edition Almanac Space and Time volume 15, issue 1 ‘STUDIA STUDIOSORUM: Achievements of Young Researchers’

Achievements in Human Sciences

Elektronische wissenschaftliche Auflage Almanach ‘Raum und Zeit Bd. 15, Ausgb. 1. ‘STUDIA STUDIOSORUM: Fortschritte der Nachwuchsforscher’

Fortschritte in der Humanwissenschaften

Гололобов Г.Ю., Стамов А.А., Мехдиев Э.Д. Прогнозирование осложнений язвенной болезни

с помощью метода перекрёстной проверки

So, the subject of our study is the cross-validation method as one of the most promising logical-mathematical approaches for medical practice.

In the basis for our model development, we put data on 171 test subjects, 130 of whom suffered from PUD, 35 had a different pathology and 6 were healthy in the period 2014—2016. We modeled the database for each patient. This database included 227 variables, as follows: passport information, clinical diagnosis, combined pathology, complaints, treatment in the past, complications, radiology, ultrasound findings, information on surgical intervention. During cross-validation, we used the Decision Tree algorithm, as well as statistical analysis and the Monte Carlo method.

The reliability of clinical diagnosis prediction was 89.47% while such indicator for mortality predicting was 98.83%. Such PUD complications as perforation and bleeding are predicted particularly well: the results were 94.15% and 87.92%, respectively. In the course of our approach, overall prediction accuracy was 92.59%.

Based on these data, we conclude that cross-validation is a highly accurate method, and its application as modern diagnostic model in personalized medicine will make it possible both to mention even small changes in patient’s condition and as reduce complications hazard in many diseases.

Keywords: cross-validation; decision tree; diagnostics; peptic ulcer disease; duodenal ulcer hemorrhage; ulcer perforation; peptic ulcers complications prediction.

1. Afendulov S.A., Zhuravlev G.Yu. Surgical Treatment of Patients with Peptic Ulcer Disease. Moscow: GEOTAR-

Media Publisher, 2008. 344 p. (In Russian).

2. Akhmetshin R.M., Giniyatullin V.M., Kirlan S.A. «Identification of Structures of Organic Substances by Means of

Complex-valued Perceptron.» Optical Memory & Neural Networks (Information Optics) 21.1 (2012): 11 — 16.

3. Galimov O.V., Shamsutdinov A.R., Nurtdinov M.A., Dmitriev D.M., Galimova E.S., Nigmatullin R.T., Shumkin

A.M., Muslimov S.A., Zaripov Sh.A. «Gastroduodenal Ulcers Treatment Method Complicated by Scar-Ulcerative Stenosis of Upper Gastrointestinal Tract. Russian Federation Patent, invention RUS 2189822, 10 Apr. 2000.» FreePatent. Rospatent, 27 Sep. 2002. Web. . (In Russian).

4. Gololobov G.Yu., Taysin R.R., Kozlova O.O., Mekhdiev E.D., Khabibullin I.R. «The Introduction of Neural

Networks in Ulcer Disease Diagnosis.» Proceedings of 56th Scientific Conference of Students and Young Scientists of Marat Ospanov West Kazakhstan State Medical University with International Participation Devoted to the 25th Anniversary of Independence of the Republic of Kazakhstan. Aktobe, 2016, pp. 62 — 63. (In Russian).

5. Khasanov A.G., Nurtdinov M.A., Gololobov G.Yu. «Prediction of Predict Ulcer Disease Complications of, based

on artificial neural networks.» Surgery Annals 21.4 (2016): 231—234 (In Russian).

6. Nazarenko G.I., Osipov G.S., Nazarenko A.G., Molodchenkov A.I. «Intelligent Systems in Clinical Medicine.

Case-based Treatment Plan Synthesis.» Information Technologies and Computer Systems 1 (2010): 24 — 35. (In Russian).

7. Nurtdinov M.A. Optimization of Gastric and Duodenal Ulcer Combination Treatment in Surgical Clinic. Doctoral

diss. Ufa, 2005. 225 p. (In Russian).

8. Refaeilzadeh P., Tang L., Liu H. «Cross Validation.» Encyclopedia of Database Systems. Eds M. Tamer A-Zsu, and

Ling Liu. New York: Springer, 2009, pp. 532 — 538.

9. Yakubchik T.N. Clinical Gastroenterology. Grodno: Grodno State Medical University Publisher, 2011. 308 p. (In

Gololobov, G. Yu., A. A. Stamov, and E. D. Mekhdiev. «Prediction of Peptic Ulcer Disease Complications Based on Cross-validation Method.» Electronic Scientific Edition Almanac Space and Time 15.1 (Studia Studiosorum: Achievements of Young Researchers) (2017). Web. . (In Russian).

Использование перекрестной проверки для оценки результатов интерполяции

Прежде чем использовать модель интерполяции для принятия решений, важно изучить, насколько точно модель прогнозирует значения в неизвестных местоположениях. Если вы не знаете истинные значения в местоположениях между точками измерений, как вы можете быть уверены, что ваша модель прогнозирует неизвестные значения точно и надежно? Чтобы ответить на этот вопрос, видимо, надо знать значения местоположений, которые не попали в выборку для интерполяции. Есть широко известный и активно используемый метод оценки точности и надежности результатов интерполяции — перекрестная проверка.

Перекрестная проверка

Перекрестная проверка — метод пересчета «убрать одну точку» — при этом, сначала используются все входные точки для оценки параметров модели интерполяции (вариограмма в кригинге или степень в обратно взвешенных расстояниях). Затем, по очереди из расчета удаляется каждая точка, а остальные точки используются для расчета прогнозируемого значения в местоположении удаленной точки, которое затем сравнивается с измеренным. Далее удаленная точка возвращается к набору данных, а следующая точка удаляется, затем выполняется расчет ее прогнозируемого значения. Процесс повторяется для всех входных точек.

На рисунке ниже показаны результаты перекрестной проверки для отдельной входной точки. После выполнения модели интерполяции на всех точках голубого цвета, значение точки красного цвета убирается, и оставшиеся точки используются для прогнозирования значений скрытой точки. Затем измеренное значение сравнивается с прогнозируемым значением. Процесс повторяется для всех 10 точек.

Красная точка скрывается, значение рассчитывается на основании 9 остальных точек. Процесс повторяется для всех точек.

Перекрестная проверка эффективна при оценке моделей интерполяции, поскольку она имитирует прогнозируемые значения в местоположениях без измерений, но измерения в местоположениях есть, хотя они и скрыты, соответственно можно проверить, насколько рассчитанные значения соответствуют измеренным. Если модель точно прогнозирует значения в скрытых точках, то должна верно вычислять значения и в новых местоположениях, где нет измеренных значений. Если же ошибка перекрестной проверки очень велика, соответственно вы можете ожидать существенные ошибки и в расчете новых местоположений.

Перекрестная проверка выполняется автоматически в процессе построения модели интерполяции, и ее результаты отображаются в последнем шаге Мастера геостатистики. Перекрестную проверку можно также выполнить для существующего слоя с помощью инструмента Перекрестная проверка . Если на карте есть геостатистический слой, вы можете посмотреть статистику перекрестной проверки, щелкнув правой кнопкой мыши этот слой и выбрав Перекрестная проверка или нажав кнопку Перекрестная проверка на ленте, на вкладке Данные для геостатистического слоя.

Но перекрестная проверка имеет один недостаток — она сначала использует все входные точки для оценки параметров модели интерполяции, а затем последовательно убирает каждую точку. Так как все точки участвовали в оценке параметров интерполяции, их нельзя полностью исключить из проверки. Обычно каждая отдельная точка не существенно влияет на оцениваемые параметры интерполяции; при этом в небольших наборах данных, или наборах данных с выбросами даже отдельная точка может существенно изменить оценку параметров интерполяции. Чтобы полностью убрать значения точек и избежать дублированного использования данных, можно использовать проверку.

Проверка

Проверка похожа на перекрестную проверку, за исключением того, что сначала полностью удаляется поднабор точек, который становится тестовым набором данных. Затем он использует оставшиеся точки, которые называются учебным набором данных, для оценки параметров модели интерполяции. Модель интерполяции прогнозирует все местоположения тестового набора данных, и ошибки вычисляются для каждой тестовой точки. Поскольку тестовый набор данных никак не использовался для оценки параметров интерполяции или прогнозирования, проверка является более строгим способом оценки того, насколько точно и надежно модель интерполяции будет прогнозировать новые местоположения с неизвестными значениями. Но такая проверка тоже имеет недостаток — вы не можете использовать все данные для построения модели интерполяции, поэтому оценки параметров могут быть не такими точными и достоверными, как если бы использовались все данные. Из-за необходимости уменьшить размер набора данных, обычно предпочтительнее выполнять перекрестную проверку, если только ваши данные представляют собой избыточную выборку.

Для создания тестового и учебного наборов данных применяется инструмент Поднабор пространственных объектов . После построения модели интерполяции (геостатистического слоя) на учебном наборе данных, вы можете выполнить проверку, используя инструмент Слой GA в точки . Укажите геостатистический слой, созданный из учебных данных, прогнозируйте местоположения тестового набора данных и проверьте поле, используемое для интерполяции. Ошибки и другая статистика проверки сохраняются в выходном классе объектов.

В остальной части статьи обсуждается только перекрестная проверка, но основные концепции ее совпадают с обычной проверкой.

Статистика перекрестной проверки

• Измерено — измеренное значение скрытой точки..
• Проинтерполированное — прогнозированное в результате перекрестной проверки значение в местоположении скрытой точки.
• Ошибка – разность между измерением и проинтерполированным значением (проинтерполированное минус измеренное). Положительное значение ошибки говорит о том, что прогноз выше измерения, а отрицательное — прогноз ниже измерения.
• Стандартная ошибка — стандартная ошибка прогнозированного значения. Если ошибки соответствуют нормальному распределению, примерно две трети измеренных значений попадают в пределы одной стандартной ошибки прогнозированного значения, а 95 процентов попадают в пределы двух стандартных ошибок.
• Нормированная ошибка — ошибка, деленная на стандартную ошибку. Для использования типов результатов — квантиль или вероятность, значения нормированных ошибок должны соответствовать нормальному распределению среднее значение равно нулю, а среднеквадратичное значение — 1).

• Непрерывная ранжированная оценка вероятности — положительное число, измеряющее точность и достоверность прогнозированного значения, чем меньше значение, тем лучше. Значение трудно интерпретировать само по себе, но чем ближе ошибка к нулю, и чем меньше стандартная ошибка, тем меньше непрерывная ранжированная оценка вероятности. Фактически статистика измеряет расстояние (не обычное, географическое) между измеренным значением и прогнозированным распределением, что влияет на точность как прогнозирования, так и стандартной ошибки. Сужение прогнозированного распределения, центрированного вокруг измеренного значения (ошибка ближе к нулю, и небольшая стандартная ошибка), ведет к тому, что непрерывная ранжированная оценка стремится к нулю. Значения измерены в квадратных единицах измерения, поэтому нельзя выполнять сравнение между наборами данных с другими единицами или диапазонами значений.
• Квантиль проверки – квантиль измеренного значения объекта с учетом распределения прогнозируемых значений. Если модель настроена корректно, квантили проверки будут произвольно распределены между значениями 0 и 1, без каких-либо закономерностей. Квантили проверки ненастроенных моделей часто кластеризуются в середине (большинство значений около 0.5) или в экстремумах (большинство значений стремится к 0 или к 1).
• В пределах 90-процентного интервала — индикатор (1 или 0) того, находится ли измеренное значение в пределах 90-процентного интервала прогнозирования (аналогично доверительному интервалу). Если модель настроена корректно, примерно 90 процентов точек будут в пределах этого интервала и иметь значение 1.
• В пределах 95-процентного интервала — индикатор (1 или 0) того, находится ли измеренное значение в пределах 95-процентного интервала прогнозирования. Если модель настроена корректно, примерно 95 процентов точек будут в пределах этого интервала и иметь значение 1.

Примечание:

Методы интерполяции, которые не поддерживают выходной тип стандартной ошибки прогнозирования могут вычислять только измеренное, прогнозированное или значение ошибки.

Суммарная статистика перекрестной проверки

Отдельные показатели статистики перекрестной проверки для каждой скрытой точки обеспечивают подробную информацию о производительности модели, но если число входных точек очень велико, информацию необходимо суммировать для более простоя интерпретации того, что представляют собой результаты интерполяции. Суммарную статистику перекрестной проверки можно увидеть на вкладке Итоговая информация диалогового окна перекрестной проверки и в виде сообщений инструмента Перекрестная проверка . Доступны следующие показатели суммарной статистики:

Примечание:

Во всех формулах, n — число точек. s_i — местоположение скрытой точки. z(s_i) — измеренное значение в местоположении. z-hat(s_i) прогнозируемое значение. σ-hat стандартная ошибка прогнозированного значения.

• Средняя ошибка – среднее значение всех ошибок перекрестной проверки. Это значение должно быть максимально близко к 0. Средняя ошибка указывает на смещение модели, где положительные значения средней ошибки свидетельствуют о тенденции к прогнозированию слишком больших значений, а отрицательные значения ошибки указывают на прогнозирование значений меньше измеренных. Этот показатель выражен в единицах измерения значений данных.
  • 
• Среднеквадратичная ошибка – квадратный корень среднего значений ошибок прогнозирования, возведенных в квадрат. Это значение должно быть как можно меньше. Этот показатель измеряет точность прогнозирования, значение апроксимирует среднее отклонение прогнозированных значений от измеренных. Это значение выражено в единицах измерения значений данных. Например, для интерполяции значений температуры в градусах Цельсия, величина среднеквадратичной ошибки — 1.5 означает, что прогнозируемые значения в среднем отличаются от измеренных на 1.5 градуса.
  • 
• Средняя нормированная ошибка – среднее значение нормированных ошибок (ошибка деленная на стандартную ошибку). Это значение должно быть максимально близко к 0. Этот показатель измеряет смещение модели в нормированном масштабе, поэтому его можно сравнивать для разных наборов данных в разных единицах измерения.
  • 
• Средняя стандартная ошибка — среднеквадратичное (среднее квадратическое значение) стандартных ошибок. Этот показатель измеряет точность модели, тенденцию к сужению распределения прогнозированных значений близко к центру прогнозированного значения. Это значение должно быть максимально мало, но приблизительно равно среднеквадратичной ошибке.
  • 
  • Среднее вычисляется для значений дисперсии перекрестной проверки (квадрат стандартной ошибки), так как дисперсия всегда накопительная, а стандартные ошибки — нет.
• Среднеквадратичная нормированная ошибка — среднеквадратичное значение нормированных ошибок. Этот показатель оценивает точность вычисления стандартных ошибок, сравнивая вариабельность ошибок перекрестной проверки с оцененными стандартными ошибками. Это значение должно быть максимально близко к 1. Значения меньше 1 указывают на то, что вычисленные стандартные ошибки слишком велики, а значения больше 1 говорят о том, что они слишком малы. Это значение можно интерпретировать как обратное отношение — например, значение 3 означает, что стандартные ошибки в среднем равны 1/3 значений, которые должны быть. И, наоборот, значение 0.5 означает, что стандартные ошибки вдвое больше, чем ожидалось.
  • 

• Средний CRPS – средняя непрерывная ранжированная вероятностная оценка (CRPS). Это значение должно быть как можно меньше. Чтобы у модели был низкий CRPS, прогнозируемые значения и стандартные ошибки должны быть рассчитаны с высокой точностью и достоверностью.
• В пределах интервала 90 процентов – процент измеренных значений входящих в 90% интервал прогнозирования. Это значение должно быть близко к 90. Этот показатель указывает, насколько стандартные ошибки совпадают с прогнозируемыми значениями. Значения выше 90 указывают на то, что стандартные ошибки слишком велики по отношению к прогнозированным значениям. Значения ниже 90 указывают на то, что стандартные ошибки слишком малы.
• В пределах интервала 95 процентов – процент измеренных значений входящих в 95% интервал прогнозирования. Это значение должно быть близко к 95. Этот показатель указывает, насколько стандартные ошибки совпадают с прогнозируемыми значениями.

Примечание:

Методы интерполяции, которые не поддерживают выходной тип стандартной ошибки прогнозирования могут вычислять только статистические показатели усредненной ошибки и среднеквадратичной ошибки.

Сравнение моделей интерполяции

Перекрестная проверка может использоваться для оценки качества геостатистической модели, но также ее можно применить для сравнения одной или нескольких моделей — кандидатов, чтобы подобрать наилучшую для вашего анализа. Если у вас немного моделей — кандидатов, вы можете изучить их, открыв несколько диалоговых окон перекрестной проверки. Расположив все диалоговые окна рядом, вы увидите все результаты разу и сможете подробно изучить информацию по каждой модели.

Но если у вас много моделей — кандидатов, или создание моделей автоматизировано, инструмент Сравнить геостатистические слои может автоматически сравнить и ранжировать модели на основе настроенных критериев. Вы можете ранжировать модели на основании одного критерия (например по уменьшению среднеквадратичной ошибки, или усредненной ошибке, максимально близкой к 0), по взвешенному среднему рангу нескольких критериев, или по результатам иерархической сортировки нескольких критериев (где уровни по каждому критерию разбиваются по следующим в цепочке критериям в иерархии). Критерии исключения также можно использовать для исключения результатов интерполяции из сравнения, если они не отвечают минимальным требованиям стандартов качества. Инструмент Исследовательская интерполяция также может выполнить сравнение результатов перекрестной проверки, но он создает геостатистические слои автоматически из набора данных и поля. Инструмент можно использовать, чтобы быстро определить, какой из методов интерполяции лучше всего подходит к вашим данным без выполнения каждого метода отдельно.

Диаграммы перекрестной проверки

Всплывающие окна диалогового окна перекрестной проверки содержат различные диаграммы для визуализации и изучения статистических показателей результатов перекрестной проверки интерактивно. Раздел диаграмм в диалоговом окне содержит 5 основных вкладок, на каждой будет своя диаграмма.

На вкладке Проинтерполированное отображены вычисленные значения в сравнении с измеренными в виде точечной диаграммы, где голубая линия регрессии подогнана к данным. Так как, если модель корректна, проинтерполированные значения должны совпадать с измеренными, а базовая линия показывает, насколько близко линия регрессии приближена к идеальной ситуации. Тем не менее, на практике линия регрессии обычно имеет более крутой уклон, чем базовая линия, так как модели интерполяции (в особенности, кригинг) имеют тенденцию к сглаживанию значений данных, занижая высокие значения и занижая низкие.

Примечание:

Значение Функции регрессии под каждым из графиков вычисляется с использованием устойчивого уравнения регрессии. Эта процедура сначала помещает стандартную линию линейной регрессии на точечную диаграмму. Затем удаляются все точки, имеющие более двух стандартных отклонений выше или ниже линии регрессии, и вычисляется новое уравнение регрессии. Этот процесс гарантирует, что небольшое количество не приведет к смещению вычисления уклона линии регрессии и пересечения с осью координат. Все точки представлены на точечной диаграмме, даже если они не используются в функции регрессии.

Вкладки Ошибка и Нормированная ошибка похожи на вкладку проинтерполированное, но там награфике представлены ошибки перекрестной провреки и нормированные ошибки в сравнении с измеренными значениями. На этих графиках линия регрессии должна быть плоской и распределение точек не должно демонстрировать каких либо закономерностей Но в реальности обычно наблюдается отрицательный уклон, из-за сглаживания.

Вкладка Нормальный график КК содержит точечную диаграмму распределения нормированных ошибок в сравнении с эквивалентными квантилями стандартного нормального распределения. Если ошибки перекрестной проверки нормально распределены, и стандартные ошибки вычислены с высокой точностью, точки на диаграмме будут расположены близко к базовой линии. Изучение этого графика очень важно, если используются квантили и вероятностные выходные типы, так как для них необходимо распределение ошибок в соответствии с нормальным.

На вкладке Распределение показано распределение показателей статистики перекрестной проверки (вычисленное с использованием плотности ядер). Используйте ниспадающий список Поле для выбора отображаемых показателей статистики. Полезная возможность (показана на рисунке ниже) — наложить распределение измеренных и интерполированных значения на один график,и посмотреть насколько они совпадают. Эти два распределения должны быть очень похожи; однако распределение прогнозируемых значений обычно выше и уже, чем измеренных, из-за сглаживания.

Статистика перекрестной проверки интерполяции в контексте

Распространенное заблуждение относительно перекрестной проверки и других вариантов проверки моделей — то, что они предназначены для определения, корректна ли модель для данных. В реальности не бывает корректных моделей для данных реального мира, но они и не должны быть полностью корректными для предоставления информации для принятия решений. Эта концепция выражена в известной формулировке George Box (1978): «Все модели неверные, но некоторые можно использовать». Фактически, статистика перекрестной проверки показывает полезность той или иной модели, а не проверку модели на корректность. Имея в наличии множество статистических показателей (отдельные значения, суммарная статистика, диаграммы) — вы можете очень тщательно изучить проблему, закономерности и отклонения от идеальных значений. Модели не могут быть идеальными, так как они никогда не представляют идеальные данные.

При оценке результатов перекрестной проверки помните о целях и задачах вашего анализа. Например, вы интерполируете значения температур в градусах Цельсия чтобы дать рекомендацию в совете по общественному здравоохранению о поведении на случай аномальной жары. В этом сценарии что вы думаете об усредненной ошибке в 0.1 градус? В буквальном прочтении это означает, что модель имеет положительное смещение и тенденцию к завышению значений температуры. Тем не менее, среднее смещение составляет всего лишь одну десятую градуса, что не имеет существенного значения для публичных рекомендаций. С другой стороны, значение среднеквадратичной ошибки в 10 градусов означает, что в среднем прогнозируемые значения отклонены на 10 градусов от реальных значений температуры. Такая модель слишком неточная для применения, так как разница в 10 градусов уже может служить основанием для выдачи абсолютно разных рекомендаций.

Другой важный момент — хотите ли вы вычислить доверительные интервалы или предел погрешности проинтерполированных значений Например, вы прогнозируете значение температуры 28 градусов, плюс-минус два градуса. Если вы не собираетесь вычислить пределы погрешности, статистические данные, относящиеся к стандартной ошибке, менее важны, поскольку их основной целью является определение точности пределов погрешности. Хотя проблемы с точностью стандартных ошибок могут привести к проблемам с прогнозированными значениями, в целом для моделей интерполяции характерно точное прогнозирование, но неточное определение пределов погрешности.

В моделях интерполяции больше всего сложностей с расчетом экстремальных значений, самых больших и и самых малых. Модели интерполяции интерполируют значения на основе взвешенного среднего измеренных значений в окрестности прогнозируемого местоположения. При вычислении среднего по значениям данных интерполированное значение приближаются к среднему значению точек в окрестности — это явление называется сглаживанием. В той или иной степени сглаживание присутствует почти во всех моделях интерполяции, и его можно оценить по выраженности уклона графиков перекрестной проверки. Вам необходимо пытаться минимизировать сглаживание, но в реальности к вычислениям интерполированных значений в области максимальных и минимальных значений следует относиться с недоверием.

Наконец, ваши ожидания от результатов перекрестной проверки напрямую связаны с качеством и объемом данных. Если у вас мало точек, или между точками большое расстояние — вы понимаете, что результаты перекрестной проверки отражают ограниченную информацию, соответствующую вашим точкам. Даже если модель очень хорошо подогнана, ошибки перекрестной проверки могут быть очень большими вследствие ограничения объема информации, доступной в наборе данных для выполнения точного прогнозирования. Аналогично, большой объем информации и репрезентативные данные, даже если модель конфигурирована не очень хорошо с недостоверными параметрами, может выдать точные и надежные прогнозированные значения.

Связанные разделы

В этом разделе

1. Перекрестная проверка
2. Статистика перекрестной проверки
3. Суммарная статистика перекрестной проверки
4. Сравнение моделей интерполяции
5. Диаграммы перекрестной проверки
6. Статистика перекрестной проверки интерполяции в контексте