Систематические ошибки. Систематическая ошибка

Систематическая погрешность

Систематические ошибки. Систематическая ошибка

Систематическая погрешность (или, на физическом жаргоне, систематика) характеризует неточность измерительного инструмента или метода обработки данных.

Если точнее, то она показывает наше ограниченное знание этой неточности: ведь если инструмент «врет», но мы хорошо знаем, насколько именно, то мы сможем скорректировать его показания и устранить инструментальную неопределенность результата.

Слово «систематическая» означает, что вы можете повторять какое-то измерение на этой установке миллионы раз, но если у нее «сбит прицел», то вы систематически будете получать значение, отличающееся от истинного.

Конечно, систематические погрешности хочется взять под контроль. Поскольку это чисто инструментальный эффект, ответственность за это целиком лежит на экспериментаторах, собиравших, настраивавших и работающих на этой установке.

Они прилагают все усилия для того, чтобы, во-первых, корректно определить эти погрешности, а во-вторых, их минимизировать.

Собственно, они этим начинают заниматься с самых первых дней работы установки, даже когда еще собственно научная программа исследований и не началась.

Возможные источники систематических погрешностей

Современный коллайдерный эксперимент очень сложен. В нём есть место огромному количеству источников систематических погрешностей на самых разных стадиях получения экспериментального результата. Вот некоторые из них.

Погрешности могут возникать на уровне «железа», при получении сырых данных:

  • дефектные или неработающие отдельные регистрирующие компоненты или считывающие элементы. В детекторе миллионы отдельных компонентов, и даже если 1% из них оказался дефектным, это может ухудшить «зоркость» детектора и четкость регистрации сигналов. Надо подчеркнуть, что, даже если при запуске детектор работает на все 100%, постоянное детектирование частиц (это же жесткая радиация!) с течением времени выводит из строя отдельные компоненты, так что следить за поведением детектора абсолютно необходимо;
  • наличие «слепых зон» детектора; например, если частица вылетает близко к оси пучков, то она улетит в трубу и детектор ее просто не заметит.

Погрешности могут возникать на этапе распознавания сырых данных и их превращение в физическое событие:

  • погрешность при измерении энергии частиц в калориметре;
  • погрешность при измерении траектории частиц в трековых детекторах, из-за которой неточно измеряется точка вылета и импульс частицы;
  • неправильная идентификация типа частицы (например, система неудачно распознала след от π-мезона и приняла его за K-мезон). Более тонкий вариант: неправильное объединение адронов в одну адронную струю и неправильная оценка ее энергии;
  • неправильный подсчет числа частиц (две частицы случайно вылетели так близко друг к другу, что детектор «увидел» только один след и посчитал их за одну).

Наконец, новые систематические погрешности добавляются на этапе позднего анализа события:

  • неточность в измерении светимости пучков, которая влияет на пересчет числа событий в сечение процесса;
  • наличие посторонних процессов рождения частиц, которые отличаются с физической точки зрения, но, к сожалению, выглядят для детектора одинаковыми. Такие процессы порождают неустранимый фон, который часто мешает разглядеть искомый эффект;
  • необходимость моделировать процессы (в особенности, адронизацию, превращение кварков в адроны), опираясь частично на теорию, частично на прошлые эксперименты. Несовершенство того и другого привносит неточности и в новый экспериментальный результат. По этой причине теоретическую погрешность тоже часто относят к систематике.

В отдельных случаях встречаются источники систематических погрешностей, которые умудряются попасть сразу во все категории, они совмещают в себе и свойства детекторного «железа», и методы обработки и интерпретации данных.

Например, если вы хотите сравнить друг с другом количество рожденных частиц и античастиц какого-то сорта (например, мюонов и антимюонов), то вам не стоит забывать, что ваш детектор состоит из вещества, а не из антивещества! Этот «перекос» в сторону вещества может привести к тому, что детектор будет видеть мюонов меньше, чем антимюонов, подробности см. в заметке Немножко про CP-нарушение, или Как жаль, что у нас нет детекторов из антивещества!.

Всю эту прорву источников потенциальных проблем надо распознать и оценить их влияние на выполняемый анализ. Здесь никаких абсолютно универсальных алгоритмов нет; исследователь должен сам понять, на какие погрешности надо обращать внимание и как грамотно их оценить.

Конечно, тут на помощь приходят разные калибровочные измерения, выполненные в первые год-два работы детектора, и программы моделирования, которые позволяют виртуально протестировать поведение детектора в тех или иных условиях.

Но главным в этом искусстве всё же является физическое чутье экспериментатора, его квалификация и накопленный опыт.

Почему важна грамотная оценка систематики

Беспечная оценка систематических погрешностей может привести к двум крайностям, причем обе очень нежелательны.

Заниженная погрешность — то есть неоправданная уверенность экспериментатора в том, что погрешности в его детекторе маленькие, хотя они на самом деле намного больше, — исключительно опасна, поскольку она может привести к совершенно неправильным научным выводам.

Например, экспериментатор может на их основании решить, что измерения отличаются от теоретических предсказаний на уровне статистической значимости 10 стандартных отклонений (сенсация!), хотя истинная причина расхождения может просто состоять в том, что он проглядел источник ошибок, в 10 раз увеличивающий неопределенность измерения, и никакого расхождения на самом деле нет.

В борьбе с этой опасностью есть соблазн впасть в другую крайность: «А вдруг там есть еще какие-то погрешности? Может, я что-то не учел? Давай-ка я на всякий случай увеличу погрешности измерения в 10 раз для пущей безопасности.» Такая крайность плоха тем, что она обессмысливает измерение.

Неоправданно завышая погрешность, вы рискуете получить результат, который будет, конечно, правильным, но очень неопределенным, ничем не лучше тех результатов, которые уже были получены до вас на гораздо более скромных установках.

Такой подход, фактически, перечеркивает всю работу по разработке технологий, по изготовлению компонентов, по сборке детектора, все затраты на его работу и на анализ результатов.

Грамотный и ответственный анализ систематики должен удерживать оптимальный баланс (максимальная достоверность при максимальной научной ценности), не допуская таких крайностей. Это очень тонкая и сложная работа, и первые страницы в большинстве современных экспериментальных статей по физике частиц посвящены тщательному обсуждению систематических (а также статистических) погрешностей.

Мы не будем обсуждать подробности того, как обсчитывать систематические погрешности. Подчеркнем только, что это серьезная наука с множеством тонкостей и подводных камней. В качестве примера умеренно простого обсуждения некоторых вопросов см. статью Systematic Errors: facts and fictions.

Систематическая ошибка • ru.knowledgr.com

Систематические ошибки. Систематическая ошибка

Систематическая ошибка – ошибка, которая не определена случайно, но введена погрешностью (с наблюдения или измерения) врожденный от системы.

Систематическая ошибка может также быть ошибкой при наличии среднего отличного от нуля, так, чтобы ее эффект не был уменьшен, когда наблюдения усреднены.

Несовершенная калибровка

Источники систематической ошибки могут быть несовершенной калибровкой инструментов измерения (нулевая ошибка), изменения в окружающей среде, которые вмешиваются в процесс измерения, и иногда несовершенные методы наблюдения могут быть или нулевой ошибкой или ошибкой процента.

  • Если Вы рассматриваете экспериментатора, берущего чтение периода времени покачивания маятника мимо основанного на вере маркера: Если их секундомер или таймер начнутся с 1 секунды на часах тогда, то все их результаты будут выключены на 1 секунду (нулевая ошибка). Если экспериментатор повторит этот эксперимент двадцать раз (начинающийся в 1 секунду каждый раз), то будет ошибка процента в расчетном среднем числе их результатов; конечный результат будет немного больше, чем истинный период.

Расстояние, измеренное радаром, будет систематически завышаться, если небольшое замедление волн в воздухе не будет составляться. Неправильная установка нуля инструмента, приводящего к нулевой ошибке, является примером систематической ошибки в инструментовке.

Систематические ошибки могут также присутствовать в результате оценки, основанной на математическом образцовом или физическом законе.

  • Например, предполагаемая частота колебания маятника будет систематически по ошибке, если небольшое движение поддержки не будет составляться.

Количество

Систематические ошибки могут быть или постоянными, или связанные (например, пропорциональными, или процент) к фактическому значению измеренного количества, или даже к ценности различного количества (чтение правителя может быть затронуто экологической температурой). Когда это постоянно, это происходит просто из-за неправильной установки нуля инструмента. Когда это не постоянно, это может изменить свой знак.

  • Например, если термометр будет затронут пропорциональной систематической ошибкой, равной 2% фактической температуры, и фактическая температура составляет 200 °, 0 °, или −100°, то измеренная температура составит 204 ° (систематическая ошибка = +4 °), 0 ° (пустая систематическая ошибка) или −102° (систематическая ошибка = −2°), соответственно. Таким образом температура будет завышена, когда это будет выше ноля, и недооценено, когда это будет ниже нуля.

Удаление систематических ошибок

Постоянные систематические ошибки очень трудные иметь дело с тем, поскольку их эффекты только заметны, если они могут быть удалены. Такие ошибки не могут быть удалены, повторив измерения или составив в среднем большие количества результатов. Общепринятая методика, чтобы удалить систематическую ошибку посредством калибровки инструмента измерения.

В статистическом контексте термин обычно возникает систематическая ошибка, где размеры и направления возможных ошибок неизвестны.

Дрейф

Систематические ошибки, которые изменяются во время эксперимента (дрейф), легче обнаружить. Измерения указывают на тенденции со временем вместо того, чтобы варьироваться беспорядочно о среднем.

Дрейф очевиден, если измерение постоянного количества несколько раз повторяется и дрейф измерений один путь во время эксперимента,

  • Если следующее измерение выше, чем предыдущее измерение, как это может произойти, если инструмент становится теплее во время эксперимента тогда, измеренное количество переменное, и возможно обнаружить дрейф, проверяя ноль, читающий во время эксперимента, а также в начале эксперимента (действительно, нулевое чтение – измерение постоянного количества). Если нулевое чтение последовательно выше или ниже ноля, систематическая ошибка присутствует. Если это не может быть устранено, потенциально перезагрузив инструмент немедленно перед экспериментом тогда, это должно быть позволено, вычтя (возможно изменение времени) стоимость от чтений, и приняв его во внимание, оценивая точность измерения.

Если никакой образец в ряде повторных измерений не очевиден, присутствие фиксированных систематических ошибок может только быть найдено, если измерения проверены, или измерив известное количество или сравнив чтения с чтениями, сделанными, используя различный аппарат, который, как известно, был более точным.

  • Например, если Вы думаете о выборе времени маятника, используя точный секундомер несколько раз, Вам дают чтения, беспорядочно распределенные о среднем. Систематическая ошибка присутствует, если секундомер проверен против 'говорящих часов' телефонной сети и, как находят, бежит медленный или быстрый. Ясно, маятник timings должен быть исправлен согласно тому, как быстро или замедляются, секундомер, как находили, бежал.

Измерительные приборы, такие как амперметры и вольтметры должны периодически проверяться против известных стандартов.

Систематические ошибки могут также быть обнаружены, уже измерив известные количества.

  • Например, спектрометр, оснащенный трением дифракции, может быть проверен при помощи его, чтобы измерить длину волны D-линий натрия электромагнитный спектр, которые являются в 600 нм и 589,6 нм. Измерения могут использоваться, чтобы определить число линий за миллиметр трения дифракции, которое может тогда использоваться, чтобы измерить длину волны любой другой спектральной линии.

Систематичный против случайной ошибки

Ошибки измерения могут быть разделены на два компонента: случайная ошибка и систематическая ошибка. Случайная ошибка всегда присутствует в измерении. Это вызвано неотъемлемо непредсказуемыми колебаниями в чтениях аппарата измерения или в интерпретации экспериментатора инструментального чтения.

Случайные ошибки обнаруживаются как различные результаты для якобы того же самого повторного измерения. Они могут быть оценены, сравнив многократные измерения и уменьшены, составив в среднем многократные измерения. Систематическая ошибка не может быть обнаружена этот путь, потому что это всегда выдвигает результаты в том же самом направлении.

Если причина систематической ошибки может быть определена, то она может обычно устраняться.

Поскольку случайные ошибки уменьшены переизмерением (делающий n времена, как много независимых измерений будут обычно уменьшать случайные ошибки фактором), стоит повторить эксперимент, пока случайные ошибки не подобны в размере систематическим ошибкам. Дополнительные измерения будут иметь мало выгоды, потому что полная ошибка не может быть уменьшена ниже систематической ошибки.

Стандарт Промышленных испытаний PTC 19.1-2005 “Испытательной Неуверенности”, изданный Американским обществом инженеров-механиков (ASME), обсуждает систематические и случайные ошибки в значительных деталях. Фактически, это осмысляет свои основные категории неуверенности в этих терминах.

См. также

  • Экспериментальный анализ неуверенности
  • Ошибки и остатки в статистике

CFA – Систематическая ошибка выборки, ошибки опережения и временного периода

Систематические ошибки. Систематическая ошибка

См. начало:

CFA – Выборочный метод и простая случайная выборка.

CFA – Систематическая ошибка добычи данных (дата-майнинга).

Когда исследователи рассматривают вопросы, представляющие интерес для аналитиков или портфельных менеджеров, они могут исключить из анализа определенные акции, облигации, портфели, или периоды времени, по разным причинам – возможно, из-за недоступности данных.

Когда недоступность данных приводит к исключению из анализа определенных активов, мы называем эту проблему систематической ошибкой или смещением выборки (англ. 'sample selection bias' или 'sampling bias').

Например, вы можете сделать выборку из базы данных, которая отслеживает только компании, существующие в настоящее время. Например, многие базы данных взаимных фондов предоставляют историческую информацию только о тех фондах, которые существуют в настоящее время.

Базы данных, в которых хранятся балансовые отчеты и отчеты о прибылях и убытках страдают от той же систематической ошибки, что и базы данных фондов: в них нет фондов или компаний, которые прекратили деятельность.

Исследование, которое использует подобные базы данных, подвержено разновидности систематической ошибки выборки, известной как систематическая ошибка выжившего (англ. 'survivorship bias').

Исследователи Димсон, Марш и Стонтон (Dimson, Marsh, and Staunton, 2002) подняли вопрос о систематической ошибке выжившего в международных финансовых индексах:

Известной проблемой является влияние выживания рынков на долгосрочную оценку доходности. Рынки могут испытывать не только разочаровывающие результаты, но и полную потерю стоимости за счет конфискации, гиперинфляции, национализации и кризисов.

При оценке результатов рынков, которые выживают в течение длительных интервалов времени, мы сделали выводы о том, чем обусловлено выживание. Тем не менее, как отметили в исследовании Браун, Готцман и Росс (Brown, Goetzmann, и Ross) в 1995 г. и Готцман и Джорион (Goetzmann and Jorion) в 1999 г., человек не способен заранее определить, какие рынки выживут, а какие нет. (стр. 41)

Систематическая ошибка выжившего иногда появляется, когда мы используем совместно цены акций и данные бухгалтерского учета.

Например, многие исследования в области финансов использовали соотношение рыночной стоимости компании к бухгалтерской стоимости компании на одну акцию (т.е. коэффициент котировки акций, англ.

P/B, от 'price-to-book ratio' или 'market-to-book ratio') и обнаружили, что коэффициент P/B обратно пропорционален доходности компании (см. Fama and French 1992, 1993).

Коэффициент P/B также используется для многих популярных индексов стоимости и роста.

Если база данных, которую мы используем для сбора данных бухгалтерского учета, исключает обанкротившиеся компании, это может привести к систематической ошибке выжившего.

Котхари, Шанкен и Слоун (Kothari, Shanken, and Sloan) в 1995 г. исследовали именно этот вопрос, и оспорили то, что акциям обанкротившихся компаний свойственна самая низкая доходность и коэффициент P/B.

Если мы исключаем из выборки акции обанкротившихся компаний, то акции с низким P/B, которые включены в выборку, будут иметь в среднем более высокую доходность, по сравнению со средней доходностью при включении в выборку всех акций с низким P/B. Котхари, Шанкен и Слоун предположили, что эта систематическая ошибка привела к выводу об обратной связи между средней доходностью и P/B.

См. Fama and French (1996, стр. 80) о интеллектуальном анализе данных и систематической ошибке выжившего в их тестах.

Единственный совет, который мы можем предложить в этой ситуации, – это быть в курсе каких-либо смещений, потенциально присущих в выборке. Очевидно, что смещения выборки могут затуманить результаты любого исследования.

Выборка также может быть смещена из-за удаления (или делистинга) акций компании.

Делистинг (англ. 'delisting'), т.е. исключение акций компании из котировального списка биржи, может происходить по разным причинам: слияние, банкротство, ликвидация, или переход на другую биржу.

Например, Центр исследований котировок ценных бумаг (CRSP, от англ. Center for Research in Security Prices) в Университете Чикаго является основным поставщиком данных о доходности, используемых в научных исследованиях.

Когда происходит делистинг, CRSP пытается собрать данные о доходности исключенной компании, но во многих случаях он не может сделать этого из-за связанных с делистингом трудностях.

CRSP вынужден просто указать значение доходности исключенной компании как отсутствующее.

Исследование, опубликованное в Финансовом журнале (см. The Journal of Finance) Шумвеем и Вортером (Shumway and Warther) в 1999 году, задокументировало смещение данных доходности NASDAQ в CRSP, вызванное делистингом.

Авторы показали, что делистинг, связанный с плохой работой компании (например, банкротством) исключается из данных чаще, чем делистинг, связанный с хорошей или нейтральной эффективностью компании (например, слиянием или перемещением на другой рынок). Кроме того, делистинг чаще происходит с небольшими компаниями.

Систематическая ошибка выборки встречается даже на рынках, где качество и согласованность данных весьма высоки. Новые классы активов, такие как хедж-фонды могут представлять еще большие проблемы смещения выборки.

Хедж-фонды (англ.

'hedge funds') представляют собой гетерогенную группу инвестиционных инструментов, как правило, организованных таким образом, чтобы быть свободными от регулирующего контроля.

В целом, хедж-фонды не обязаны публично раскрывать свою эффективность (в отличие, скажем, от взаимных фондов). Хедж-фонды сами решают, нужно ли им включаться в какую-либо базу данных хедж-фондов.

Хедж фонды с плохой репутацией явно не желают, чтобы их результаты публиковались в базе данных, создавая проблему смещения самовыборки (англ. 'self-selection bias') в базах данных хедж-фондов.

Кроме того, как отметили Фанг и Хсие (Fung and Hsieh) в исследовании 2002 г., поскольку только хедж-фонды с хорошими показателями добровольно попадают в базу данных, в целом, историческая эффективность отрасли хедж-фондов имеет тенденцию казаться лучше, чем она есть на самом деле.

Кроме того, многие базы данных хедж-фондов исключают фонды, которые выходят из бизнеса, создавая в базе данных систематическую ошибку выжившего. Даже если база данных не удаляет несуществующие хедж-фонды, в попытке устранить ошибку выжившего, остается проблема хедж-фондов, которые перестают отчитываться об эффективности из-за плохих результатов.

См. Fung and Hsieh (2002) и Horst and Verbeek (2007) для более подробной информации о проблемах интерпретации эффективности хедж-фондов.

Обратите внимание, что систематическая ошибка также возможна, когда успешные фонды перестают отчитываться об эффективности, поскольку они больше не нуждаются в новых потоках денежных средств.

Систематическая ошибка опережения

Процесс тестирования также подвержен систематической ошибке опережения (англ. 'look-ahead bias'), если он использует информацию, которая не была доступна на момент тестирования.

Например, тесты правил биржевой торговли, которые используют ставки доходности фондового рынка и данные бухгалтерских балансов должны учитывать систематическую ошибку опережения.

В таких тестах, балансовая стоимость компании на акцию обычно используются для расчета коэффициента P/B.

Хотя рыночная цена акции доступна для всех участников рынка на заданный момент времени, балансовая стоимость на акцию на конец финансового года может стать общедоступной только в будущем – когда-то в следующем квартале.

Систематическая ошибка временного периода

Тесты также подвержены систематической ошибке или смещению временного периода (англ. 'time-period bias'), если они основаны на временном периоде, для которого результаты тестирования будут специфичными (т.е., характерными только для данного периода).

Ряды коротких временных периодов, скорее всего, дадут результаты, специфичные для определенного периода, которые могут не отражать более длительный период.

Ряды длительных временных периодов могут дать более точную картину истинной эффективности инвестиций. Недостаток длительных периодов заключается в потенциальных структурных изменениях, происходящих в течение периода, что приведет к двум различным распределениям доходности.

В этой ситуации, распределение, отражающее условия до изменений, будет отличаться от распределения, которые описывают условия после изменений.

Пример (7) систематических ошибок в инвестиционных исследованиях

Финансовый аналитик рассматривает эмпирические данные об исторической доходности акций США.

Она выясняет, что недооцененные акции (то есть, акции с низким P/B) превзошли по эффективности растущие акции (то есть, акции с высоким P/B) в некоторых последних периодах времени.

После изучения американского рынка, аналитик задается вопросом, могут ли недооцененные акции быть привлекательными в Великобритании. Она исследует эффективность недооцененных и растущих акций на британском рынке за 14-летний период с января 2000 года по декабрь 2013 года.

Для проведения этого исследования, аналитик делает следующее:

  • Получает текущий состав компаний Индекса всех акций FTSE (Financial Times Stock Exchange All Share Index), который является взвешенным индексом рыночной капитализации;
  • Исключает несколько компаний, у которых финансовый год не заканчивается в декабре;
  • Использует балансовую и рыночную стоимость компаний на конец года, чтобы ранжировать остальные пространство компаний по коэффициенту P/B на конец года;
  • На основе этих рейтингов, она делит пространство ценных бумаг на 10 портфелей, каждый из которых содержит одинаковое количество акций;
  • Вычисляет равновзвешенную доходность каждого портфеля и доходность FTSE All Share Index за 12 месяцев после даты расчета каждого рейтинга; а также
  • Вычитает доходность FTSE из доходности каждого портфеля, чтобы получить избыточную доходность для каждого портфеля.

Опишите и обсудите каждую из следующих систематических ошибок, которым подвержен план исследований аналитика:

  • систематическую ошибку выжившего;
  • систематическую ошибку опережения; а также
  • систематическую ошибку временного периода.

Систематическая ошибка выжившего

План тестирования подвержен систематической ошибке выжившего, если он не принимает в расчет обанкротившиеся компании, слившиеся компании, а также компании, иным образом покинувшие базу.

В этом примере, аналитик использовала текущий список акций FTSE, а не фактический список акций на начало каждого года. В той степени, в которой расчет доходности не учитывает компании, исключенные из индекса, эффективность портфелей с наименьшим P/B подвершена систематической ошибке выжившего и, соответственно, может быть завышена.

В какой-то момент периода тестирования, эти ныне не существующие компании, были исключены из тестирования. У них, вероятно, были низкие цены на акции (и низкий P/ B) и плохая доходность.

Поделиться:
Нет комментариев

    Добавить комментарий

    Ваш e-mail не будет опубликован. Все поля обязательны для заполнения.