Это книга про прикладную информационную экономику - процесс измерения величин, которые так просто не измеряются.
Автор утверждает, что практически всё, что мы можем наблюдать, мы можем и измерить, а соответствеенно, все жалобы менеджмента, что что-то измерениям не поддаётся, - простое нытьё из-за незнания предмета.

Основные проблемы с измерениями возникают из-за:

1. Непонимая сущности измерения
2. Неполного понимая, что мы хотим измерить
3. Отсутсвия понимания, зачем эти измериния проводим
4. Незнания методов измерений

Часть 1. Измерение: решение существует

Это вводная часть, призванная замотивировать человека дочитать книгу и отбросить сомнения.
Приведены примеры, как Эратосфен измерял диаметр Земли по длине теней, Ферми - мощность взрыва первой ядерной бомбы по расстоянию, на которое отлетели клочки бумаги, а маленькая девочка Эмили доказала, что бесконтактные массажисты всё врут.

Тут приведены основыне причины, почему неизмеримость нематериального - иллюзия:

1. Сущность измерения: не все осознают, что вообще такое измерение
2. Объект измерения: нечёткое определение объекта измерения
3. Методы измрения:

Эти люди ещё и оправдывания приводят, почему измерять нельзя:

1. Слишком дорого измерять (не приводя соответствующих вычислений)
2. Возражают против полезности статистики вообще (так доказать можно всё, что угодно)
3. Оценивать некоторые вещи просто аморально

Сущность измерения

Измерение - это совокупность снижающих неопределённость наблюдений, результат которых выражается некой величиной

Принципиально здесь, что точно что-то измерить невозможно и не нужно (разве что речь идёт о бухгалтерии и пересчёте чего-то явно определённого). Часто оценка с точностью до порядка - уже огромный шаг.
Ещё интересно, что измерение - не всегда количественная оценка в традиционном смысле слова. Результат измерения - некая величина, при этом сам объект измерений может оставаться сколь угодно абстрактным. Так, при измернии рисков наступления события, мы измеряем вероятности, а сами события остаются категориями.

Объект измерения

Часто люди просто не понимают, что хотят измерить, существует ли это понятие вообще?

1. Если существует, то должно как-то проявляться,
2. скорее всего, проявляться в большей или меньшей степени.
3. значит, как минимум эту степень можно проранжировать и таким образом измерить.

Методы измерений

Часть какая-то сущность кажется неизмеримой только потому, что тот, кто хочет измерение провести, не в курсе методов и подходов к измерению. Почти наверняка кто-то где-то это уже измерял.
Несколько примеров таких подходов:

• Измерения при очень маленькой случайной выборке
• Оценка совокупности при невозможности увидеть её всю (оценка количества рыб в озере)
• Измерения при наличии множества переменных, в т.ч. неизвестных
• Оценка риска наступления маловероятных событий
• Оценка стоимости предметов искусства, свободного времени или повышения личной безопасности на основе того, сколько на самом деле люди готовы за это платить

Четыре предпосылки измерения:

1. Проблема совсем не так уникальна, как можно было подумать
2. У вас уже гораздо больше информации, чем вы думаете
3. Вам нужно меньше данных, чем вы предполагаете
4. Существует намного более удобный способ измерения, чем вы представляете

Измерение не следует осуществлять только при условии, что оно дороже, чем выгоды от его проведения.

Универсальный подход к измерению:

1. Что вы пытаетесь измерить? Что на самом деле представляет собой измеряемый объект
2. Почему вы хотите его измерить? Какое решение будет принято/отклонено, каким должно быть пороговое значение?
3. Что вам известно сейчас? Какие интервалы или вероятности представляют нынешнюю неопределённость?
4. Какую ценность имеет данная информация? К каким последствиям приведёт ошибка, какова её вероятность и какие усилия, связанные с измерениями, будут оправданы экономически?
5. Какие наблюдения, оправданные экономически, позволят подтвердить или исключить различные возможнности? Что именно мы должны увидеть сразу, если сбудется тот ии иной сценарий?
6. Как учесть ошибки при проведении измерений, которых можно избежать?

Часть 2. Прежде, чем приступить к измерениям

Формулирование задачи по имерению

Прежде, чем приступить у измерению, нужно погрузиться в контекст и задать себе следующие вопросы:

1. Какое решение будет принято с учётом результатов измерения?
2. Что на самом деле представляет собой объект измерения?
3. Почему данное измерение необходимо для принятия решения?
4. Что мы знаем об объекте измерения в данный момент?
5. Какова ценность проведения дальнейших измерений?

Неопределённость vs риск

Неопределённость - отсутствие полной определённсти, т.е. сущесвование более чем одной возможности
Показатель неопределённости - Ряд вероятностей, предписанных ряду возможности.
Риск - Такое состояние неопределённости, когда в число возможных исходов входят убытки, катастрофы или другие нежелательные исходы
Показатель риска - набор возможностей с приписанными им количественными вероятностями и количественно определённым ущербом.

Калиброванные оценки: что известно уже сейчас

Про калибровку. Идея в том, что по умолчанию мало кто понимает концепцию доверительного интервала. Упражнения на калибровку призваны такое понимание привить. На показания таких экспертов уже можно опираться.
Упражнения заключаются в том, что человеку задают множество вопросов на оценку ДИ. Если он ошибся в 10% случаев - норм, если же ошибок больше, то отправляют на второй круг.

Про метод Монте-Карло

Метод призван вычислить ДИ одной величины из ДИ величин, из которых она складывается.
Это численный метод, когда случайно берут цифру из каждого распределения, правильно их складывают (как интересующая величина состоит из оцениваемых), и проделывают это много-много раз. В итоге получается приближение распределения интересующей величины.
В принципе, если у нас все распределения нормальные, то можно это проделать аналитиески, но не всегда всё так просто.

Оценка стоимости информации

Почему информация имеет стоимость для бизнеса:

1. Информация снижает неопределённость в связи с решениями, имеющими экономические последствия
2. Она влияет на поведение людей, и это тоже имеет экономические последствия
3. Инфогда она сама обладает рыночной стоимостью

Вероятность ошибиться и цена ошибки

Сейчас будет много сокращений
OL - opportunity loss - потери от упущенных благоприятных возможностей
EOL - expected OL - ожидаемые потери от упущенных возможностей = OL*p, где p - вероятность этого исхода
EVI - expected value of information - ожидаемая стоимость информации = разница между EOL до и после измерения

Расчёт EVI требует предварительной оценки ожидаемого снижения неопределённости. Легче оценивать стоимость полной информации EVPI - expected value of perfect information. Если была бы возможность полного устранения неопределённости, то EOL стало бы нулём. Т.о. EVPI - это EOL выбранного варианта.

Стоимость информации для переменных величин

Это всё хорошо, но это бинарный случай выигрыш-проигрыш. Чаще всего результат представляется в виде интервала значений с каким-то порогом безубыточности.

Тут всё сложно, надо бы разыскать нормальные формулы, а не это химичение
Чтобы рассчитать EVPI надо:

1. разбить распределение значений на сотни или тысячи мелких сегментов
   2.рассчитать потери от упущенных благоприятных возможностей для медианы каждого сегмента
2. рассчитать вероятность для каждого сегмента
3. умножить потери от упущенных возможностей в каждом сегменте на их вероятности
4. суммировать произведения, полученные в п.4 для всех сегментов
5. Далее использовать графички/рассчёты:
   1. Считаем BB (best bound) и WB (worst bound) - какие границы нашего ДИ считать хорошими, а какие - плохими
   2. Считаем условный порог $RT = \frac{порог - WB}{BB-WB} $
   3. Далее по картинке
      
   4. Результат считается как $EOLF = EOLF / 1000 * OL на единицу продукции * (BB-WB) $, где EOLF - циферки на линии графичка

На самом деле мы не сможем достичь полной информации,в нашем распоряжении только способы подобраться к этому случаю.
Стоимости информации, снижающей неопределённость вдвое, выше половины EVPI.

Часть 3. Методы измерения

От объекта к способу измерений

1. Разложите интересующих объект на на составляющие так, чтобы их можно было оценить по другим измерениям
2. Проведите вторичные исследования
3. Примените к составляющим нашего объекта один или несколько методов наблюдения
4. Постоянно помните, что не надо измерять точнее, чем нужно
5. Учитывайте ошибки, специфичные для данной задачи

Если не сработало, то:

1. Работайте с последствиями. Что произойдёт, если показатель сильно повысится? А если упадёт?
2. Представьте себе, как это сделали бы другие. Посмотрите на задачу глазами криминалиста, детектива, психолога, палеонтолога, библиотекаря, военного разведчика, журналиста. Обратите внимание на нестандартные для вашей отрасли методы измерения
3. Измерения должны быть итеративными
4. Используйте многосторонние подходы.
5. Какой на самом деле простейший ответ, который сделает остальные измерения неактуальными?
6. Just do it. Любое измерение лучше, чем его отсутствие, в рамках бюджета, конечно.

Разложение на составляющие

Многие измерения начинаются с разложения неизвестной величины на составляющие с целью выявления того, что можно наблюдать непосредственно и что легче поддаётся количественной оценке.
Иногда только этот метод обеспечивает такое значительное сужение неопределённости, что дальнейшие измерения становятся ненужными.

Вторичные измерения

Ничто не ново под луной, и наши проблемы - не исключение. Так что перед началом измерений имеет смысл поизучать существующую литературу.

• Если предмет совершенно незнаком, то начинать имеет смысл не с гугла, а с википедии, там есть полезные ссылки
• Искать следует слова, которые ассоциируются с количественными исследованиями: таблица, опрос, корреляция, контрольная группа, университет, phD…
• Можно порыться в хранилищах специализированной информации: отраслевые журналы, ЦРУшная фактбук…
• Использовать следует несколько поисковых машин
• Если найдётся не совсем то, что нужно, но с упоминанием нашего вопроса, то надо глянуть библиографию

Основыне методы наблюдения

1. Оставляет ли инетерующий объект какие-либо следы после себя? Что нам уже известно по этим следам?
2. Если явление не оставило следов, попробуйте понаблюдать за ним или какой-то его частью непосредственно. Пример - считать номера машин из разных регионов на заправке.
3. Если нет следов, а непосредственное измерение недоступно, можно ли придумать способ обнаружить последствия сейчас, пометить объект, чтобы следы появились? Пример - амазон давал бесплатную подарочную упаковку, чтобы измерить количество товара, покупаемого в подарок
4. Нельзя ли “заставить” интересующий нас феномен проявиться в других условиях, в которых наблюдать за ним будет проще? Это обычный эксперимент. Пример - новые правила ввозврата в одном магазине в сети.

Как наблюдения за частью рассказывает о целом

Любое измерение, даже на мизерных выборках, приводит к сокращениию неопределённости. Пороги из учебника по статистике - более-менее произвольные.
Обращаясь за помощью к статистикам, люди всегда спрашивают, каким должен быть размер выборки. Это неправильный вопрос. Прежде всего надо выяснить, что мы измеряем и зачем.

Далее простой пересказ статистики.
Но все стат.критерии учитывают только значения собственно в выборке, игнорируя предварительную информацию, которая может иметься у эксперта.

Основные методы выборки

• преднамеренная выборка: случайная разовая фотография людей, процессов или предметов в отличие от постоянного наблюдейния за ними в течение некоего периода времени.
• Кластерная выборка: случайная выборка из групп, проведение полного наблюдения или осуществление более концентрированной выборки в полученной группе. Пример: подсчёт домов с тарелками в каком-то одном районе вместо случайной выборки из всего города.
• Стратифицированные выборки: выборки применяются к разным группам в составе одной генеральной совокупности. Применим, когда генеральная совокупность состоит из отличающихся друг от друга, но внутренне однородных групп.
• Серийная выборка: а ля подсчёт танков по серийным номерам

Пороговые измерения по малым выборкам

Если из 10 человек только для одного какой-то показатель ниже порога, то вероятность, что медиана генеральной совокупности ниже порога вовсе не 10%, а ближе к 1%

Т.о. неопределённость положения медианы относительно порога можно сниизить очень быстро

Всяк

Далее идёдт введение по экспериментам и регрессионным можелям

Байес

Парадокс пердварительного знания

1. Вся традиционная статистика исходит из того, что наблюдатель ранее не располагал никакой информацией об объекте наблюдения
2. В реальности данное допущение практически никогда не выполняется

Этот парадокс может разрешиться, если пользоваться Байесовской статистикой.
$ P(A|B) = \frac{P(A)*P(B|A)}{P(B)} $
Обычно мы хотим знать, “какая вероятность, что истинное значение данной величины такое-то при условии, что я видел то-то”, но легче ответить на вопрос “если иситинное значение такое-то, то какова вероятность, что я увижу то-то”. Чтобы перевести одно в другое и существует формула Байеса.
Пример: решается вопрос о выпуске новго продукта. По историческим данным мы знаем, то новые продукты приносили прибыль в первый год (FYP) в 30% случаев, результаты тестирования сбыта и для всех случаев, когда новый продукт давал прибыль в первый год, результаты теста оказывались удачными в 80% случаев (P(S|FYP)=0.8), а сами пробные продажи оказывались успешными (S) в 40%. А хотим мы узнать вероятность успеха нового продукта, когда тест показал такую успешность: $P(FYP|S) = P(FYP)*P(S|FYP) / P(S) = 60%$
В случае неудачи пробных продаж надо заменть P(S)=80% на P(~S)= 60% и P(S|FYP) на P(~S|FYP)=20% и получим P(FYP|~S) = 10%

Также формула Байеса бывает поллезной, когда мы хотим восстановить неизвестыне показатели из известных. Типа $ P(S) = P(S|FYP)*P(FYP)+P(S|~FYP)*P(~FYP)$

Байесовский инстинкт

Когда люди поправляют свои оценки на основе новых данных, результат часто получается очень точным.
Эта точность увеличивается и дальше, если показывать обратную связь в виде байесовских вычислений исходного результата от приведённых значений или подсказывать порядок величин сравнимых явлений (типа к вопросу о весе конфеток подсказывать, сколько весит кредитка)

Часть 4. Не только основы

Предпочтения и подходы: “мягкие” аспекты измерения

Часто надо измерять имеено что предпочтения (мнения общественности, стоимость бренда и т.п.). Тут субъективность - природа измерения, а не физическое свойство измеряемого предмета.

Наблюдение за мнениями, ценностями и поиски счастья

Предпочтения людей проявляются в том, что они говорят (объявленные) и в том, что они делают (выявленные). Оба типа позволяют значительно снизить неопределённость, но выявленные, конечно, полезней.

При опросах очень легко подтолкнуть респондента к нужному ответу (зачстую это делают специально). Вот пара правил, как этого избежать:

1. Вопрос должен быть максимально точным и коротким
2. Избегайте многозначных терминов. Многозначный термин - это слово с позитивной или негативной коннотацией, которая может влиять на ответы респондентов
3. Никаких наводящих вопросов! Это вопрос сформулированный так, что заранее подсказывает респонденту, какого ответа от него ожидают
4. Избегайте составных вопросов. Пример: “Что вас больше нравится в машинах А и Б: сиденье, руль или приборная доска?”. Следует разбить задание на несколько вопросов с множественным выбором
5. Меняйте вопросы так, чтобы избежать установки на однообразные ответы.

Определение стоимости через компромисссы

Чтобы оценить большинтсво вещей, достаточно спросить людей, сколько они готовы за них заплатить или, лучше, оценить, сколько они уже за это заплатили.

Есть метод оценки жизни VLS (value of statistical life), когда оценка стоимости жизни оценивается из мелких случаев, когда чел может чуть доплатить, чтобы чуть увеличить собственную безопасность. Но он не работает, потому что

Люди на уливление плохо понимают смысл вероятности, особенно незначительной и связанной с альернативами в области здравоохранения. В одном общем опросе населения только 60% респондентов правильно ответили на вопрос: “Какая вероятность больше - 5 из 100 000 или 1 из 10 000?” Эта неспособность к количетсвенному мышлению не позволяет людям правильно формулировать свои предпочтения

Количественное определение склонности к риску

Необходимо определить желательные для вас комбинации (реальные или гипотеттические) различных уровней риска и доходности.

См. современную портфельную теорию (MPT: modern Portfolio Theory) Гарри Марковица.
Самое простое там - кривая риска, на который инвесторы готовы пойти, чтобы получить определённую доходность. Когда доходность большая, инвесторы обычно готовы смириться с большим риском и наоборот, но зависимость эта нелинейна, асимптотически уходит к 50%.

Как её построить: представим, что собираемся сделать крупные инвестиции, определим какую-то цифру. Предположим, что мы расчитали доходность для 1000 сценариев, среднее их значение - годовая доходность инвестиций, однако к ней приписана неопределённость и есть риск денньги потерять. Скажем, ROI = 50%, а вероятность потерь 10%. Этот риск приемлем? Если нет, то уменьшаем до 5%. так приемлем? Если да, то повышаем до 20% - так всё ещё норм? Так поставим точку для ROI 50%. То же проделать для пары других значений ROI.

Такой же подход можно применять и для разрешения других компромиссов типа производительности и отсутствия ошибок для определения качества работы. Только тут строится семейство таких кривых: каждая кривая обозначает кривую безразличия для заданного уровня качества. Проделываем такое упражнение для пар наших факторов и если хотя бы одна величин может выражаться в деньгах, то всю величину можно выразить в деньгах.

Часто субъективное определение желаемого соотношения факторов не является обязательным. Иногда имеет смысл свести проблему к задаче максимизации прибыли или стоимости для акционеров. Тогда необходимость в поисках компромиссов отпадает.

Ключ ко всему - уточнение объекта измерения. Поэтому любая детализация может подсказать нечто очень важное.

Решающий инструмент измерения: людские суждения

Человеческий разум - классная машина для измерений. Типа мега нейросеть, которая учитывает опыт не только теста и его окружения, но и человечества.
Но, к сожалению, есть ряд погрешностей:

1. Зацикленность на какой-то цифре
2. Эффект ореола a.k.a. confirmation bias
3. Стадный эффект или социальное давление
4. Изменени предпочтений это как ореол, но вместо избирания фактов изменяется роль критериев. Типа если есть 2 критерия и один из них говорит в пользу нашего варианта, то значение этого фактора завышается.

К счастью, эти эффекты можно нейтрализовать.

1. Простая систематизация: вместо свободного плавания в фактах мы выписываем ряд критериев (желательно ещё их зараниее проранжировать) и сравниваем наш альтернативы по этим критерием. Так мы хотя бы ничего не потеряем.
2. Простые линейные модели. Мы оцениваем наши криатерии, присваиваем им веса, нормируем (z-value) и сравниваем в таком виде.
3. Модель Раша. Когда есть множество оценщиков, то их оценки редко можно сравнивать влоб, т.к. у разных оценщиков могут быть свои шкалы:
   1. Ищем долю правильных ответов на вопрос A1,
   2. колдуем ln(A1/(1-A1)),
   3. Ищем долю правильных ответов у этого человека, делаем такое же преобразование
   4. складываем эти значения
   5. делаем обратное преобразование 1/(1/exp(val)+1)
   6. полуаем вероятность того, что данный человек ответит на данный вопрос правильно
4. Модель линзы. Это по ходу обучаем модель по ответам экспертов
   1. Выберите экспертов
   2. Откалибруйте их
   3. Попросите составить список факторов, требующих учёта для вынесения оценки
   4. Разработайте ряд сценариев (30-50 для каждого эксперта) с разными сочетаниями значений каждого из выявленных факторов. Можно взять из истории
   5. Попросить экспертов дать оценку каждого сценария
   6. Проведите регрессионный анализ
5. Метод анализа иерархий. Сложный метод, основанный на попарных сравнениях

НЕЛЬЗЯ ИСПОЛЬЗОВАТЬ МЕТОД, СПОСОБНЫЙ УВЕЛИЧИТЬ ОШИБКУ ПЕРВОНАЧАЛЬНОЙ ОЦЕНКИ

Новые инструменты измерения

Автор без ума от GPS, RFID и nTag (ИК маячки, которые позволяют оценивать, кто с кем общается).

• Для логов сайтов есть screen-scrapers.
• Google Alerts
• Мэшапы - собирают инфу с разных источников.
• Отзывы на товары с онлайн магазинов (Sears, Wal_Mart, Target, Overstock.com)

Рынки предсказаний

Прикладная информационна экономика

Это детище автора, куда собрано всё вышеперечисленное
Отвечает на вопросы:

1. как смоделировать текущее состояние неопределённости
2. как расчитать, что ещё необходимо измерить
3. как измерить это экономически оправданным способом
4. как принять решение

Этап 0. Подготовка проекта

• предварительные исследования. Чтобы понять характер проблемы, аналитик встречается с заинтересованными лицами и изучает результаты вторичных исследований и отчёты за прошлые периоды
• Подбор экспертов. обычно нужны оценки 4-5 экспертов
• Планирование заседания рабочей группы. Нужно 4-5 заседания рабочей группы продолжительностью в половину рабочего дня

Этап 1. Построение модели принятия решения

• Определение проблемы. На первом заседании эксперты определяют, какую конкретную задачу они на самом деле должны проанализировать
• Детализация модели принятия решения. Ко дню второго заседания собираем все факторы, влияющие на анализируемое решение, и их совокупное воздействие. Если требуется одобрить или отклонить какой-то проект, то то следует перечислить все затраты и выгоды, ввести их в общий денежный поток и рассчитать ROI
• Первоначальные калибровочные оценки. На оставшихся заседаниях мы калибруем экспертов и подставляем предложенные ими значения переменных в модель принятия решения.

Этап 2. Предварительные измерения

• Анализ стоимости информации (VIA). Анализируем стоимости инфорции о каждой переменной, входящей в моделью Узнаём не только значение каждой переменной, но и её порог.
• Предварительный выбор метода измерения. В ходе анализа стоимости выясняется, что мы обладаем достаточной информацией о большинстве переменных. Обычно высокой оказывается стоимость информации лишь о паре переменных. Тут мы выясняем методы измерения этих переменных, не превышая их стоимости информации.
• Применяемые методы измерения. Разложение на составляющие, случайная выборка, субъективно-байесовский способ, проведение контролируемых экспериментов, метод линзы…
• Усовершенствованные модели принятия решения.
• Конечная стоимость анализа затрат на информацию. Обычно после 1-2 итераций проведение дальнейших исследований экономически нецелеообразно.

Этап 3. Выбор показателей и конечные результаты

• Полный анализ соотношения риск/доходность. Результат моделирования методом Монте-карло - вероятности возможных исходов, которые надо сравнвать с порогом
• Выбор способов отслеживания показателей. Нередко бывают переменные, рассчитывать которые вначале нецелесообразно, т.к. ценность информации о них становится очевидной лишь впоследствии. Зачастую это величины, характеризующие ход выполнения проекта и внешние условия функционирования компании. Их надо отслеживать, т.к. их изменение может потребовать введения корректирующих мер.
• Оптимизация решения. Принимаемое на практике решение зачастую имеет вид да/нет. А когда это так, то есть много способов улучшить уже принятое решение
• Заключительный отчёт и презентация