понедельник, 20 августа 2012 г.

Confirmation bias как он есть

Хороший, годный пример одной из тысяч главных болячек тестирования вообще и автоматического в частности. Учитесь видеть то что было на самом деле.

10 комментариев:

  1. негодный пример, у неё всё получилось :)

    ОтветитьУдалить
    Ответы
    1. Что получилось?
      Почему confirmation bias должен отменять тысячи причин того, почему на самом деле получилось?

      Удалить
    2. http://www.youtube.com/watch?v=ephahS2bEA0

      Удалить
  2. "...основная штурманская, судоводительская заповедь: «Пиши, что наблюдаешь!» И эта заповедь въедается в морское нутро: никогда не писать в журнал того, чего не наблюдаешь; всегда писать даже то, что кажется невероятным, если это невероятное наблюдается."

    ОтветитьУдалить
    Ответы
    1. Хорошая заповедь, но confirmation bias возникает не только при поиске данных, но и при попытке имеющиеся данные как-то истолковать (в том числе ретроспективно)

      Удалить
    2. Вот поэтому, пожалуй, и нужнО разделение труда и ролей - не надо наблюдателю ничего истолковывать, это работа для отдельных людей, с другими навыками, багажом, и психологическим профилем.
      А то понаистолковывают же... в меру собственной неграмотности и иллюзий.

      Удалить
    3. Тут есть минимум два ньюанса:
      1. Наблюдатель может быть достаточно квалифицированным чтобы по симптомам обнаружить корень проблемы. Это не совсем "толкование", но все же.
      2. К сожалению до сих пор в ряде контор наблюдатель (читай тестировщик) получает вопрос "можем ли мы релизиться?". А ответ на этот вопрос уже явно за пределами компетенции наблюдателя.

      С другой стороны очевидны направления куда стоит податься именно наблюдателю.

      Удалить
  3. >С другой стороны очевидны направления куда стоит податься именно наблюдателю.
    Сергей, а можете пояснить эту фразу? А то мне не очень очевидно, про что она.

    ОтветитьУдалить
    Ответы
    1. Учиться избегать стандартных ошибок наблюдения (в некоторых своих проявлениях confirmation bias, например, может такой быть), учиться теории постановки эксперимента.

      Удалить