tag:blogger.com,1999:blog-6313277656544247723.post5213668778998055661..comments2023-10-11T19:36:37.977+06:00Comments on Goblin Game: Самоорганизующиеся высоконадежные организации (revised edition)Сергей Высоцкийhttp://www.blogger.com/profile/01289041631095569954noreply@blogger.comBlogger9125tag:blogger.com,1999:blog-6313277656544247723.post-13170812726507138452012-12-13T23:50:30.580+07:002012-12-13T23:50:30.580+07:00Тут есть пара ньюансов:
1. Оперировать на минималь...Тут есть пара ньюансов:<br />1. Оперировать на минимальных ресурсах это самоубийство. Особенно если речь идет о боевой эксплуатации онлайн-сервисов.<br />2. Часть вещей делается практически бесплатно, нужно просто создать условия для правильных коммуникаций и поработать над культурой в компании. Никаких ресурсов на мониторинг, сбор, упорядочивание и т.п. тратить не придется. Это как корпоративная вики - если все сделать правильно, то очень крутой внутренний ресурс, но у некоторых все равно свалка получается.<br /><br />Т.е. если мы отметаем "самоубийц-нищебродов" как тупиковую ветвь эволюции, то избыточность все равно будет. Дальше вопрос в том как ей распорядиться и насколько большой этот запас.Сергей Высоцкийhttps://www.blogger.com/profile/01289041631095569954noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-66762614294329778332012-12-13T23:36:43.855+07:002012-12-13T23:36:43.855+07:00Про избыточность в пунктах -
Тесные взаимозависи...Про избыточность в пунктах - <br /><br />Тесные взаимозависимости между различными групами <br />>> это дополнительные коммуникации<br /> <br />Тесная взаимная координация и обмен информацией, как результат частично дублирующихся знаний<br />>> это дополнительный ресурс на передачу и мониторинг информации<br /><br />Высокая операционная избыточность - много разных людей наблюдают за одними и теми же событиями и обмениваются наблюдаемой информацией<br />>> это дополнительный ресурс на мониторинг<br /><br />Широкое толкование того, кто принадлежит к команде<br />>> это дополнительные люди в системе (больше минимума)<br /> <br />Сокомандники включаются в коммуникационные цепочки, а не исключаются из них<br />>> это дополнительный ресурс на мониторинг информации<br /><br />Регулярная работа над ошибками<br />>> это дополнительный ресурс на анализ и сбор<br /><br />Высокий уровень понимания текущей ситуации - поддерживается постоянное понимание того, что сейчас происходит и какова вероятность тех или иных факапов<br />>> это дополнительный ресурс на мониторинг + сверх-компетентность<br /><br />Высокий уровень навыков межличностного общения<br />>> это сверх-компентность<br /><br />Хранение детальных данных о прошлых факапах, которые внимательно пересматриваются с целью обучения<br />>> это дополнительный ресурс на сбор, упорядочивание и анализ<br /><br />Командная цепочка изменяется для того, чтобы отвечать текущей ситуации - высокая организационная гибкость<br />>> это дополнительные люди в системе + сверх-компетентность<br /><br />Сообщения о просчетах и ошибках вознаграждаются, а не наказываются<br />>> это единственная не дополнительно- и не сверх- характеристика<br /><br />Авторы сами прямо говорят, что секрет в redundancy. Это безусловно не является чем-то плохим, но это привилегия "богатых" проектов.Anonymoushttps://www.blogger.com/profile/05038361699615055821noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-64434379521369482492012-12-13T07:58:33.927+07:002012-12-13T07:58:33.927+07:00> Типа админов учим немного кодить, разрабов ад...> Типа админов учим немного кодить, разрабов админить, и всех подряд немного приучаем пользоваться тестовой средой. Так?<br /><br />Да. Шарим контроль версий на админов, тестеров и разрабов. Шарим мониторинг на всех. Шарим тестовую инфраструктуру на всех. Все могут худо-бедно работать везде (с небольшими оговорками и правилами, чтобы бардак не создавать). Это, кстати, понимание текущей ситуации улучшает и, если что, все знают куда смотреть.<br /><br />> А "Широкое толкование того, кто принадлежит к команде"?<br /><br />Это когда тестировщик иногда фиксит баги, разработчик разруливает факапы на бою, а админ пишет тесты. И отправка, скажем, разработчика на пару недель поработать в саппорте это не наказание, а нормальный обмен невербализируемым опытом между отделами.<br /><br /><br />Примечательно, что в маленьких конторах такое обычно и так есть (ввиду отсутствия полноценной возможности разделения труда), а в больших зачастую нет (разделение труда несколько больше чем нужно).Сергей Высоцкийhttps://www.blogger.com/profile/01289041631095569954noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-32689197590743577172012-12-13T02:48:10.115+07:002012-12-13T02:48:10.115+07:00А как на твой взгляд на практике можно было бы реа...А как на твой взгляд на практике можно было бы реализовать следующее:<br /><br />"Тесная взаимная координация и обмен информацией, как результат частично дублирующихся знаний", особенно интересно дублирующиеся знания. Типа админов учим немного кодить, разрабов админить, и всех подряд немного приучаем пользоваться тестовой средой. Так?<br /><br />А "Широкое толкование того, кто принадлежит к команде"? Это как?<br /><br />Все остальное худо-бедно понятно. Как к этому прийти не понято, но на что оно похоже, когда к этому придешь, в общих чертах просматривается.Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-15919836244361515722012-12-11T01:15:35.034+07:002012-12-11T01:15:35.034+07:00В моем случае после ухода в продакшен опять идет р...В моем случае после ухода в продакшен опять идет разработка, а потом опять продакшен и так до бесконечности. После первого выхода в продакшен я уже не вижу смысла серьезно разделять эксплуатацию и разработку. Оно друг с другом очень плотно связано.<br /><br />Про падение ноды был тут в сентябре показательный случай - у гитхаба начали падать ноды базы данных, а через сутки корневая нода самоубилась. С проблемами надо разбираться, а то они накапливаются и вся ваша классная система летит к чертям как карточный домик. А свежий клон это просто заглушка. Поддержание аптайма, пока на заднем фоне тушат пожар. Очень плохо, когда пехотинцы начинают дохнуть как мухи и не прекращают делать этого.<br /><br />На энергетике, химзаводах и ядерных станциях бывают операционные сбои. И там очень хорошо понимают, что с их причинами надо разбираться сразу, а то потом плохо будет. Ну или не разбираться, если вам выгоднее пару раз в год на приличные деньги отправлять пару калек. Капитализм в этих областях довольно чудовищный, в том числе в том городе, где я живу.<br /><br />Еси говорить про облачные сервисы, то там как SLA напишите так и будет. А дальше торги с клиентом. Если говорить про тех, кто интернетами деньги зарабатывает напрямую, то для того же ебея две девятки после запятой это примерно 8 миллионов долларов из кармана прямых потерь.Сергей Высоцкийhttps://www.blogger.com/profile/01289041631095569954noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-90751057074096156632012-12-11T00:29:53.626+07:002012-12-11T00:29:53.626+07:00Терминологически всё же не "избыточность"...Терминологически всё же не "избыточность", а "многократное резервирование" по всем аспектам. Но это в лучшем случае начинается в момент, когда всё переходит из девелопмента в продакшн. А думать об этом правильнее с самого начала, на этапе проектирования, иначе всё это резервирование и саморегуляция будет чужеродны по отношению к объекту. <br />Что, впрочем, необязательно плохо: на прошлом кодефесте рассказывали - "нам нет смысла разбираться, почему упал один из нодов - мы его немедленно убиваем и поднимаем свежий клон". =Время жизни пехотинца в бою= - в чистом виде.<br /><br />Что у нас на эту тему говорят руководства по эксплуатации всяких потенциально опасных объектов - энергетика, химзаводы, ядерные станции? А сколько "девяток" аптайма должен обеспечить грамотно построенный облачный сервис? Какое время восстановления? Victor Dulepovhttps://www.blogger.com/profile/01399364249336724341noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-90114807652848933932012-12-10T23:51:36.216+07:002012-12-10T23:51:36.216+07:00Вот на зенит батоны крошить не надо!Вот на зенит батоны крошить не надо!Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-10272044900757653372012-12-10T19:56:14.794+07:002012-12-10T19:56:14.794+07:00У меня это слово только в три пункта подставляется...У меня это слово только в три пункта подставляется нормально.<br /><br />Ну и все же избыточность сама по себе недостаточна для сокращения факапов. "Зенит" и наш государственный аппарат тому отличны примеры (есть более серьезные примеры). К тому же в случае людей есть много но. Избыточность людей в одной точке не должна приводить к:<br />- Снижению/повышению рабочей нагрузки<br />- Усложнению коммуникаций, иерархии и устройства рабочих ячеек<br /><br />Плюс в ряде случаев большое количество людей на задаче приводит к тому, что situation awareness совсем исчезает. А избыточность людей на руководящих должностях как правило приводит к потере оранизационной гибкости.<br /><br />Итого: избыточность это простой способ сократить факапы, но она подходит не для всех задач и сама по себе недостаточна, т.к. все еще требует ряда дополнительных условий (иначе рискуем получить неработающую бюрократию).Сергей Высоцкийhttps://www.blogger.com/profile/01289041631095569954noreply@blogger.comtag:blogger.com,1999:blog-6313277656544247723.post-84722016799911184982012-12-10T19:12:48.421+07:002012-12-10T19:12:48.421+07:00слово "избыточный" я мог бы подставить п...слово "избыточный" я мог бы подставить почти в каждую характеристику. То есть секрет не-факапов в огромном объеме выделенных на эти задачи ресурсов - в виде количества и качества людей, многократно перекрывающих одну и туже задачу.Anonymoushttps://www.blogger.com/profile/05038361699615055821noreply@blogger.com