Distributed-Systems

Если вы когда-либо оказывались в той восхитительной ситуации, когда ваше приложение тонет в запросах к базе данных быстрее, чем программист может сказать «попробовали ли вы выключить и снова включить», то пристегните ремни — мы собираемся поговорить об одной из самых недооценённых суперспособностей производительности в Go: Ristretto. Позвольте быть с вами откровенным: большинство разработчиков Go, с которыми я встречался, либо не знают о Ristretto, либо думают, что это какая-то модная итальянская кофемашина для эспрессо (что, справедливости ради, неудивительно, учитывая название)....

Помните, когда мониторинг распределённой системы казался попыткой найти определённую песчинку на пляже с завязанными глазами? Да, были такие времена. А теперь представьте, что вы делаете это с тысячами узлов, микросервисами, общающимися друг с другом, как соседи, сплетничающие о происходящем, и задержками в сети, которые создают вам проблемы каждые пять секунд. Добро пожаловать в прекрасный хаос мониторинга производительности распределённых систем. Правда в том, что без надлежащего мониторинга ваша распределённая система — это, по сути, чёрный ящик — и не тот, который является информативным самописцем....

Позвольте мне быть откровенным: в какой-то момент каждый разработчик сталкивается с тем, что смотрит на панель мониторинга своей базы данных, видит всплеск нагрузки и думает: «Тогда это казалось хорошей идеей». Если ваша база данных становится узким местом, поздравляю — это значит, что ваше приложение работает. К сожалению, это также означает, что нам нужно поговорить о шардинге. Что такое шардинг базы данных и почему это важно? Шардинг базы данных — это, по сути, искусство разбиения монолитной базы данных на небольшие кусочки и распределения их по нескольким серверам....

Если вы когда-либо наблюдали, как программная система рушится под неожиданной нагрузкой, то знаете это ощущение: холодный пот, горькое осознание того, что никто на самом деле не проверял, что произойдёт, если всё сломается одновременно. Добро пожаловать в сферу существования инженерии хаоса. Годы мы строили всё более сложные распределённые системы, делая вид, что всё будет работать идеально. Спойлер: это не так. Традиционный подход, заключающийся в надежде на лучшее и проведении нескольких модульных тестов, примерно эквивалентен проверке безопасности автомобиля путём пристального его разглядывания....

У каждого разработчика бывает такой момент. Вы проектируете новую систему, рисуете микросервисы на доске, и вдруг думаете: «Да насколько сложно создать собственную очередь сообщений?» В конце концов, это просто передача данных из точки А в точку Б, верно? Верно? Приготовьтесь, потому что я собираюсь провести вас через кроличью нору распределённых сообщений — и поверьте мне, эта конкретная кроличья нора уходит глубже, чем у Алисы. Соблазнительная простота «просто очереди» Будем честными: базовая концепция кажется почти оскорбительно простой....