Distributed-Systems

Если вы когда-либо пытались хранить петабайты данных в традиционной базе данных и видели, как ваш сервер страдает в углу, вы, вероятно, задумывались об HBase. Это открытый NoSQL супергерой, построенный на базе Hadoop, предназначенный для обработки огромных наборов данных с грацией ниндзя распределённых систем. Позвольте мне рассказать вам всё, что вам нужно знать о построении масштабируемых систем хранения данных с помощью HBase. Что такое HBase и почему это важно? HBase — это столбцовая, распределённая NoSQL база данных, которая работает поверх файловой системы Hadoop (HDFS)....

Если вы когда-либо оказывались в той восхитительной ситуации, когда ваше приложение тонет в запросах к базе данных быстрее, чем программист может сказать «попробовали ли вы выключить и снова включить», то пристегните ремни — мы собираемся поговорить об одной из самых недооценённых суперспособностей производительности в Go: Ristretto. Позвольте быть с вами откровенным: большинство разработчиков Go, с которыми я встречался, либо не знают о Ristretto, либо думают, что это какая-то модная итальянская кофемашина для эспрессо (что, справедливости ради, неудивительно, учитывая название)....

Помните, когда мониторинг распределённой системы казался попыткой найти определённую песчинку на пляже с завязанными глазами? Да, были такие времена. А теперь представьте, что вы делаете это с тысячами узлов, микросервисами, общающимися друг с другом, как соседи, сплетничающие о происходящем, и задержками в сети, которые создают вам проблемы каждые пять секунд. Добро пожаловать в прекрасный хаос мониторинга производительности распределённых систем. Правда в том, что без надлежащего мониторинга ваша распределённая система — это, по сути, чёрный ящик — и не тот, который является информативным самописцем....

Позвольте мне быть откровенным: в какой-то момент каждый разработчик сталкивается с тем, что смотрит на панель мониторинга своей базы данных, видит всплеск нагрузки и думает: «Тогда это казалось хорошей идеей». Если ваша база данных становится узким местом, поздравляю — это значит, что ваше приложение работает. К сожалению, это также означает, что нам нужно поговорить о шардинге. Что такое шардинг базы данных и почему это важно? Шардинг базы данных — это, по сути, искусство разбиения монолитной базы данных на небольшие кусочки и распределения их по нескольким серверам....

Если вы когда-либо наблюдали, как программная система рушится под неожиданной нагрузкой, то знаете это ощущение: холодный пот, горькое осознание того, что никто на самом деле не проверял, что произойдёт, если всё сломается одновременно. Добро пожаловать в сферу существования инженерии хаоса. Годы мы строили всё более сложные распределённые системы, делая вид, что всё будет работать идеально. Спойлер: это не так. Традиционный подход, заключающийся в надежде на лучшее и проведении нескольких модульных тестов, примерно эквивалентен проверке безопасности автомобиля путём пристального его разглядывания....