Monitoring

Introduction Deploying a machine learning model into production is just the beginning of its lifecycle. Ensuring that the model continues to perform well over time and adapts to changing data distributions is a critical task. In this article, we will explore various strategies and techniques for testing and monitoring ML models in production, focusing on aspects such as drift, performance, and quality. What is Data Drift? Data drift occurs when the statistical properties of the input data change over time, leading to a degradation in model performance....

Введение Развёртывание модели машинного обучения в продакшн — это только начало её жизненного цикла. Обеспечение стабильной работы модели с течением времени и её адаптация к изменениям в распределении данных — важная задача. В этой статье мы рассмотрим различные стратегии и методы тестирования и мониторинга моделей машинного обучения в продакшне, уделяя особое внимание таким аспектам, как сдвиг данных, производительность и качество. Что такое сдвиг данных? Сдвиг данных происходит, когда статистические свойства входных данных изменяются со временем, что приводит к ухудшению производительности модели....

I remember the day our production system went down at 2 AM. Our CEO asked, “What happened?” and I had three options: look at dashboards that showed nothing useful, dig through terabytes of logs with grep, or pray. Spoiler alert: I prayed. And that’s when I realized we’d been doing observability all wrong. Fast forward to today, and observability has become the holy grail of modern engineering. But here’s the dirty secret vendors won’t tell you: you don’t need a six-figure annual contract with a SaaS platform to have decent observability....

Помню день, когда наша производственная система вышла из строя в 2 часа ночи. Наш генеральный директор спросил: «Что случилось?», и у меня было три варианта: посмотреть на панели управления, которые не показывали ничего полезного, порыться в терабайтах логов с помощью grep или помолиться. Спойлер: я помолился. И тогда я понял, что мы всё делали неправильно. Сейчас, спустя некоторое время, наблюдаемость стала Святым Граалем современной инженерии. Но вот грязный секрет, о котором вам не расскажут вендоры: вам не нужен годовой контракт на шестизначную сумму с SaaS-платформой, чтобы обеспечить достойную наблюдаемость....

You know that moment when your IDE suggests you take a break because you’ve been staring at the same function for three hours? Well, someone thought it was a brilliant idea to scale that observation up to track mental health patterns. And honestly? I can’t decide if it’s genius or terrifying. The premise is seductive: what if the tools we already use—our IDEs, development platforms, collaboration software—could quietly observe our work patterns and alert us (or our employers, or healthcare providers) when something seems off?...