Majority vote for CV annotations: improve your data labeling pipeline 🔮 В субботу 27.05 на ODS DataFest 🦜 в треке Data Collection & Labelling @karinakv рассказала о наших методах агрегации разметки в Computer Vision. Тут мы кратко напишем о мотивации и о результатах, а доклад с описанием методов можно посмотреть по ссылке. Речь пойдет о 3х типах разметки в CV: bounding boxes, сегментационные маски и временные интервалы. Для разметки больших данных часто используются краудсорсинг платформы, однако получаемое качество разметки оставляет желать лучшего. Частые ошибки разметчиков: 😔 разметка неверно локализует объект 😰 неверно выбрана метка 😭 лишние / пропущенные выделенные области Для наибольшей уверенности в правильности разметки на подобных площадках вводят понятие «перекрытия», то есть один и тот же сэмпл размечают несколько человек 👥. Получение одной итоговой разметки из нескольких мы называем агрегацией. Наше решение состоит из 2х частей - hard aggregation и soft aggregation - и позволяет привести полученные варианты разметок для одного и того же сэмпла, даже если не все из них верные, к итоговой хорошей разметке 💪. Такой подход также позволил нам существенно снизить временные ⏱ и денежные 💸 ресурсы на разметку 3х наших датасетов: HaGRID, EasyPortrait и Slovo. В скором времени планируем реализовать фреймворк агрегации, который можно будет установить как питоновскую библиотеку 🐍 . С его помощью можно будет усреднять разметку не только с краудсорсинг-платформ, но и с выходов нейронок! В комментариях к этому посту можете рассказать о том, какие ошибки допускают пользователи при разметке ваших данных и мы учтем это при реализации фреймворка. ❤️ #news