#ai #ML #oncotech #CVСегодня слегка лонгридно про оптоакустику, ML и восстановление “разряженных” медицинских изображений.
Есть такой супер перспективный метод исследования — оптоакустическая томография (или МСОТ). Если кратко, то мы генерируем последовательность лазерных импульсов на область тела, где они поглощаются по-разному, в зависимости от длины волны и типа ткани-мишени. Эти лазерные импульсы создают незначительное повышение температуры, что расширяет ткани. Эти движения генерируют акустические сигналы - каждый тип ткани производит уникальные звуковые сигналы. Например, клетка крови «звучит» очень сильно отличается от клетки кожи. Ультразвуковые детекторы на поверхности кожи регистрируют эти разные сигналы, и компьютер генерирует соответствующее трехмерное изображение.
Сейчас МСОТ особенно хорошо работает с клетками, например, агрессивной меланомы. Метод может позволить хирургам точно проверить во время резекции опухоли, действительно ли были удалены все раковые клетки.
Там очень, естественно, очень много тонкостей. Типа раположения и плотности датчиков, грамотной конфигурации и т.д. Но основная проблема метода — просто нужно дофига датчиков, что делает каждое исследование стоимостью как крыло от боинга.
И вот на помощь приходит ML и наш любимый ETH
🇨🇭. Команда под руководством Даниэля Разански, профессора биомедицинской визуализации в ETH Zurich и Цюрихском университете, искала способ улучшить качество изображения недорогих оптоакустических устройств, которые имеют только небольшое количество ультразвуковых датчиков. Для этого они начали с использования разработанного оптоакустического сканера высокого класса, имеющего 512 датчиков, который получал картинку нужного качества. Эти фотографии были проанализированы с помощью нейоронки. Если последовательно сокращать количество датчиков, то изображение обрастает артефактами, искажениями и всякими мерзкими белыми полосами. После обучения сверточной нейронки исследователи отказались от большинства датчиков, так что осталось только 128 или 32 датчика. Сеть отлично “дорисовывает” и восстанавливает изображение даже на 32х датчиках.
Конфиг сети вполне применим к другим задача восстановления медицинских изображений, где требуется высокое разрешение картинки. Детальное описание в свежем Nature, там же и ссылки на обучающие датасеты
https://www.nature.com/articles/s42256-019-0095-3