Презентация Development of Applied Computer Vision Systems Using Projective Morphologies and Evidence-Based Image Analysis онлайн

Содержание слайда: Development of Applied Computer Vision Systems Using Projective Morphologies and Evidence-Based Image Analysis

Содержание слайда: FGUP “State Research Institute of Aviation Systems” (GosNIIAS) Leading Russian organization in the field of avionics for flight vehicles of civil and military aviation founded in 1946 26 Doctors of Sciences, 232 Candidates of Sciences Educational faculties of MFTI, MAI, MIREA

Содержание слайда: Visual Data Representation and Processing

Содержание слайда: Visual Data Representation and Processing

Содержание слайда: Two Vision Frameworks Presented

Содержание слайда: PROJECTIVE MORPHOLOGIES

Содержание слайда: MM 1. Математическая морфология Серра Обработка с учетом формы, выделение деталей

Содержание слайда:

Содержание слайда: MM 1. Математическая морфология Серра

Содержание слайда: MM 1. Математическая морфология Серра

Содержание слайда: MM 2. Бинарная морфология на базе скелетов

Содержание слайда: MM 3. Морфологический анализ Пытьева Сравнение по форме, выделение отличий

Содержание слайда: MM 3. Морфологический анализ Пытьева

Содержание слайда: MM 3. Морфологический анализ Пытьева

Содержание слайда: MM 3. Морфологический анализ Пытьева

Содержание слайда: Projective Morphology as a Union of Morphologies Image Algebra with Projectors - Projection to the Shape - Projection = Segmentation + Reconstruction - Shape Model = Combination of Shape Elements Morphological Complexity of Shape Models Shape Model Fitting by “Precision vs. Complexity” Criterion Filtering: Projection to the Shape Segmentation: Regularization of Shape Model Matching: Morphological Shape Correlation Extraction: Morphological Background Normalization (Hit-Miss-Transform) Detection: Morphological Evidence Analysis Features: Morphological Decomposition Morphological Spectrum Morphological Skeleton

Содержание слайда: PROJECTORS, CLASSES OF SHAPES, MORPHOLOGICAL COMPLEXITY AND MORPHOLOGICAL SPECTRUM

Содержание слайда: Проекторы как распознающие операторы (М. Павель) Морфологический фильтр: преобразование изображения к виду, соответствующему заданному классу форм. Алгебраический проектор: F(X)=F(F(X))

Содержание слайда: Сравнение форм по сложности (Пытьев)

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: СЕГМЕНТАЦИЯ + РЕКОНСТРУКЦИЯ (поиск нетривиальных описаний и построение морфологических систем из готовых «кубиков»)

Содержание слайда:

Содержание слайда:

Содержание слайда: Способ описания формы: Преобразование Хафа (HT)

Содержание слайда: Способ описания формы: Обобщенное преобразование Хафа (GHT)

Содержание слайда: Морфологии Серра на базе преобразования Хафа и GHT H-открытие - объединение проекций изображения A(p) на отдельные прямые линии: Pr(A(p),t) = MAXqQ(A(q,t)Pr(A(p),(p,q))) = MAXqQ(A(q,t)A(p)(p,q)), где p=(x,y); q=(,) – параметры нормальной параметризации прямой; Q – пространство параметров; (p,q){0,1} – характеристическая функция прямой с параметрами q; A(q,t){0,1} – аккумулятор преобразования Хафа, бинаризованный по порогу t. (а) (b) (с) Пример морфологического H-открытия: a – исходное бинарное изображение; b – аккумулятор пространства Хафа c – результат H-открытия. На исходном контурном препарате выделены глобальные прямолинейные структуры. Аналогичным образом строится монотонная проективная морфология на базе обобщенного преобразования Хафа (GHT).

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: Морфологии из «готовых кубиков»

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: Селективные морфологии

Содержание слайда: МОРФОЛОГИЧЕСКИЕ АЛГЕБРЫ, ПРОСТРАНСТВА РАЗЛОЖЕНИЙ И СЕГМЕНТАЦИЯ КАК РЕГУЛЯРИЗАЦИЯ

Содержание слайда: Морфологические алгебры

Содержание слайда: Проективные морфологические разложения Проективные морфологические разложения Использование морфологических разложений образов в качестве признаковых описаний этих образов является обоснованным. Отсюда и все полезные практические свойства таких разложений.

Содержание слайда: Проективные морфологические разложения Типы морфологических разложений Условие разложимости:  E: Pr(A,E) = Vk=1..n(Pr(A,Ek)) = Vk=1..n(r(A,Ek)Ek)

Содержание слайда: Проективные морфологические разложения

Содержание слайда: Проективные морфологические разложения Морфологический анализ изображений Переход от образов к изображениям (двумерным функциям): Введем пространства параметров изображения P и разложения Q: AA(p); EkEk(p)(p,q); EE(p,q). Морфологические разложения изображений: Морфо-геометрическая проекция: Pr(A(p),E(p,q))=VqQ(A(q)(p,q)). Морфо-геометрическое разложение: dec(A(p))=A(q): (P)(Q). Проекция разложения на разложение: Pr(A(q),B(q))=r(A(p),B(p))B(q). Нормированный коэффициент линейной корреляции разложений: K(A(q),B(q)) = ||Pr(A(q),B(q))||/||A(q)||.

Содержание слайда: Проективные морфологические разложения Морфологический анализ изображений Фильтрация изображений с использованием разложений:

Содержание слайда: Проективные морфологические разложения Морфологический анализ изображений Структурное сравнение изображений (обобщение методики Ю.П. Пытьева) Структурный проектор = Морфологический фильтр, применяемый к образу A, область пропускания которого согласована с образом B. Характеристический базис образа B: E(B)={(bk)Ek, EkE}, (x)={0, если x=0; 1 – в противном случае}, где E –исходный базис, (x) - индикатор структурной связи. Морфологическая проекция образа A на модель образа [B]: Pr(A,[B]) = Vk=1..n(ak(bk)Ek) = Pr(A,E(B)). Морфологическая проекция разложений: Pr(a,[b]) = Pr({ak},[{bk}]) = {ak(bk)}. Структурный морфологический коэффициент корреляции: Kстр(A,B)= ||Pr(a,[b])|| / ||a||, где A,B; a=dec(A),b=dec(B), со стандартными свойствами: (a) 0  Kстр(A,B)  1; (b) Kстр(A,A) = 1; (c) Kстр(A,B) = 0  Pr(A,[B]) = . Класс морфологически эквивалентных структур: В={X: Kстр(X,B)=1}. Отношение «более простой/более сложный по структуре»: (Kстр(A,B) = 1, Kстр(B,A) < 1)  («A сложнее B», «B проще A»).

Содержание слайда: Проективные морфологические разложения Конструирование алгоритмов обнаружения объектов Обнаружение объектов с использованием разложений:

Содержание слайда: Проективные морфологические разложения Морфологические операторы сегментации и сжатия данных Морфологическая сегментация на базе проективных разложений

Содержание слайда: Проективные морфологические разложения Проективная сегментация без потерь

Содержание слайда: Достаточные условия построения проективных операторов Достаточные условия построения проективных операторов Ф(A,B)= J(A,B) + Q(B)

Содержание слайда:

Содержание слайда: Среднеквадратичная проективная сегментация одномерных функций Среднеквадратичная проективная сегментация одномерных функций

Содержание слайда: Монотонная проективная фильтрация одномерных функций Монотонная проективная фильтрация одномерных функций

Содержание слайда: Монотонная проективная сегментация одномерных функций Монотонная проективная сегментация одномерных функций

Содержание слайда: Монотонная фильтрация и сегментация двумерных кривых (контуров бинарных изображений) Монотонная фильтрация и сегментация двумерных кривых (контуров бинарных изображений)

Содержание слайда: Монотонная фильтрация и сегментация двумерных кривых (контуров бинарных изображений) Монотонная фильтрация и сегментация двумерных кривых (контуров бинарных изображений)

Содержание слайда: Морфология на базе оптимальной кусочно-линейной интерполяции двумерных кривых (контуров бинарных изображений) Морфология на базе оптимальной кусочно-линейной интерполяции двумерных кривых (контуров бинарных изображений)

Содержание слайда: Морфологическая сегментация в 2D

Содержание слайда: Морфологическая сегментация в 2D

Содержание слайда: Представление данных 1 (геометрическое)

Содержание слайда: Представление данных 2 (яркостно-геометрическое)

Содержание слайда: Пример 2D-открытия типа (L1+N)

Содержание слайда: Пример 2D-открытия типа (L1+N)

Содержание слайда: Пример 2D-открытия типа (L1+N)

Содержание слайда: Пример 2D-открытия типа (L1+N)

Содержание слайда: Пример 2D-закрытия типа (L1+N)

Содержание слайда: Пример 2D-закрытия типа (L1+N)

Содержание слайда: Пример 2D-закрытия типа (L1+N)

Содержание слайда: Пример 2D-закрытия типа (L1+N)

Содержание слайда: Пример 2D-аппроксимации типа (L1+N)

Содержание слайда: Пример 2D-аппроксимации типа (L1+N)

Содержание слайда: Пример 2D-аппроксимации типа (L1+N)

Содержание слайда: Пример 2D-аппроксимации типа (L1+N)

Содержание слайда: Пример 2D- аппроксимации типа (L1+TV)

Содержание слайда: Пример 2D- аппроксимации типа (L1+TV)

Содержание слайда: Пример 2D- аппроксимации типа (L1+TV)

Содержание слайда: Пример 2D- аппроксимации типа (L1+TV)

Содержание слайда: EVIDENCE-BASED IMAGE ANALYSIS

Содержание слайда:

Содержание слайда: Морфологический анализ свидетельств Вероятностная интерпретация методов морфологического анализа изображений   Вероятностная модель формирования образа P(M): [0,1], Вероятностная модель регистрации изображения P(L/M): M[0,1], Вероятностная модель искажений P(A/L): M[0,1] Критерий максимальной вероятности P(A,L)=P(A/L)P(L/M)P(M)max(L). Оператор максимально вероятной реконструкции образа : M, (A)=L: P(A,L)max(L).

Содержание слайда: Морфологический анализ свидетельств Анализ морфологических свидетельств Морфологическое событие: e(p)={f(A,p)=eX}. Морфологическая гипотеза: h(q)={(A) = L(q)}. Модель голосования: P(E(A),h(q))=pX, P(e(p),h(q))max(h(q)), где E(A) – совокупность морфологических событий или точнее совокупное морфологическое событие, связанное с образом A; h(q)H(), H() – пространство морфологических гипотез; P(e(p),h(q)) - вероятностная модель морфологического голосования. Носитель гипотезы (множество влияющих событий): S(h(q))={e(p): h(q)h(q): P(e(p),h(q))P(e(p),h(q))}. Носитель события (множество влияющих гипотез): S(e(p))={h(q): e(p)e(p): P(e(p),h(q))P(e(p),h(q))}. Полную группу событий, относящихся к одному признаку f(p), будем называть доменом событий, полную группу гипотез, соответствующую различным значениям L(q) – доменом гипотез.

Содержание слайда: Морфологический анализ свидетельств Анализ морфологических свидетельств Под анализом морфологических свидетельств понимается следующая процедура: Морфологические события подают голоса (свидетельствуют) в пользу морфологических гипотез. Голоса накапливаются (свидетельства суммируются) Наиболее вероятной считается та гипотеза, в пользу которой подано максимальное количество голосов (накоплена максимальная сумма свидетельств).

Содержание слайда: РАЗРАБОТКА ВЫЧИСЛИТЕЛЬНО ЭФФЕКТИВНЫХ АЛГОРИТМОВ АНАЛИЗА МОРФОЛОГИЧЕСКИХ СВИДЕТЕЛЬСТВ

Содержание слайда: Морфологический анализ свидетельств Способы повышения вычислительной эффективности: •  независимое аккумулирование свидетельств •  декомпозиция вектора параметров S()=S'(')S"(") •  редукция вектора параметров S()S'(') •  загрубление модели объекта M  M'M •  иерархический анализ свидетельств Модульная схема алгоритма обнаружения •  обработка изображения по схеме голосования с целью выделения объектов или их составляющих •  анализ аккумулятора с целью определения положения и/или ориентации объектов •  повторный анализ изображения с целью проверки природы обнаруженных объектов и уточнения их параметров

Содержание слайда: Морфологический анализ свидетельств Последовательность шагов разработки алгоритма обнаружения и идентификации объектов 1.  описать модели объекта, регистрации и искажений 2.  определить степень загрубления модели объекта 3.  осуществить необходимую редукцию параметров 4.  определить типы «событий» 5.  составить качественную вероятностную модель 6.  определить процедуру голосования 7.  определить соответствующую процедуру анализа аккумулятора 8. разработать процедуру постпроверки достоверности детектирования

Содержание слайда: Пример 1. Метод обнаружения штриховых кодов и текстовых областей на изображениях

Содержание слайда: Пример 1. Метод обнаружения штриховых кодов и текстовых областей на изображениях

Содержание слайда: MHT для обнаружения штриховых кодов и текстовых строк

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда:

Содержание слайда: АВТОМАТИЗИРОВАННОЕ КОНСТРУИРОВАНИЕ АЛГОРИТМОВ МОРФОЛОГИЧЕСКОГО АНАЛИЗА СВИДЕТЕЛЬСТВ

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Постановка задачи P1(R,A)  min(R,A) | P2(R,A) ≤ P2max, T(R,A) ≤ Tmax P1 – вероятность необнаружения объекта; P2 – вероятность ложной тревоги; T – вычислительная стоимость алгоритма (время, ресурсы); R – используемая морфологическая система; A – алгоритм анализа данных.

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов 1. Метод автоматизированного конструирования алгоритмов обнаружения объектов, основанный на преобразованиях модельных описаний Метод преобразования модельных описаний Рекурсивные модели и алгоритмы Нерекурсивные модели и алгоритмы Проективные морфологии на базе логического программирования 2. Метод автоматизированного конструирования модульных процедур обнаружения объектов, основанный на «генетическом отборе» элементов модельного описания Общий подход к построению процедур идентификации Учет информативности опорных элементов Построение процедур идентификации объектов нескольких классов Генетический отбор морфологических процедур

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Конструирование детекторов по модельным описаниям Формальное описание моделей объектов. Преобразование моделей объектов. Перевод декларативного описания в процедурное (сопоставление описанию объекта процедуры его обнаружения на изображении). Реализации полученных алгоритмов путем модификации типовых метаалгоритмов, соответствующих стандартным метамоделям. Вероятностное описание моделей и расчет характеристик достоверности их обнаружения. Учет программно-аппаратных характеристик типовых процедур (в заданной архитектуре вычислителя). Статистический анализ результатов обработки изображения.

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Конструирование детекторов по модельным описаниям Метод преобразования модельных описаний Модель объекта: Преобразования моделей: перестановка порядка предикатов; декомпозиция (разбиение) модели на две части и редукция (отсечение) одной из них. Obj = { | }

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Конструирование детекторов по модельным описаниям Пример преобразования модельных описаний Модели: Штриховая линия = набор штрихов, лежащих на одной прямой. (М1) Штриховая линия = прямая, состоящая из отдельных штрихов. (М2) Процедуры: Найти все штрихи, выбрать те, что лежат на одной прямой. (П1) Последовательно находить штрихи, лежащие на одной прямой. (П2)

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Конструирование детекторов по модельным описаниям Алгоритм применения построенной модели процедуры голосования: 1.  Осуществить все возможные успешные индексации целевого предиката на изображении. 2.  Удалить все голосующие элементы, не участвующие в найденных успешных индексациях целевого предиката. Результатом применения процедуры является морфологическая проекция изображения на модель объекта, заданную в запросе.

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Конструирование детекторов по модельным описаниям Проективные морфологии на базе неоднородных структурных моделей, описываемых логическими предикатами Утверждение (достаточное условие построения проективного морфологического фильтра на базе логической модели): Морфологическое преобразование на базе модели M является морфологическим проектором, если выполняется условие q: A(q)=0  A(q)0: M(A(Q)VA(q))=M(A(Q)VA(q) (то есть в пользу M(A(Q)) голосуют только ненулевые элементы A(q)). Морфологический проектор: Pr(A(p),M)=(A(p),M)=((A(p),M),M) Морфологический коэффициент корреляции изображения с моделью: KM(A(p),M)=min(||Pr(A(p),M)||,||A(p)||) / max(||Pr(A(p),M)||,||A(p)||)

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Метод генетического отбора структурных моделей Принцип конструирования процедуры идентификации Множество процедур обнаружения: , где - процедура обнаружения фрагмента, реализующая один из заданных базовых алгоритмов (j=1,2,…,mk; k=1,2,3…).

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Метод генетического отбора структурных моделей Задача условной оптимизации: , где: - время работы процедуры на изображениях из обучающей выборки; - функция вычисления точности обнаружения объекта на изображении из обучающей выборки. При этом: , - множество процедур длины не больше l,

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Метод генетического отбора структурных моделей Схема применения генетического алгоритма: 1.     Ген = одна из элементарных процедур. 2.     Хромосома = последовательность генов ограниченной длины. 3.     Функция качества хромосомы: , , где р - процедура обнаружения заданного объекта; Si - изображение из обучающей выборки; - время работы процедуры р на изображении Si; А – настроечный коэффициент; - штрафная функция. 4.     Операция скрещивания – перегруппировка и обмен составных частей существующих решений (цепочек процедур обнаружения). 5.     Операция мутации позволяет изменить параметры (xj,yj,wj,hj) для выбранной элементарной процедуры. 6.     Генетический отбор осуществляется путем итеративного «размножения», тестирования и селекции в каждом поколении хромосом с наилучшим значением функции качества. При этом на каждом этапе случайным образом осуществляются мутации параметров и скрещивание моделей.

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Метод генетического отбора структурных моделей Схема применения генетического алгоритма для формирования морфологических детекторов: 1.     Ген = один из возможных структурных примитивов, характеризуемый набором {Mk(u,qk),tk,qk}. 2.     Хромосома = последовательность генов = морфо-геометрическая модель объекта M(p,u). 3.     Функция качества хромосомы - аналогично. 4.     Операция скрещивания – аналогично. 5.     Операция мутации позволяет изменить параметры локализации {Mk(u,qk),qk} для выбранного элемента модели. 6.     Генетический отбор - аналогично.

Содержание слайда: Автоматизированное конструирование алгоритмов обнаружения объектов Метод генетического отбора структурных моделей Интерпретация результата: 1.     Процедурная интерпретация = Близкая к оптимальной процедура обнаружения заданного объекта. 2.     Модельная интерпретация = Набор элементов структурной модели объекта, на основе которой искомый объект может быть обнаружен и/или идентифицирован на изображениях из обучающей выборки.

Содержание слайда: Conclusions

Содержание слайда: