EM-алгоритм для GMM

<h2>Почему нужен EM</h2> <p>В GMM неизвестны и параметры компонент, и то, какая компонента породила каждый объект. EM-алгоритм решает эту задачу чередованием двух шагов: сначала оценивает скрытые принадлежности, затем обновляет параметры компонент.</p> <h2>E-шаг</h2> <p>На E-шаге для каждого объекта вычисляются ответственности компонент — вероятности того, что объект относится к каждой компоненте:</p> <p>$$r_{ik}=P(k|x_i).$$</p> <p>Для каждого объекта суммы ответственностей по всем компонентам равны единице.</p> <h2>M-шаг</h2> <p>На M-шаге параметры компонент пересчитываются с учетом ответственностей. Например, среднее компоненты можно записать как взвешенное среднее:</p> <p>$$\mu_k=\frac{\sum_i r_{ik}x_i}{\sum_i r_{ik}}.$$</p> <h2>Связь с K-Means</h2> <p>K-Means можно воспринимать как более жесткий частный случай идеи: точка полностью относится к одному центру. GMM сохраняет больше информации, потому что хранит степени принадлежности.</p>