模式识别期末笔记

基于模式识别期末考纲第四个和第五个part，符号源于课程讲义，整理了关于混合模型分类（GMM），EM算法及其变分表示以及MM算法的相关笔记。

PDF file

模式识别期末笔记

基于模式识别期末考纲前三个part，符号源于课程讲义，整理了关于K-means 聚类及其变分表达、熵正则与空间正则的相关笔记。用markdown在网页上做笔记还是太费劲了，回归latex！

PDF file

模式识别笔记汇总

本次笔记主要关于K-Means 及其变分问题、熵不等式、Softmax/Softmin 函数、数值稳定化、以及泛函与方向导数等内容。

---

K-Means 基本原理与能量函数

K-Means 能量函数的定义

K-Means 算法的能量函数（目标函数）定义如下：

$$
E(\vec{U}, \vec{C})
= \sum_{x \in \Omega} \sum_{k=1}^{K} \bigl(f(x) - C_k\bigr)^2 U_k(x)
$$

其中：

• $ f(x) $ 表示数据点 $ x $ 的特征值；
• $ C_k $ 表示第 $ k $ 个聚类中心；
• $ U_k(x) $ 为归属矩阵的元素，表示数据点 $ x $ 是否属于第 $ k $ 个簇（在硬分类中，取值为 0 或 1）。

然后定义

$$
\langle \overrightarrow{O}, \overrightarrow{u} \rangle = \sum_{x \in \Omega} \sum_{k=1}^{K} O_k(x) \cdot u_k(x)
$$

其中误差函数为：

$$
O_k(x) = \bigl(f(x) - C_k\bigr)^2
$$

该能量函数也可用内积的形式表示：

$$
E(\vec{U}, \vec{C}) = \langle \vec{O}, \vec{U} \rangle
$$

其中 $\vec{O}$ 为一个误差向量。

---

K-Means 算法的迭代更新规则

K-Means 算法通过两步交替迭代来最小化能量函数 $E(\vec{U}, \vec{C})$：

1. 更新归属矩阵 $\vec{U}^{t+1}$：

   $$
   \vec{U}^{t+1} = \arg \min_{\vec{U}} E(\vec{U}, \vec{C}^t)
   $$

   具体到每个样本点 $x$ 的更新规则为：

   $$ U_k^{t+1}(x)= \begin{cases} 1, & \text{if} k = \arg \min_{k \in \{1, \dots, K\}} (f(x) - C_k^t)^2 \\ 0, & \text{otherwise} \end{cases} $$

   即将每个数据点分配给距离其最近的簇中心。

2. 更新聚类中心 $\vec{C}^{t+1}$：

   $$
   \vec{C}^{t+1} = \arg \min_{\vec{C}} E\bigl(\vec{U}^{t+1}, \vec{C}\bigr)
   $$

   即对每个簇的样本求均值，作为新的聚类中心。

---

误差函数与误差向量

定义误差函数：

$$
O_k(x) = \bigl(f(x) - C_k\bigr)^2
$$

令

$$
\vec{O}(x) = \bigl(O_1(x), O_2(x), \dots, O_K(x)\bigr)^\mathsf{T},
$$

则 $\vec{O}$ 是一个向量值函数，映射

$$
\vec{O}: \Omega \subseteq \mathbb{R}^2 \to \mathbb{R}^K.
$$

---

备注

• K-Means 采用硬聚类方式，每个数据点只能属于一个簇，$U_k(x) \in {0,1}$。
• 优化目标：在每次迭代中，先更新 $\vec{U}$，再更新 $\vec{C}$，直至收敛。
• 计算复杂度：主要与数据点数 $N$ 和簇数 $K$ 有关，通常为 $O(NKT)$（$T$ 为迭代次数）。

---

K-Means 的变分问题与熵的性质

K-Means 变分问题

我们希望最小化下述能量函数：

$$
\min_{\vec{U}, \vec{C}} E(\vec{U}, \vec{C})
$$

其中 $\vec{U}$ 为归属矩阵，$\vec{C}$ 为聚类中心。

除硬划分之外，还可使用许多优化或正则化技巧，例如引入软分类思想（softmax / softmin）的方法。

---

熵的性质

在分析 K-Means 变分问题时，引入熵的一条不等式，用于约束归属矩阵的对数项：

$$
-\ln K
\le \langle \vec{U}, \ln \vec{U} \rangle
\le 0
$$

其中：

• $U_k$ 表示数据点对第 $k$ 个簇的归属概率（软分类时可在 $[0,1]$ 之间）；
• $\langle \vec{U}, \ln \vec{U}\rangle = \sum_{k=1}^{K} U_k \ln U_k$ 是熵相关的项。

该不等式可以用 Jensen 不等式等方法证明。等号成立的两种情况为：

• 左边等号：所有 $U_k = \frac{1}{K}$，即均匀分布；
• 右边等号：某一个 $U_k=1$，其它为 0，即完全硬分类。

---

变分方法的直观解释

• 最优化角度：寻找最优的 $\vec{U}, \vec{C}$ 使得数据点与簇中心的总体误差最小；
• 信息论角度：考虑信息熵约束，避免过度偏向某一簇，从而获得更合理的簇划分。

---

备注

• 熵的约束：对归属矩阵 $ \vec{U} $ 提供了额外的正则约束。
• 与 EM（期望最大化）算法中的软聚类思想存在对应关系。

---

熵不等式的证明

这里给出熵不等式：

$$
-\ln K
\leq \langle \vec{U}, \ln \vec{U} \rangle
\leq 0
$$

的推导思路详述如下：

证明 $f(u)=-\ln u$ 是凸函数：

函数 $f(u) = -\ln u$ 的一阶导数和二阶导数分别为：

$$
f’(u) = -\frac{1}{u},
\quad
f’’(u) = \frac{1}{u^2} > 0 \quad (u>0)
$$

由于 $f’’(u) > 0$，可知 $f(u)$ 是凸函数。

计算极限 $\lim\limits_{u\to0^+} u \ln u$：

令 $g(u) = -u \ln u$，求其极限：

$$
\lim_{u\to0^+} u \ln u = \lim_{u\to0^+} \frac{\ln u}{1/u}
$$

利用洛必达法则，分子求导得$1/u$，分母求导得 $-1/u^2$，因此：

$$
\lim_{u\to0^+} \frac{\ln u}{1/u} = \lim_{u\to0^+} \frac{1/u}{-1/u^2} = \lim_{u\to0^+} -u = 0
$$

所以：

$$
\lim_{u\to0^+} u \ln u = 0.
$$

这表明当 $u \to 0$ 时，$u \ln u$ 趋于 0。

用 Jensen 不等式推导熵不等式：

由于 $f(x)=-\ln x$ 是凸函数，因此对于满足 $\sum_{k=1}^{K} \alpha_k = 1$ 且 $ 0 \leq \alpha_k \leq 1$ 的权重 $\alpha_{k} $ ，有：

$$
\left( \sum_{k=1}^{K} \alpha_k x_k \right) \leq \sum_{k=1}^{K} \alpha_k f(x_k)
$$

取 $\alpha_k = U_k$，$x_k = \frac{1}{U_k}$，则：

$$
-ln \left( \sum_{k=1}^{K} U_k \cdot \frac{1}{U_k} \right) \leq \sum_{k=1}^{K} U_k (-\ln \frac{1}{U_k})
$$

由于 $\sum_{k=1}^{K} U_k = 1$，所以：

$$
-ln K \leq \sum_{k=1}^{K} U_k \ln U_k \leq 0
$$

即

$$
ln K \geq -\langle \vec{U}, \ln \vec{U} \rangle
$$

等号成立的条件：

• 左边等号成立条件：当所有 $U_k$ 相等，即 $U_k = 1/K$ 时，左侧等号成立。
• 右边等号成立条件：当仅有一个 $U_k=1$，其余 $U_k=0$ 时，右侧等号成立。

熵不等式在 K-Means 变分问题中的作用：

该不等式用于限制聚类的过度集中，即防止所有数据点都归属于同一簇。同时，它也鼓励一定程度的分散度，使簇划分更加均匀，从而优化聚类效果。

---

K-Means 的变分问题扩展

在传统 K-Means 的能量函数 $E(\vec{U}, \vec{C})$ 基础上，引入一项基于熵的正则化：

$$
\min_{\vec{u}\in U}
\Bigl[
E(\vec{u}, \vec{C})
+\varepsilon \langle \vec{u}, \ln \vec{u}\rangle
\Bigr]
$$

其中 $\varepsilon > 0$ 为权衡系数（正则化参数）。当 $\varepsilon \to 0$ 时，该模型接近传统 K-Means 硬分类；当 $\varepsilon$ 较大时，模型更倾向于软聚类。

更新过程：

1. $\vec{u}^{t+1} = \arg \min_{\vec{u}} \bigl[E(\vec{u}, \vec{C}^t) - \varepsilon H(\vec{u})\bigr]$ (变成了严格凸)
2. $\vec{C}^{t+1} = \arg \min_{\vec{C}} \bigl[E(\vec{u}^{t+1}, \vec{C})\bigr]$ （与传统 K-Means 相同）

这里的熵项

$$
H(\vec{u})
= - \sum_{k=1}^{K} \sum_{x\in \Omega} u_k(x)\ln u_k(x)
$$

作为“软化”或正则化手段，避免完全的 0-1 硬分类。

偏导数计算

熵项 $H(\vec{u})$ 可重写为

$$
-H(\vec{u}) = \langle \vec{u}, \ln \vec{u} \rangle.
$$

对于目标函数 $E(\vec{u}, \vec{C}) - \varepsilon H(\vec{u})$，计算其关于 $u_k$ 的偏导数：

1. 设 $E(\vec{u}, \vec{C})$ 关于 $u_k$ 的偏导数为：

   $$
   \frac{\delta E}{\delta u_k} = O_k
   $$

2. 对于熵项：

   $$
   \frac{\delta (-H)}{\delta u_k} = \ln u_k + 1
   $$

3. 结合上述结果，求解极值条件：

   $$
   O_k - \varepsilon (\ln u_k + 1) = 0
   $$

4. 化简得：

   $$
   u_k = \exp\left(-\frac{O_k}{\varepsilon} - 1\right)
   $$

这表明更新 $u_k$ 时，其值受 $\varepsilon$ 控制，较大的 $\varepsilon$ 使得 $u_k$ 更加平滑，有助于软聚类。

---

拉格朗日函数与 Softmax 分析

拉格朗日函数

定义拉格朗日函数：

$$
\mathcal{L}(\vec{u}, \lambda)
= E(\vec{u}, \vec{c})
-\varepsilon H(\vec{u})+\sum_{x \in \Omega} \lambda(x)
\Bigl(
\sum_{k=1}^{K} u_k(x)-1
\Bigr)
$$

其中：

• $H(\vec{u})$ 是熵项；
• $\lambda(x)$ 为拉格朗日乘子，用于保证 $\sum_{k=1}^{K} u_k(x)=1$。

软分类 (Softmin / Softmax) 的推导

对 $\mathcal{L}(\vec{u}, \lambda)$ 关于 $u_k$ 取偏导为 0，可得到：

$$
\ln u_k(x)= -\frac{O_k(x) +\lambda(x)}{\varepsilon}
$$

其中 $O_k$ 是某类损失（例如 $(f(x)-C_k)^2$ ）或能量。

结合约束 $\sum_{k=1}^K u_k(x)=1$，可得Softmin形式：

$$
u_k^{t+1}(x)= \frac{\exp\Bigl(\dfrac{-O_k(x)}{\varepsilon}\Bigr)}{\sum_{j=1}^{K} \exp\Bigl(\dfrac{-O_j(x)}{\varepsilon}\Bigr)}
$$

也可写成softmax形式：

$$ \text{Softmax}_{\varepsilon}(-\vec{O}) = \left[\text{Softmin}_{\varepsilon}(\vec{O})\right]_k $$

---

极限问题与分母拆分

k-means 硬分类更新公式

当不考虑熵正则化时，k-means 的硬分类可写为：

$$
u_k^{t+1}(x) =
\begin{cases}
1, & \text{if } k = \arg \min_{k \in {1, \dots, K}} O_k, \
0, & \text{otherwise}.
\end{cases}
$$

Softmin 的极限

考虑

$$ \lim_{\varepsilon \to 0^+} \frac{\exp\bigl(-O_k(x)/\varepsilon\bigr)}{\sum_{j=1}^K \exp\bigl(-O_j(x)/\varepsilon\bigr)} =\lim_{\varepsilon \to 0^+}\frac{\exp\bigl(-O_k(x)+m(x)/\varepsilon\bigr)}{\sum_{j\in M} \exp\bigl(-O_j(x)+m(x)/\varepsilon\bigr)+\sum_{j\notin M} \exp\bigl(-O_j(x)+m(x)/\varepsilon\bigr)} $$

令 $m = \min \bigl\{ O_1(x), O_2(x), \dots, O_K(x) \bigr\}, \quad M = \arg\min_{k \in \bigl\{ 1, \dots, K \bigr\}} O_k(x)$。
当 $\varepsilon \to 0^+$，对于属于最优集 $M$ 的索引 $k$，$\exp(-O_k/\varepsilon)$ 主导；而不是最优集的 $\exp(-O_k/\varepsilon)$ 迅速衰减为 0。因此极限结果为：

$$ \lim_{\varepsilon \to 0^+} \text{Softmin}_{\varepsilon}(\vec{O}) = \begin{cases} 1, & \text{if } k \in M \\ 0, & \text{if } k \notin M \end{cases} \quad \text{where } M = \left\{ k \mid O_k = \min_j O_j \right\} $$

这与 k-means 硬分类（一次只属于距离最近的簇）相一致。
称 $\min_{\vec{u}\in U，\vec{C}}\Bigl[E(\vec{u}, \vec{C})-\varepsilon H(u)\Bigr]$ 为softmin/softmax的分类的变分优化问题

k-means 的光滑化与 Softmax 溢出问题

k-means 的光滑化

通过在 k-means 能量函数中加入熵项并令 $\varepsilon>0$，可以将硬分类变为软分类，使其输出变得连续可导。

• 当 $\varepsilon \to 0$，Softmin 退化为 k-means 硬分类；
• 当 $\varepsilon$ 较大时，软分类更加显著。

Softmax 的数值溢出问题

Softmax 标准形式：

$$ \text{Softmax}\bigl(\vec{O}\bigr)_k = \frac{e^{O_k}}{\sum_{j=1}^K e^{O_j}}. $$

若 $O_k$ 值过大，$e^{O_k}$ 可能数值溢出。

解决方案：数值稳定化
取 $\displaystyle M = \max\{O_1, O_2, \dots, O_K\}$ ，将所有项减去 $M$：

$$ \text{Softmax}(\vec{O})_k = \frac{e^{O_k - M}}{\sum_{j=1}^K e^{O_j - M}} $$

这样可防止溢出，保持结果不变。

---

泛函分析与方向导数

泛函与方向导数基本概念

在更高层次，令

$$ J: \mathcal{F} \to \mathbb{R} $$

是作用于函数空间 $\mathcal{F}$ 的一个泛函（functional）。对于 $u(x)$ 的变化，可以定义方向导数：

$$ \lim_{h \to 0} \frac{J\bigl(x + hv\bigr) - J(x)}{h} = \left. \frac{d}{dh} J\bigl(x + hv\bigr) \right|_{h=0} $$

方向导数与梯度存在对应关系：若把 $\nabla J=(\tfrac{\delta J}{\delta x_1}，\tfrac{\delta J}{\delta x_2} \cdot \cdot \cdot \tfrac{\delta J}{\delta x_n})$ 类比于有限维中的梯度，则方向导数可理解为梯度在 $v$ 方向的投影。

---

方向导数与梯度的关系

对 $J(U_k)$ 做微分：

$$ \langle \tfrac{\delta J}{\delta U_k}, V_k \rangle = \left. \tfrac{d}{dh} J\bigl(U_k + hV_k\bigr) \right|_{h=0}. $$

例如，若

$$ J(U_k) = \sum_{x\in \Omega} O_k(x)\ln U_k(x), $$

则

$$ J(U_k + hV_k) = \sum_{x\in \Omega} O_k(x)\ln\bigl(U_k(x) + hV_k(x)\bigr) $$

对其在 $h=0$ 处求导，可得到对应的偏导，从而确定梯度形式。

---

九、总结与要点

1. K-Means 算法

   • 能量函数：数据点到簇中心的平方误差和；
   • 经典迭代：硬分类与均值更新交替进行。

2. K-Means 的变分扩展

   • 通过引入熵（软分类），可得到 Softmin / Softmax 形式；
   • 当正则系数 $\varepsilon \to 0$ 时，又可退化到原始硬划分结果。

3. 熵不等式与数值稳定

   • 熵提供了在聚类中的分布约束；
   • Softmax 需用数值移位避免溢出。

4. 泛函与方向导数

   • 在更高阶场景中，可将 K-Means 问题放到泛函分析框架下；
   • 方向导数、梯度概念可帮助理解对函数空间的优化。

I am honored to be the co-first author of this paper, and my main contrbution are data extraction and visualization.
Based on the 2019-2024 scoping review of 95 peer-reviewed articles, this study mapped the landscape of large language models (LLMs) applications in mental health across three key domains. The analysis revealed that LLMs are predominantly utilized for screening and detection of mental disorders (71%), with particular emphasis on depression detection (35%) and suicide risk prediction (13%). Additionally, LLMs demonstrate significant potential in supporting clinical treatments (33%) and facilitating mental health counseling and education (12%). Comparative assessments indicate that LLMs exhibit superior capabilities in information processing and natural language response generation relative to traditional non-transformer models and human performance in specific contexts. The research identified distinct advantages among different LLM architectures for various mental health applications, highlighting their promising role in addressing critical challenges in global mental healthcare, including detection efficiency, treatment effectiveness, privacy protection, and access to specialized care. These findings provide essential scientific evidence for the development and implementation of LLM-enhanced mental health interventions, which may significantly improve early detection rates and expand access to mental healthcare resources.

PDF file

引言

Word2Vec Embedding 技术

Word2Vec 是一种用于将单词映射到向量空间的技术，通过训练语料库来学习单词的语义关系。核心思想是将单词转换为一个高维向量，使得语义相近的单词在向量空间中距离较近。

Word2Vec 过程

1. 输入文本（例如：”我”、”是”、”中国”、”人民”）
2. 嵌入层（Embedding）：将单词转换为向量表示
3. 训练：使用 Skip-gram 或 CBOW 模型进行训练
4. 输出向量：得到语义空间中的词向量表示

在黑板上的示例中，展示了单词如何通过 Word2Vec 进行向量化，并且最终映射到一个 n 维向量空间中。

---

K-Means 聚类算法

K-Means 是一种常见的无监督学习算法，主要用于数据聚类。其基本思想是：

1. 给定样本集合 $S$，包含样本 $S_1, S_2, \dots, S_k$。
2. 设定 $k$ 个聚类中心 $C_1, C_2, \dots, C_k$。
3. 将样本 $f$ 分配给最近的聚类中心 $C_k$。

数学定义

定义样本 $f$ 归属于最接近的簇：

$$
U_k^* =
\begin{cases}
1, & f \in S_k \
0, & \text{otherwise}
\end{cases}
$$

其中，样本 $f$ 的归属取决于其与聚类中心 $C_k$ 的欧式距离：

$$
| f - C_k |^2
$$

因此，每个样本都会归属于离它最近的簇。

K-Means 迭代步骤

1. 随机初始化 $k$ 个聚类中心 $C_1, C_2, \dots, C_k$。
2. 计算每个样本到聚类中心的距离，并将其分配到最近的簇。
3. 更新聚类中心，使其成为簇中所有样本的平均值。
4. 重复步骤 2 和 3，直到聚类中心不再发生变化或达到迭代次数上限。

---

总结

• Word2Vec 将单词映射到向量空间，使语义相似的单词在向量空间中更接近。
• K-Means 通过反复迭代，将数据点划分到不同的簇中进行聚类分析。

这两者结合在自然语言处理 (NLP) 中可用于 文本分类、聚类分析 等任务。例如，先用 Word2Vec 将文本转换为向量，然后使用 K-Means 进行文本聚类。

kmeans算法的定义

独热编码（One-Hot Encoding）

在 K-Means 聚类算法中，我们使用独热编码（One-Hot Encoding）来表示样本所属的类别：

• 若样本 $f$ 属于第 $k$ 个簇，则其独热编码表示为

  $$
  \mathbf{U}^* = (0, 0, \dots, 1, \dots, 0)
  $$

  其中只有第 $k$ 维的值为 1，其余维度为 0。

• 例如：

  • 若 $f \in S_1$：
    $$
    \mathbf{U}^* = (1, 0, 0, \dots, 0)
    $$
  • 若 $f \in S_k$：
    $$
    \mathbf{U}^* = (0, 0, \dots, 1, \dots, 0)
    $$

---

K-Means 目标函数

在 K-Means 算法中，我们的目标是最小化样本点到其分配的聚类中心的距离平方和：

$$
\mathbf{U}^* = \arg\min_{\mathbf{U} \in \mathcal{U}} \sum_{k=1}^{K}U_k (f - C_k)^2
$$

其中：

• $\mathcal{U}$ 是所有可能的独热编码集合：

$$\mathcal{U} = \left\{ \mathbf{u} = (U_1, U_2, \dots, U_K) \,\middle|\, \sum_{k=1}^{K} U_k = 1, \quad 0 \leq U_k \leq 1 \right\}$$

表示每个样本点只能属于一个簇。

---

定理及其证明

定理（Thm）

对于任意样本 $f$ 和聚类中心 $C_1, C_2, \dots, C_K$，定义：

$$ U_k^* = \begin{cases} 1, & k = \arg\min\limits_{R=1,2,\dots,K} (f - C_R)^2 \\ 0, & \text{else} \end{cases} $$

即，样本 $f$ 应该被分配到使得 $(f - C_k)^2$（最小值唯一） 最小的簇 $C_k$。

证明（Proof）

1. 定义

   $$
   m = \min_{k \in {1,2,\dots,K}} {(f - C_k)^2}
   $$

   由于 $U_k$ 是独热编码，所有可能的 $U_k$ 满足

   $$
   \sum_{k=1}^{K} U_k = 1
   $$

2. 目标函数展开：

   $$
   \sum_{k=1}^{K} U_k (f - C_k)^2 \geq\ \sum_{k=1}^{K} U_k \cdot m
   $$

   由于 $\sum_{k=1}^{K} U_k = 1,$ 代入可得：

   $$
   \sum_{k=1}^{K} U_k (f - C_k)^2 \geq m
   $$

3. 取 $U_k^*$ 使得 $k$ 取最小距离的索引，则：

   $$
   \sum_{k=1}^{K} U_k^* (f - C_k)^2 = m.
   $$

   这说明只有当 $U_k^$ 取最优独热编码时，目标函数才能取到最小值 $m$ ，从而证明了 $U_k^$ 具有唯一最优解。

---

结论

• 独热编码 用于表示样本所属的类别，每个样本只能属于一个簇。
• 目标函数 通过最小化样本到其最近聚类中心的距离平方和，确定最优分类。
• 定理证明 说明了最佳分配方案是将样本分配到使得 $(f - C_k)^2$ 最小的簇。

这一定理是 K-Means 算法的核心之一，保证了算法在每一步迭代中都能使目标函数收敛到一个局部最优解。

–

连续情况下的 K-Means 聚类定义

在离散情况下，我们用有限个样本点 $f$ 进行聚类，而在连续情况下，需要对整个定义域 $\Omega$ 进行考虑。

目标函数扩展到连续情况

• 设函数 $f: \Omega \to \mathbb{R}$，其中 $\Omega$ 是定义域，$f(x)$ 是定义在 $\Omega$ 上的连续函数。

• 目标是在整个 $\Omega$ 上最小化聚类误差：

  $$
  \min_{\mathbf{U}(x) \in \mathcal{U}} \sum_{x \in \Omega} \sum_{k=1}^{K} U_k(x) (f(x) - C_k)^2
  $$

  其中：

  • $C_1, C_2, \dots, C_K$ 为 $K$ 个聚类中心。
  • $U_k(x)$ 表示位置 $x$ 归属于第 $k$ 个聚类中心的程度。

---

约束条件

为了保证每个点 $x$ 仅归属于一个聚类簇，引入约束：

$$ \mathcal{U} = \left\{ \mathbf{U}(x) = (U_1(x), U_2(x), \dots, U_K(x)) \,\middle|\, \sum_{k=1}^{K} U_k(x) = 1, \quad 0 \leq U_k(x) \leq 1, \quad \forall x \in \Omega \right\} $$

这意味着：

• 每个 $x$ 只能属于一个簇（即某个 $U_k(x)$ 取 1，其余取 0）。
• $U_k(x)$ 的取值范围在 $[0,1]$ 之间。

---

直观解释

从黑板上的示意图可以看出：

• $x \in \Omega$ 表示数据点在连续空间中的分布。
• $f(x)$ 代表数据点的特征值。
• 目标是将这些数据点划分到不同的簇 $C_1, C_2, \dots, C_K$ 中，使得同一簇中的点具有较小的方差。

---

结论

• 在连续情况下，K-Means 的目标函数和约束条件从离散样本点扩展到了整个定义域 $\Omega$。
• 目标仍然是最小化数据点到聚类中心的平方误差。
• 约束条件确保每个点 $x$ 只能归属于一个簇。
• 这种扩展形式在实际应用中可用于处理连续空间中的数据，如图像分割或概率密度估计。

---

K-Means 迭代优化过程

K-Means 算法的目标是最小化聚类误差 $E(\mathbf{U}, \mathbf{C})$，即样本点到其聚类中心的平方误差和。它采用 迭代优化 的方式，在每次迭代中交替更新 簇分配 和 聚类中心，直到收敛。

定义

• 聚类中心向量：

  $$
  \mathbf{C} = (C_1, C_2, \dots, C_K)^T.
  $$

• K-Means 的优化目标：

  $$
  \min_{\mathbf{U} \in \mathcal{U}, \mathbf{C}} E(\mathbf{U}, \mathbf{C}).
  $$

Step 1：更新簇分配 $\mathbf{U}$

$$
\mathbf{U}^{t+1} = \arg\min_{\mathbf{U} \in \mathcal{U}} E(\mathbf{U}, \mathbf{C}^t).
$$

其中，$U_k^{t+1}(x)$ 按照最近邻准则更新：

$$ U_k^{t+1}(x) = \begin{cases} 1, & k = \arg\min\limits_{\,k' \in \{1,2,\dots,K\}} \bigl(f(x) - C_{k'}^t\bigr)^2 \\ 0, & \text{otherwise} \end{cases} $$

即，将样本 $x$ 归到当前最近的聚类中心 $C_k^t$。

Step 2：更新聚类中心 $\mathbf{C}$

$$
\mathbf{C}^{t+1} = \arg\min_{\mathbf{C}} E(\mathbf{U}^{t+1}, \mathbf{C}).
$$

聚类中心的更新公式：

$$
C_k = \frac{\sum\limits_{x \in \Omega} U_k^{t+1}(x) , f(x)}{|\Omega_k|},
$$

其中：

• $\Omega_k$ 是当前属于第 $k$ 个簇的所有样本点集合。
• 上式表示：新的聚类中心是该簇内所有样本的加权平均值。
• 也可以把$\Omega_k$替换成$\sum_{x \in \Omega} U_k^{t+1} (x) := \Omega^{t+1}_{k}$

总结

• Step 1：更新簇分配，使得每个点归属于与其最近的聚类中心。
• Step 2：更新聚类中心，使其为簇内所有点的均值。
• 这两步交替进行，直到聚类中心不再变化，算法收敛。

---

目标函数关于聚类中心的推导

以下演示 Step 2（更新聚类中心）中，如何对目标函数关于聚类中心 $C_k$ 求导并得到更新公式。为简化，只对离散情形展示，连续情形可将求和替换为积分，思路相同。

目标函数拆分

K-Means 的目标函数（离散情形）：

$$
E(\mathbf{U}, \mathbf{C})
= \sum_{k=1}^{K} \sum_{x \in \Omega} U_k(x)\bigl(f(x) - C_k\bigr)^2
$$

我们先单独关注属于簇 $k$ 的部分：

$$
E_k(\mathbf{U}, C_k)
= \sum_{x \in \Omega} U_k(x)\bigl(f(x) - C_k\bigr)^2
$$

在更新 $C_k$ 时，$U_k(x)$ 固定，只需对 $C_k$ 进行最优化。

对 $C_k$ 求偏导

令

$$
E_k(\mathbf{U}, C_k)
= \sum_{x \in \Omega} U_k(x)\bigl(f(x) - C_k\bigr)^2
$$

对 $C_k$ 求导并令其为 0：

$$
\frac{\partial}{\partial C_k} E_k(\mathbf{U}, C_k)
= \sum_{x \in \Omega} 2 U_k(x) \bigl(C_k - f(x)\bigr).
$$

令其为 0，可得：

$$
\sum_{x \in \Omega} U_k(x)\bigl(C_k - f(x)\bigr) = 0
$$

解方程，得到更新公式

整理可得：

$$
C_k \sum_{x \in \Omega} U_k(x)
= \sum_{x \in \Omega} U_k(x)f(x)
$$

若分母不为 0（该簇有样本），则

$$
C_k = \frac{\sum\limits_{x \in \Omega} U_k(x) f(x)}{\sum\limits_{x \in \Omega} U_k(x)}
$$

这就是 K-Means 中聚类中心的更新公式。在常见的离散数据立场下，上式意味着“该簇内所有样本特征的加权平均值”，权值由 $U_k(x)$ 决定。
若 $U_k(x)$ 只取 0 或 1（硬划分），则退化为简单的算术平均。

注：

• 在连续情况下，将“求和”换为对 $\Omega$ 的积分即可：

  $$C_k = \frac{\int_{\Omega} U_k(x)f(x)\mathrm{d}x}{\int_{\Omega} U_k(x)\mathrm{d}x}$$

• 当 $U_k(x)$ 只取 0 或 1，即标准 K-Means，公式变为簇内样本的算术平均。

---

K-Means 能量单调下降（不增）性

以下笔记基于课堂板书，展示 K-Means 迭代过程中目标函数（也称“能量”或“误差”）如何在每一步都单调下降（或不增），从而收敛到局部最优解。

引理 / 定理描述

定理：
由 K-Means 算法产生的迭代序列 $(\mathbf{u}^{(t)}, \mathbf{c}^{(t)})$ 满足

$$
E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}^{(t+1)}\bigr)
\le
E\bigl(\mathbf{u}^{(t)}, \mathbf{c}^{(t)}\bigr),
$$

即每次迭代更新后，目标函数 $E(\cdot)$ 不会增大，从而保证了算法的单调收敛性。

目标函数回顾

离散情形下的 K-Means 目标函数：

$$
E\bigl(\mathbf{u}, \mathbf{c}\bigr)
= \sum_{k=1}^{K} \sum_{x \in \Omega}
U_k(x)\bigl(f(x) - C_k\bigr)^2
$$

迭代过程（两步更新）

• Step 1：更新 $\mathbf{u}^{(t+1)}$
  固定 $\mathbf{c}^{(t)}$，令

  $$
  \mathbf{u}^{(t+1)}
  = \arg\min_{\mathbf{u} \in \mathcal{U}}
  E\bigl(\mathbf{u}, \mathbf{c}^{(t)}\bigr)
  $$

  由于独热编码的性质，每个样本 $x$ 归于距离最近的中心 $C_k^{(t)}$。
  这样得到

  $$
  E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}^{(t)}\bigr)
  \le
  E\bigl(\mathbf{u}^{(t)}, \mathbf{c}^{(t)}\bigr)
  $$

• Step 2：更新 $\mathbf{c}^{(t+1)}$
  固定 $\mathbf{u}^{(t+1)}$，令

  $$
  \mathbf{c}^{(t+1)}
  = \arg\min_{\mathbf{c}}
  E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}\bigr).
  $$

  对每个 $C_k$ 求导并令其为 0，得到聚类中心是该簇内样本的加权平均。于是

  $$
  E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}^{(t+1)}\bigr)
  \le
  E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}^{(t)}\bigr)
  $$

能量严格下降的证明思路

上两步结合，可得：

$$
E\bigl(\mathbf{u}^{(t+1)}, \mathbf{c}^{(t+1)}\bigr)
\le
E\bigl(\mathbf{u}^{(t)}, \mathbf{c}^{(t)}\bigr)
$$

这说明每一轮迭代后，目标函数都会朝着不增的方向变化，从而收敛到某个局部最优或鞍点。

结论

• K-Means 通过交替最小化簇分配 $\mathbf{u}$ 和聚类中心 $\mathbf{c}$，使目标函数在每次迭代中不增。
• 因此，算法单调地收敛到一个局部最优解（或鞍点）。

这便是 K-Means 能量单调下降 的主要证明思路，也是该算法能保证在有限步内收敛的关键原因。

I am honored to be the co-first author of this paper, and my main for data processing, data analysis, visualization, and paper writing.
Based on the 2016-2020 China Family Tracking Survey (CFPS) data, the study analyzed 1,772 adolescents and their parents over a four-year period, and for the first time systematically revealed the bidirectional mechanism of family conflict and adolescent depressive symptoms and the intergenerational transmission pathway. The study found that: （1） family conflict significantly exacerbates adolescent depression, and adolescent depression will in turn aggravate family conflict, forming a vicious cycle; （2） mothers’ depression has a particularly prominent impact on adolescent mental health, and adolescent depression may further trigger fathers’ depression; （3） mothers’ education level is an important protective factor against adolescent depression, and mothers with high levels of education can significantly reduce the risk of their children’s depression. risk. These findings provide key scientific support for the development of family-centered mental health intervention strategies, which are important for breaking the intergenerational transmission of depression and improving family functioning.

PDF file

第一次有课程拿100分，留档记录一下课程论文，内容主要和确定性理论比较相关，以及对极端怀疑论的反驳。

PDF file