切问录

Jordan Canonical Form is an important form of matrix, because not all matrices have the eigen decomposition. But it is guaranteed that all real matrices have Jordan canonical form decomposition.

This article gives an example to show that when a matrix cannot be diagonalized, it is still similar to some approximate diagonal form. We can construct varieties of approximate diagonal form, but the Jordan canonical form is the simplest.

We have

$$A=\begin{bmatrix} 4 &3 &-4\\ -1 &0 &2\\ 1 &1 &0 \end{bmatrix}$$

We solve the equation $AV=\lambda v$ to get the eigen value and the eigenvectors. We get:

$$\begin{aligned} &\lambda_1 = 2,\ \ v_1=(2, 0, 1)^T \\ &\lambda_2 = 1,\ \ v_2=(-1, 1, 0)^T \end{aligned}$$

The Goal of This Tutorial

EM (Expectation Maximization) algorithm is a widely used method when a model has hidden variables that cannot be observed from the dataset. In this tutorial, we focus on the outline and intuition of the EM algorithm. A Gaussian mixture model is studied as an example.

Gaussian Mixture Model

In the Gaussian mixture model, we assume that there are several generators which can generate samples from a Gaussian distribution. Each sample (denoted as $x^{(i)}=(x_1,x_2,...,x_d)$) of our data is sampled from one of the generators. We can only observe the position of each sample $x$ and we don’t know for each sample $x^{(i)}$, which generator $z^{(i)}$ generate it. Here, $z^{(i)}=\{1,2,..,k\}$ stand for the ID of each generator. For each generator $j$($j\in[1,k]$), it generates samples by a Gaussian distribution with parameter $\mu_j,\Sigma_j$. We use $\theta$ to denote all model parameters, $\theta=(\mu_1,\mu_2,...,\mu_k,\Sigma_1,\Sigma_2,...,\Sigma_k,\phi_1,\phi_2,...,\phi_k)$. Where $\phi_j$ is the probability of selecting $j$th generator and $\sum_{j=i}^k \phi_j=1$. The goal of Gaussian mixture model is to find a most suitable parameter $\theta$ to describe the data.

关于这个问题有两个思路，看起来都很有道理，然而却得出了截然不同的结论，我们先来看一下两种解法。

1. 主持人排除了一个门之后，还剩两个门，随便选哪个都是$\frac{1}{2}$；

2. 选手选择的那扇门的概率是$\frac{1}{3}$，而主持人手上的门打开后，那$\frac{1}{3}$的概率就跑到另一个门上了，所以另一个门的概率是$\frac{2}{3}$。

这两个思路看着都有道理，可是为什么会出现两个截然不同的答案呢？其实，问题出在题目里面，题目并没有说主持人是任意选择了一个门，还是只选择空门。玩了一个语言上的trick，把一个很重要的隐含假设一语带过，大家各自采用了自认为显然的隐含假设，便导致了两种不同的结果。我们先介绍一下贝叶斯公式，再用贝叶斯公式理解下这两种思路。

贝叶斯公式

贝叶斯公式是关于条件概率的公式，假设我们有两个事件$A$和$B$，我们可以根据$A$在$B$下发生概率去求得$B$在$A$下发生的概率。其公式表述为：

$$P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\overline{A})P(\overline{A})}$$

其中$\overline{A}$表示$A$不发生的概率。

拉格朗日方程导出

我们研究物体在保守系统中的运动情况。所谓保守系统，是指物体所受的力都是保守力。而保守力则是指物体在该力的作用下做功的大小与路径无关。
我们首先给出牛顿第二定律：

$$ma=F$$

以下的步骤皆是通过对牛顿第二定律的变形，来得出拉格朗日方程。我们先补充一个动量$p$、速度$v$和动能$T$的等式。我们有

$$\frac{\partial T}{\partial v}=\frac{\partial (\frac{1}{2}mv^2)}{\partial v}=mv=p$$

可以看出动能关于速度的导数是动量。而

$$\frac{dp}{dt}=\frac{mdv}{dt}=ma$$

我们把速度$v$记作$\dot{x}$，有：

$$ma=m\ddot{x}_i=\frac{d}{dt}\frac{\partial T}{\partial \dot{x}_i}$$

同时，我们来看势能$U$与力$F$的关系：

$$F=-\frac{\partial U}{\partial x}$$

带入牛顿第二定律有：

1
2
3
4
5
6
7
8
9
10

void print(int a){
    cout<<"in int print";
}
void print(double a){
    cout<<"in double print";
}
int main(){
    f(1);
    f(1.0);
}

in int f()
in double f()

可以看出，这里的选择方式是通过不同的参数类型实现的。那么问题来了，如果我们是写的模板，想根据模板的条件来选择实现该怎么办？（例如，对于我们定义的一些class做输入时，采用一种方式实现，而对于其他类型的话采用另一种方式）。这就需要用到enable_if

SFINAE原则与enable_if简介

C++模板函数重载依赖于 SFINAE (substitution-failure-is-not-an-error) 原则，即替换失败不认为是错误，而只是简单地pass掉。看下面一个例子：