Linear Algebra
本篇博客记录线性代数相关的学习。
到现在,感觉世界的本质就是物理,物理学真是永远的白月光。而数学是将世界进行抽象化表示的工具,本科对于线代的学习还是囫囵吞枣了,所以打算集合多个收罗到的资料重新过一遍,加深对线代几何意义的理解。
Reference materials include:
1 向量
什么是向量?
- (物理学)向量是空间中的箭头,关键在于箭头的长度和方向
- (计算机)向量是有序的数字列表
- (数学)向量可以是任何东西,只需要保证两个向量相加以及数字与向量相乘是有意义的即可
原点可以看做空间的中心和所有向量的起点。向量的两个基础运算分别是向量加法和向量数乘。线性代数为数据分析提供了一条将大量数据列表概念化、可视化的渠道,,它让数据样式变得非常明晰,并让你大致了解特定运算的意义;另一方面线性代数可以是一种通过计算机能处理的数字来描述并操作空间的语言。
2 线性组合、跨度和基向量
xy坐标有两个非常特殊的向量:
- 一个指向正右方,长度为1,通常被称为
i帽
或者x方向的单位向量 - 一个指向正上方,长度为1,通常被称为
j帽
或者y方向的单位向量 - i帽和j帽合起来被称为坐标系的基
两个数乘向量的和被称为这两个向量的线性组合。如果固定其中一个标量,而让另一个标量自由变化,所产生的向量的终点会描出一条直线(这就是“线性的”的由来)。而两个向量张成的空间是指仅通过向量加法与向量数乘这两种基础运算所能获得的集合。
Vectors vs. Points
我们通常用向量的终点代表该向量,他的起点位于原点。
当你有多个向量,并且可以移除其中一个而不减小向量张成的空间大小,我们称它们线性相关。另一种表述是说,其中一个向量可以表示为其他向量的线性组合,因为这个向量已经落在其它向量张成的空间之中。另一方面,如果所有向量都给张成的空间增添了新的维度,他们被称为线性无关的。
The basis of a vector space is a set of linearly independent vectors that span the full space
3 矩阵与空间变换
我们称满足以下的变换为线性变换(保持网格线平行且等距分布的变换):
- 直线在变换后仍保持为直线,没有弯曲
- 原点固定
线性变换是操作空间的一种手段。
4 矩阵乘法作为复合
矩阵代表的变换乘积应该从右往左读(首先应用右侧矩阵所描述的变换),这是因为它起源于函数的记号,因为我们总是将函数写在变量的左侧。所以对于复合函数而言,你总是从右往左读。
矩阵乘法具有结合性但不具有交换性。
5 三维线性变换
三维空间中得旋转可以分解为简单分立得旋转的复合。
6 行列式
二维空间中,一个线性变换的行列式的值,可以直观理解为把单位面积的正方形的面积放大多少倍。行列式的正负跟正方向有关。
在三维空间中,使用右手定则来表示基向量的定向:
- 食指指向i帽
- 中指指向j帽
- 大拇指指向k帽
det(M1M2)=det(M1)det(M2)
7 逆矩阵、列空间、秩和零空间
Ax = v
- A是线性表换的矩阵
- x与v是变换前后的向量
如果A的行列式不为0,那么A存在A逆(Inverse matrices),使得A逆乘以A等于一个“什么都不做”的矩阵(恒等变换)
如果A的行列式为0,那么这个方程组相关的变换将空间压缩到更低的维度上(因为变换后的单位面积正方形变成了点),此时没有逆变换,因为你不能把一条线解压缩为一个平面。当变换的结果为一条直线时,说明结果是一维的,我们称这个变换的秩(rank)为1。当变换的结果为一个平面时,结果是2维的,我们称这个变换的秩(rank)为2。
所以rank代表变换后空间的维数。
而不管是一条直线,一个平面还是一个三维空间等,所有可能的变换结果的集合都被称为矩阵的“列空间”(Column space)。矩阵的列会告诉你基向量变换后的位置,这些变换后的基向量张成的空间就是所有可能的变换结果。换句话说,列空间就是矩阵的列所张成的空间。所以更精确的rank的定义是:秩(Rank)表示列空间的维数。当rank达到最大值时,意味着rank与列数相等,我们称为满秩。
(!!!注意,零向量一定会被包含在列空间中,因为线性变换必须保持原点位置不变。)
对一个满秩变换来说,唯一能变换后落在原点的就是零向量自身。但对一个非满秩的矩阵来说,它往往会把空间压缩到一个更低的维度上,也就是说会有一系列向量在变换后成为零向量。落在原点的向量的集合被称为“零空间”(Null space)或“核”
8 非方矩阵作为维度之间的变换
非方矩阵(Nonsquare matrices)。用矩阵代表变换。比如变换的矩阵是3x2,三行两列,我们之前说过每一列表示基向量被变换后在当前空间的位置,有三行,意味着现在的空间是三维的,有两列,代表之前有两个基向量,所以3x2大小的变换矩阵它代表的是将二维空间隐射到三维空空间上。
9 点积和对偶性
点积与顺序无关。点积是理解投影的有力工具,并且方便检验两个向量的指向是否相同。
两个向量点乘,就是将其中一个向量转化为线性变换。比如,由第八节可知[1 -2]的一行2列的行向量可以看作是把二维平面压缩到1维数轴的线性变换,相当于原先的x-(1,0)和y-(0,1)现在变成了x-(1,0)和y-(-2,0)。因此对于一个[1 -2]的一行2列的行向量乘上一个2行一列的[4 3]的列向量。我们可以看作是二维坐标中原本x = 4
,j=3
的向量其基向量x和j分别被变换为x-(1,0)
和y-(-2,0)
,然后再统计倍数4和3,也就是1*4+(-2)*3 = -2
.
对偶性的思想在于:每当你看到一个多维空间到数轴的线性变换时,该线性变换都与那个空间中的唯一一个向量对应。也就是说向量点积可以与一个线性变换等价。数值上说,这是因为这类线性变换可以用一个只有一行的矩阵描述,而它的每一列给出了变换后基向量的位置,将这个矩阵与某个向量v相乘,在计算上与将矩阵转置得到的向量和v点乘的结果相同。因此每当你看到一个从空间到数轴的线性变换,你都能找到一个向量被称为这个变换的对偶向量(Daul vector),使得应用线性变换和与对偶向量点乘等价。
10 以线性变换的目光看叉积
叉乘跟顺序有关。叉乘的结果不是一个数,而是一个向量,这个向量的长度就是两个向量所围成的平行四边形的面积,该向量的方向与平行四边形垂直,符合右手定则。
11 叉乘与对偶性的关系
首先我们定义一个从三维空间到数轴的特定线性变换,并且它是根据向量v和w来定义的,然后当我们将这个变换与三维空间中的对偶向量关联时,这个对偶向量就会是v和w的叉积。
12 克莱默法则的几何解释
正交变换-Orthonormal:保留点积的变换,它是使所有基本向量彼此垂直并且仍然具有单位长度的向量,它们通常被看作旋转矩阵,对应刚性运动,没有拉伸、挤压或变形。
克莱默法则用于求解线性方程组的解。
13 基础变更
总的来说,当你看到这样的一个表达式:A逆乘以M乘以A,它暗示这是一种数学上的转移作用,中间的矩阵M代表一种你可见的变换,而外侧的两个矩阵代表视角上的转化,矩阵的乘积结果代表他人视角中的转化。
14 特征向量和特征值
特征向量的意义是针对向量V,存在变换A,使得V经过变换A之后仍然停留在V所张成的空间中,特征值表示压缩/拉伸的标量。
若基向量恰好是特征向量,则矩阵的对角元是它们所属的特征值。
15 计算特征值的快速技巧
设一个向量为[[a b],[c d]],它的特征值对应为λ1和λ2,则有:
- mean(λ1+λ2)=λ(a+d) => m
- λ1λ2 = ad-bc => p
- λ1, λ2 = m +/- √(m^2 - p)
16 抽象矢量空间
满足可加性和成比例这两个性质的变换是线性变换。只要你处理的对象集具有合理的数乘和相加的概念,不管是空间中的箭头、一组数、函数的集合还是你定义的其他奇怪东西的集合,线性代数中所有关于向量、线性变换和其他的概念都应该适用于它。而这些类似向量的事物,比如箭头、一组数、函数等,它们构成的集合被称为“向量空间”