【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（15）：向量的内积、长度及正交性

目录

• ​​前言​​
• ​​往期文章​​
• ​​5.1 向量的内积、长度及正交性​​

• ​​定义1​​

• ​​内积​​
• ​​施瓦茨不等式​​

• ​​定义2​​

• ​​向量长度、单位向量​​
• ​​向量的夹角​​
• ​​正交​​

• ​​定理1​​
• ​​规范正交基​​
• ​​施密特正交化​​
• ​​正交阵​​
• ​​正交变换​​
• ​​举例​​

• ​​例1​​
• ​​例2​​
• ​​例3​​

• ​​结语​​

前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
机器学习小白阶段
文章仅作为自己的学习笔记 用于知识体系建立以及复习
知其然 知其所以然！

5.1 向量的内积、长度及正交性

定义1

内积

设有维向量

令

称为向量与的内积

---

内积是两个向量之间的一种运算，其结果是一个实数，用矩阵符号表示，当和都是列向量时，有

内积具有的性质：（为维向量，为实数）

• 
• 
• 
• 当时，；当时，

施瓦茨不等式

定义2

向量长度、单位向量

令

称为维向量的长度（或范数）

当时，称为单位向量

---

向量的长度具有的性质：

• 非负性： 当时，；当时，
• 齐次性：
• 三角不等式：

证明三角不等式：

借助进行变形

由施瓦茨不等式

得

从而

即

开平方得

Ps:

证明完成！

向量的夹角

由施瓦茨不等式

得

[x,y]可以为正，也可以为负，也可以为0

也可以写为

不等式两边同时除以，得

然后我们定义为维向量与的夹角，其中定义为：

正交

当时，称向量与正交。

其中当时，与任何向量都正交

定理1

若维向量是一组两两正交的非零向量，则线性无关

证明：

设有使

然后等式两边同时乘以（左乘）

一般情况是列向量
结果也是一个列向量
所以 左乘时应该乘以一个行向量

因为是一组两两正交的非零向量

所以与其他向量都正交

得

即

因为是非零向量

所以

故

同理可证

由左乘改为左乘就可以证明其他

综上

所以线性无关

证明完成！

规范正交基

设维向量是向量空间的一个基，如果两两正交，且都是单位向量，则称是的一个规范正交基

规范正交基需要符合三个条件

• 首先得是向量空间的一个基
• 基中向量两两正交
• 基中所有向量都是单位向量

---

若是的一个规范正交基，那么中任一向量都可以由线性表示，其表达式为：

假设我们需要求其中的一个

同定理1中的证明方式一样

还是等式的左右两边同时左乘

因为是的一个规范正交基

所以

除了外，其余都为0

得到

是单位向量，所以

即

Ps: 都是列向量，本质就是两个向量中对应元素两两相乘再累加，其实就是两个向量的内积
使用这个公式可以方便地求出向量的坐标
所以在给向量空间取基的时常常取规范正交基

施密特正交化

设是向量空间的一个基，若我们需要求的一个规范正交基，也就是要找一组两两正交的单位向量，使得与等价

从到称为对这个基进行规范正交化

施密特正交化则是实现对一个向量空间中的一个基转换为一个规范正交基

具体方法过程如下：

假设我们需要将进行规范正交化

令

两两正交

然后再对其分别单位化，得

就是中的一个规范正交基

正交阵

如果阶矩阵满足

那么称为正交矩阵，简称正交阵

---

说明

其中

也就是说

只有（），其余都为0

因为，得到为单位向量

说明
所以为单位向量

综上：方阵为正交阵的充分必要条件是的列向量都是单位向量，且两两正交

n阶正交阵A的n个列（行）向量构成向量空间的一个规范正交基

---

正交阵具有的一些性质：

• 若为正交阵，则也是正交阵，且
• 若和都是正交阵，则也是正交阵

正交变换

若为正交矩阵，则线性变换称为正交变换

---

设为正交变换，其中为正交矩阵

即

说明经过正交变换y的长度保持不变（正交变换的特性！）

举例

例1

已知3维向量空间中两个向量

正交，求一个非零向量，使得两两正交

解答：

设

方程的解其实就是

有


即与和正交

对进行初等行变换，得到行最简矩阵

得到

移项得

令

得到

所以可以取，满足题目要求

例2

设，试用施密特正交化过程把这组向量规范正交化

解答：

取

再对进行单位化

即为规范正交化后的向量组

例3

已知，求一组非零向量，使两两正交

解答：

设

对方程进行求解

得到

即

令

有

得到基础解系

此时

但是并不满足（因为要两两正交）

还需要再对进行规范正交化（使用施密特正交化进行转换）

取

综上：

答案并不惟一

结语

说明：

• 参考于 课本《线性代数》第五版 同济大学数学系编
• 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有所帮助，如有错误欢迎小伙伴指正～

我是 海轰ଘ(੭ˊᵕˋ)੭