机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12

Day11 when gradient is small……

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411202524518,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第1张$

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411165229093,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第2张$ $机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411170420173,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第3张$

怎么知道是局部小还是鞍点？

using Math

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411170714889,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第4张$ $机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411170827423,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第5张$ $机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411183651821,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第6张$

这里巧妙的说明了hessan矩阵可以决定一个二次函数的凹凸性也就是 θ \theta θ 是min 还是max，最后那个有些有些哈是一个saddle；

然后这里只要看hessan矩阵是不是正定的就好（详见线性代数）

example – using Hessan

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411184214162,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第7张$

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411185921423,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第8张$

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411190019750,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第9张$

奇怪这里为什么不是主对角线呀，难道两个都一样嘛晕死，得复习线代了

Dont afraid of saddle point(鞍点)

$机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411191229522,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第10张$

征向量 u 和对应的特征值 λ定义为满足下列关系的向量和标量：Hu=λu $机器学习和深度学习--李宏毅（笔记与个人理解）Day11-12,image-20240411191607440,词库加载错误:未能找到文件“C:\Users\Administrator\Desktop\火车头9.8破解版\Configuration\Dict_Stopwords.txt”。,没有,效果,可能,第11张$