博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
梯度下降
阅读量:6088 次
发布时间:2019-06-20

本文共 679 字,大约阅读时间需要 2 分钟。

 

根据泰勒展开式:

于是:

于是,我们可以通过迭代 x,不断减小 f(x)

import mathimport matplotlibimport numpy as npimport gluonbook as gbfrom mxnet import nd,autograd,init,gluondef gd(eta):    x = 10    resulte = [x]    for i in range(10):        x -= eta*2*x        resulte.append(x)    print(x)    return resulteres = gd(0.2)def show_trace(res):    n = max(abs(min(res)),abs(max(res)),10)    f_line = np.arange(-n,n,0.1)    gb.plt.plot(f_line,[x*x for x in f_line])    gb.plt.plot(res,[x*x for x in res],'-o')    gb.plt.xlabel('x')    gb.plt.ylabel('f(x)')show_trace(res)show_trace(gd(0.05))show_trace(gd(1.1))

参数太小,使得到达不了最优值,参数太大,那这个泰勒展开式不成立,f(x) 可能不会减小。

 

转载于:https://www.cnblogs.com/TreeDream/p/10057318.html

你可能感兴趣的文章
C#百万数据查询超时问题
查看>>
2016第10周五
查看>>
使用gson-1.6.jar解析json
查看>>
AC Milan VS Juventus(模拟)
查看>>
CentOS两台服务器利用scp拷贝文件
查看>>
SQL DatePart函数使用
查看>>
asp.net页面后退,重复弹出上一页对话框处理办法
查看>>
docker 学习
查看>>
python twilio 短信群发 知识留存
查看>>
爆款小程序是如何诞生的?
查看>>
C#中结构体与类的区别
查看>>
phpstorm配置php脚本执行
查看>>
2018 .NET开发者调查报告: .NET Core 是怎么样的状态
查看>>
Spring Boot Cache配置 序列化成JSON字符串
查看>>
mysql group by using filesort优化
查看>>
自定义cnblogs样式小结
查看>>
AM335x移植linux内核_转
查看>>
Nginx 介绍
查看>>
Bat相关的项目应用
查看>>
NativeClient开发指南
查看>>