本帖最后由 树人 于 2019-11-5 00:20 编辑
2006年，hinton提出了在非监督数据上建立多层神经网络的一个有效方法，简单的说，分为两步，一是每次训练一层网络，
二是调优使原始表示x向上生成的高级表示r和该高级表示r向下生成的x'尽可能一致。方法是
1，首先逐层构建单层神经元，这样每次都是训练一个单层网络。
2，当所有层训练完后，hinton使用wake-sleep算法进行调优。将除最顶层的其它层间的权重变为双向的，这样最顶层仍然是一个单层神经网络，
而其它层则变为了图模型。向上的权重用于”认知“，向下的权重用于”生成“。
然后使用Wake-Sleep算法调整所有的权重。让认知和生成达成一致，也就是保证生成的最顶层表示能够尽可能正确的复原底层的结点。
比如顶层的一个结点表示人脸，那么所有人脸的图像应该**这个结点，并且这个结果向下生成的图像应该能够表现为一个大概的人脸图像。
Wake-Sleep算法分为醒(wake)和睡(sleep)两个部分。
2.1，wake阶段，认知过程，通过外界的特征和向上的权重（认知权重）产生每一层的抽象表示（结点状态），
并且使用梯度下降修改层间的下行权重（生成权重）。也就是“如果现实跟我想像的不一样，改变我的权重使得我想像的东西就是这样的“。
2.2，sleep阶段，生成过程，通过顶层表示（醒时学得的概念）和向下权重，生成底层的状态，同时修改层间向上的权重。
也就是“如果梦中的景象不是我脑中的相应概念，改变我的认知权重使得这种景象在我看来就是这个概念“。
由于自动编码器（auto-encoder，即上面说的神经网络。广义上的自动编码器指所有的从低级表示得到高级表示，
并能从高级表示生成低级表示的近似的结构，狭义上指的是其中的一种，谷歌的人脸识别用的）有联想功能，
也就是缺失部分输入也能得到正确的编码，所以上面说的算法也可以用于有监督学习，训练时y做为顶层网络输入的补充，应用时顶层网络生成y'。
├─(Part One)深度学习基础
│ ├─课件
│ │ ├─1.2 深度学习(Deep Learning)介绍_files
│ │ │ ├─1-BOngaxvWRFHm3O2yo3YPhA.jpeg(68.53K)
│ │ │ ├─1-RbQSv8m3SjBsWBniYdgwQQ.jpeg(95.00K)
│ │ │ ├─1-sIKCN5ddB0BP55WxlYqtYg.jpeg(66.24K)
│ │ │ ├─DeepNetwork.png(184.18K)
│ │ │ ├─images [1].jpg(9.89K)
│ │ │ ├─images.jpg(8.77K)
│ │ │ ├─imgres [1].jpg(15.06K)
│ │ │ ├─imgres [2].jpg(11.74K)
│ │ │ ├─imgres [3].jpg(7.03K)
│ │ │ ├─imgres [4].jpg(11.71K)
│ │ │ ├─imgres [5].jpg(8.84K)
│ │ │ ├─imgres [6].jpg(11.08K)
│ │ │ ├─imgres.jpg(4.75K)
│ │ │ └─science-journal.gif(74.22K)
│ │ │
│ │ ├─3.1 决策树(decision tree)算法_files
│ │ │ ├─c2cec3fdfc0392456a6ac4258694a4c27d1e2538.jpg(65.54K)
│ │ │ ├─Image [1].png(19.98K)
│ │ │ ├─Image [2].png(3.12K)
│ │ │ ├─Image [3].png(744B)
│ │ │ ├─Image [4].png(19.98K)
│ │ │ ├─Image [5].png(4.68K)
│ │ │ ├─Image [6].png(8.17K)
│ │ │ ├─Image [7].png(4.74K)
│ │ │ ├─Image [8].png(23.02K)
│ │ │ └─Image.png(12.43K)
│ │ │
│ │ ├─3.2 决策树(decision tree)应用_files
│ │ │ └─Image.png(19.98K)
│ │ │
│ │ ├─4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法_files
│ │ │ ├─Image [1].png(8.53K)
│ │ │ ├─Image [2].png(617.22K)
│ │ │ ├─Image [3].png(136.52K)
│ │ │ ├─Image [4].png(248.12K)
│ │ │ ├─Image.png(12.40K)
│ │ │ ├─images.jpg(6.01K)
│ │ │ └─imgres.png(2.26K)
│ │ │
│ │ ├─4.2 最邻近规则分类(K-Nearest Neighbor)KNN算法应用_files
│ │ │ ├─kahi2.jpg(42.17K)
│ │ │ └─Virginia_Iris.png(65.62K)
│ │ │
│ │ ├─5.1 支持向量机(SVM)算法（上）_files
│ │ │ ├─220px-Svm_separating_hyperplanes_(SVG).svg.png(7.27K)
│ │ │ ├─Image [1].png(3.51K)
│ │ │ ├─Image [10].png(492B)
│ │ │ ├─Image [11].png(2.66K)
│ │ │ ├─Image [12].png(596B)
│ │ │ ├─Image [13].png(2.47K)
│ │ │ ├─Image [14].png(216.52K)
│ │ │ ├─Image [15].png(270.45K)
│ │ │ ├─Image [2].png(1.16K)
│ │ │ ├─Image [3].png(1.48K)
│ │ │ ├─Image [4].png(13.44K)
│ │ │ ├─Image [5].png(1.51K)
│ │ │ ├─Image [6].png(1.63K)
│ │ │ ├─Image [7].png(1.58K)
│ │ │ ├─Image [8].png(3.34K)
│ │ │ ├─Image [9].png(2.20K)
│ │ │ ├─Image.png(13.44K)
│ │ │ ├─images [1].jpg(5.60K)
│ │ │ └─images.jpg(4.71K)
│ │ │
│ │ ├─5.2 支持向量机(SVM)算法（下）_files
│ │ │ ├─Image [1].png(3.01K)
│ │ │ ├─Image [10].png(1.43K)
│ │ │ ├─Image [11].png(1.81K)
│ │ │ ├─Image [12].png(1.89K)
│ │ │ ├─Image [2].png(1.03K)
│ │ │ ├─Image [3].png(2.68K)
│ │ │ ├─Image [4].png(1.51K)
│ │ │ ├─Image [5].png(1.24K)
│ │ │ ├─Image [6].png(4.12K)
│ │ │ ├─Image [7].png(1.10K)
│ │ │ ├─Image [8].png(746B)
│ │ │ ├─Image [9].png(1.87K)
│ │ │ ├─Image.png(13.44K)
│ │ │ ├─main-qimg-b88037063b9a4cae241ee6b0ab841356.png(2.76K)
│ │ │ ├─main-qimg-de8f2ca9c807ee184e2509639fce066d.jpg(40.39K)
│ │ │ └─main-qimg-dff9507297a2320460ff4d9cd5825683.png(1.38K)
│ │ │
│ │ ├─6.1 神经网络算法(Nerual Networks)（上）_files
│ │ │ ├─cross_validation.jpg(56.20K)
│ │ │ ├─Image [1].png(11.94K)
│ │ │ ├─Image [10].png(1.64K)
│ │ │ ├─Image [11].png(1.94K)
│ │ │ ├─Image [12].png(2.01K)
│ │ │ ├─Image [13].png(1.93K)
│ │ │ ├─Image [14].png(21.37K)
│ │ │ ├─Image [2].png(1.36K)
│ │ │ ├─Image [3].png(11.80K)
│ │ │ ├─Image [4].png(945B)
│ │ │ ├─Image [5].png(1.64K)
│ │ │ ├─Image [6].png(1.94K)
│ │ │ ├─Image [7].png(2.01K)
│ │ │ ├─Image [8].png(1.93K)
│ │ │ ├─Image [9].png(31.46K)
│ │ │ └─Image.png(11.94K)
│ │ │
│ │ ├─6.2神经网络算法应用上
│ │ │ └─6.2神经网络算法应用上.mp4(95.96M)
│ │ │
│ │ ├─6.3神经网络算法应用下
│ │ │ └─6.3神经网络算法应用下.mp4(34.25M)
│ │ │
│ │ ├─7.1 简单线性回归 (Simple Linear Regression)上_files
│ │ │ ├─Image [1].png(3.13K)
│ │ │ ├─Image [2].png(1022B)
│ │ │ ├─Image [3].png(1.70K)
│ │ │ ├─Image [4].png(20.45K)
│ │ │ ├─Image [5].png(19.67K)
│ │ │ ├─Image [6].png(11.04K)
│ │ │ ├─Image [7].png(74.47K)
│ │ │ └─Image.png(2.41K)
│ │ │
│ │ ├─7.1 简单线性回归 (Simple Linear Regression)下_files
│ │ │ ├─Image [1].png(12.58K)
│ │ │ ├─Image [2].png(1.92K)
│ │ │ ├─Image [3].png(18.15K)
│ │ │ ├─Image [4].png(4.04K)
│ │ │ ├─Image [5].png(1.26K)
│ │ │ ├─Image [6].png(12.58K)
│ │ │ └─Image.png(18.15K)
│ │ │
│ │ ├─7.3 多元回归分析(multiple regression)_files
│ │ │ ├─Image [1].png(1.21K)
│ │ │ └─Image.png(74.47K)
│ │ │
│ │ ├─7.5 非线性回归 logistic regression_files
│ │ │ ├─001QAImHgy6I1oEKVWg50&690.jpg(14.90K)
│ │ │ ├─001QAImHgy6I1oGTmnA36&690.jpg(5.07K)
│ │ │ ├─001QAImHgy6I1ohlalO18&690.jpg(4.66K)
│ │ │ ├─001QAImHgy6I1oi9u8Kae&690.jpg(1.79K)
│ │ │ ├─001QAImHgy6I1ojfTjYaa&690.jpg(2.78K)
│ │ │ ├─001QAImHgy6I1oJm3Qz27&690.jpg(6.67K)
│ │ │ ├─001QAImHgy6I1ok9Brb61&690.jpg(12.78K)
│ │ │ ├─001QAImHgy6I1olbW3yfc&690.jpg(4.93K)
│ │ │ ├─001QAImHgy6I1omK5aoc8&690.jpg(3.97K)
│ │ │ ├─001QAImHgy6I1osqQ7lc7&690.jpg(3.73K)
│ │ │ ├─001QAImHgy6I1otAWE890&690.jpg(10.71K)
│ │ │ ├─001QAImHgy6I1oudixl13&690.jpg(4.48K)
│ │ │ ├─001QAImHgy6I1owps7Ud2&690.jpg(3.06K)
│ │ │ ├─8694e4193ba45b55403595096b7d23c5.png(1.12K)
│ │ │ ├─Image [1].png(50.50K)
│ │ │ ├─Image.png(27.80K)
│ │ │ ├─imgres [1].jpg(5.92K)
│ │ │ └─imgres.jpg(4.86K)
│ │ │
│ │ ├─7.7 回归中的相关度和R平方值_files
│ │ │ ├─cb8065380cd7912374922436af345982b2b78006.png(1.46K)
│ │ │ ├─Image.png(1.68K)
│ │ │ ├─imgf000045_0001.png(4.62K)
│ │ │ ├─imgres [1].jpg(4.56K)
│ │ │ ├─imgres [1].png(2.70K)
│ │ │ ├─imgres.jpg(4.14K)
│ │ │ └─imgres.png(5.09K)
│ │ │
│ │ ├─8.1 聚类(Clustering) K-means算法_files
│ │ │ ├─Image [1].png(3.38K)
│ │ │ ├─Image [10].png(8.26K)
│ │ │ ├─Image [11].png(3.99K)
│ │ │ ├─Image [12].png(1.70K)
│ │ │ ├─Image [13].png(14.15K)
│ │ │ ├─Image [2].png(7.11K)
│ │ │ ├─Image [3].png(3.56K)
│ │ │ ├─Image [4].png(1.77K)
│ │ │ ├─Image [5].png(1.38K)
│ │ │ ├─Image [6].png(7.68K)
│ │ │ ├─Image [7].png(3.79K)
│ │ │ ├─Image [8].png(1.70K)
│ │ │ ├─Image [9].png(2.07K)
│ │ │ ├─Image.png(13.41K)
│ │ │ ├─imgres [1].jpg(8.44K)
│ │ │ └─imgres.jpg(8.44K)
│ │ │
│ │ ├─8.3 聚类(Clustering) hierarchical clustering 层次聚类_files
│ │ │ └─810a19d8bc3eb1351e89fd05a41ea8d3fc1f44c5.png(4.47K)
│ │ │
│ │ ├─1.1 课程介绍 & 机器学习介绍.html(2.86K)
│ │ ├─1.2 深度学习(Deep Learning)介绍.html(9.06K)
│ │ ├─2 基本概念 (Basic Concepts).html(6.15K)
│ │ ├─3.1 决策树(decision tree)算法.html(9.00K)
│ │ ├─3.2 决策树(decision tree)应用.html(2.66K)
│ │ ├─4.1 最邻近规则分类(K-Nearest Neighbor)KNN算法.html(4.32K)
│ │ ├─4.2 最邻近规则分类(K-Nearest Neighbor)KNN算法应用.html(6.05K)
│ │ ├─5.1 支持向量机(SVM)算法（上）.html(11.63K)
│ │ ├─5.1 支持向量机(SVM)算法（上）应用.html(3.58K)
│ │ ├─5.2 支持向量机(SVM)算法（下）.html(10.92K)
│ │ ├─5.3 支持向量机(SVM)算法（下）应用.html(6.69K)
│ │ ├─6.1 神经网络算法(Nerual Networks)（上）.html(8.59K)
│ │ ├─6.2 神经网络算法(Nerual Networks)应用(上）.html(4.92K)
│ │ ├─6.3 神经网络算法(Nerual Networks)应用(下）.html(2.70K)
│ │ ├─7.1 简单线性回归 (Simple Linear Regression)上.html(13.11K)
│ │ ├─7.1 简单线性回归 (Simple Linear Regression)下.html(3.81K)
│ │ ├─7.3 多元回归分析(multiple regression).html(29.12K)
│ │ ├─7.4 多元回归分析(multiple regression)应用.html(17.44K)
│ │ ├─7.5 非线性回归 logistic regression.html(8.66K)
│ │ ├─7.6 非线性回归应用：losgistic regression application.html(2.30K)
│ │ ├─7.7 回归中的相关度和R平方值.html(5.43K)
│ │ ├─7.8 回归中的相关度和R平方值应用.html(1.46K)
│ │ ├─8.1 聚类(Clustering) K-means算法.html(5.89K)
│ │ ├─8.2 聚类(Clustering) K-means算法应用.html(4.99K)
│ │ ├─8.3 聚类(Clustering) hierarchical clustering 层次聚类.html(3.27K)
│ │ ├─8.4 聚类(Clustering) hierarchical clustering 层次聚类应用.html(6.53K)
│ │ ├─810a19d8bc3eb1351e89fd05a41ea8d3fc1f44c5.jpg(4.47K)
│ │ └─HierachecalClustering.png(9.03K)
│ │
│ ├─视频
│ │ ├─1.1课程介绍机器学习介绍上.mp4(50.56M)
│ │ ├─1.1课程介绍机器学习介绍下.mp4(9.95M)
│ │ ├─1.2深度学习介绍.mp4(52.68M)
│ │ ├─2基本概念.mp4(56.92M)
│ │ ├─3.1决策树算法.mp4(54.25M)
│ │ ├─3.2决策树应用.mp4(72.42M)
│ │ ├─4.1最邻近规则分类KNN算法.mp4(38.85M)
│ │ ├─4.2最邻近规则KNN分类应用.mp4(57.47M)
│ │ ├─5.1 支持向量机(SVM)算法（上）.html(11.63K)
│ │ ├─5.1 支持向量机(SVM)算法（上）应用.html(3.58K)
│ │ ├─5.1支持向量机SVM上.mp4(35.56M)
│ │ ├─5.1支持向量机SVM上应用.mp4(34.97M)
│ │ ├─6.2神经网络算法应用上.mp4(95.96M)
│ │ ├─6.3神经网络算法应用下.mp4(34.25M)
│ │ ├─7.1简单线性回归上.mp4(40.76M)
│ │ ├─7.2简单线性回归下.mp4(52.49M)
│ │ ├─7.3多元线性回归.mp4(42.22M)
│ │ ├─7.4多元线性回归应用.mp4(51.17M)
│ │ ├─7.5非线性回归 Logistic Regression.mp4(30.34M)
│ │ ├─7.6非线性回归应用.mp4(56.58M)
│ │ ├─7.7回归中的相关度和决定系数.mp4(38.05M)
│ │ ├─7.8回归中的相关性和R平方值应用.mp4(43.12M)
│ │ ├─8.1Kmeans算法.mp4(35.43M)
│ │ ├─8.2Kmeans应用.mp4(61.00M)
│ │ ├─8.3Hierarchical clustering 层次聚类.mp4(29.82M)
│ │ ├─8.4Hierarchical clustering 层次聚类应用.mp4(62.52M)
│ │ ├─神经网络NN算法.mp4(77.51M)
│ │ ├─支持向量机(SVM)算法(下)应用.mp4(55.15M)
│ │ ├─支持向量机(SVM)算法下.mp4(36.10M)
│ │ └─总结.mp4(55.39M)
│ │
│ └─代码与素材.rar(97.49M)
│
├─(Part Three)深度学习深入与强化
│ ├─第10课 更多框架
│ │ ├─5月班第10课_framework.pdf(22.02M)
│ │ └─第10课 更多框架.avi(429.37M)
│ │
│ ├─第1课 机器学习中数学基础
│ │ ├─第1课 机器学习中数学基础.avi(609.35M)
│ │ └─五月班第一次课件：机器学习中数学基础 (1).pdf(1.29M)
│ │
│ ├─第2课 高效计算基础与图像线性分类器
│ │ ├─5月班第2课课件：高效计算基础与图像线性分类器.pdf(32.88M)
│ │ ├─image linear classification.zip(163.57M)
│ │ ├─numpy_operations.ipynb(207.42K)
│ │ └─第2课 高效计算基础与图像线性分类器.avi(677.91M)
│ │
│ ├─第3课 梯度下降法与反向传播
│ │ ├─5月班第3课课件：梯度下降法与反向传播 (1).pdf(1.13M)
│ │ └─第3课 梯度下降法与反向传播.avi(438.73M)
│ │
│ ├─第4课 CNN与常用框架
│ │ ├─5月深度学习班第4课--CNN，典型网络结构与常用框架.pdf(6.97M)
│ │ └─第4课 CNN与常用框架.avi(650.80M)
│ │
│ ├─第5课 CNN训练注意事项与框架使用
│ │ ├─5月班第5次课 - caffe TensorFlow使用与CNN训练注意事项.pdf(17.48M)
│ │ └─第5课 CNN训练注意事项与框架使用.avi(743.32M)
│ │
│ ├─第6课 CNN推展案例
│ │ ├─5月班第6次课 - CNN扩展 图像识别与定位 物体检测 NeuralStyle.pdf(48.34M)
│ │ └─第6课 CNN推展案例.avi(662.57M)
│ │
│ ├─第7课 RNN介绍
│ │ ├─5月班第7课课件_rnn_intrduction.pdf(8.48M)
│ │ └─第7课 RNN介绍.avi(362.89M)
│ │
│ ├─第8课 RNN应用
│ │ ├─5月班第8课_rnn_appliacation.pdf(22.52M)
│ │ └─第8课 RNN应用.avi(531.08M)
│ │
│ └─第9课 更多的网络类型
│ │
│ ├─5月班第9次课课件_more_about_nn.pdf(4.18M)
│ └─第9课 更多的网络类型.avi(483.73M)
│
├─(Part Two)深度学习进阶
│ ├─课件
│ │ └─深度学习进阶课件.rar(3.27M)
│ │
│ └─视频
│ │
│ ├─第10章 神经网络手写数字演示.mp4(107.29M)
│ ├─第11章 Backpropagation算法上.mp4(65.96M)
│ ├─第12章 Backpropagation算法下.mp4(61.54M)
│ ├─第13章 Backpropagation算法实现.mp4(64.12M)
│ ├─第14章 cross-entropy函数.mp4(49.72M)
│ ├─第15章 Softmax和Overfitting.mp4(75.90M)
│ ├─第16章 Regulization.mp4(37.48M)
│ ├─第17章 Regulazition和Dropout.mp4(50.49M)
│ ├─第18章 正态分布和初始化(修正版).mp4(28.78M)
│ ├─第19章 提高版本的手写数字识别实现.mp4(72.83M)
│ ├─第1章 基本概念清晰版.mp4(42.58M)
│ ├─第20章 神经网络参数hyper-parameters选择.mp4(54.96M)
│ ├─第21章 深度神经网络中的难点.mp4(76.06M)
│ ├─第22章 用ReL解决VanishingGradient问题.mp4(37.01M)
│ ├─第23章 ConvolutionNerualNetwork算法.mp4(64.74M)
│ ├─第24章 ConvolutionNeuralNetwork实现上.mp4(51.73M)
│ ├─第25章 ConvolutionNeuralNetwork实现下.mp4(78.28M)
│ ├─第26章 Restricted Boltzmann Machine.mp4(63.15M)
│ ├─第27章 Restricted Boltzmann Machine下.mp4(49.49M)
│ ├─第28章 Deep Brief Network 和 Autoencoder.mp4(47.36M)
│ ├─第2章 软件包安装和环境配置总述.mp4(80.20M)
│ ├─第3章 环境配置分部详解.mp4(77.09M)
│ ├─第4章 环境配置分部详解下.mp4(111.05M)
│ ├─第5章 手写数字识别.mp4(46.17M)
│ ├─第6章 神经网络基本结构及梯度下降算法.mp4(82.79M)
│ ├─第7章 随机梯度下降算法.mp4(20.57M)
│ ├─第8章 梯度下降算法实现上.mp4(50.19M)
│ └─第9章 梯度下降算法实现下.mp4(69.03M)
│
├─本教程来自《途鸟吧知识分享论坛》用户分享.url(120B)
├─更多视频教程-途鸟吧知识论坛 www.tnbzs.com.url(120B)
├─课前必读.txt(1.32K)
├─免费下载10000G海量学习资源.url(120B)
└─上课笔记.url(120B)
游客，课程下载地址已隐藏，如果您要下载本课程请 回复任意内容，也可联系客服微信：tnbzs_com 或者QQ：1334634817直接购买课程
| 
/1 
发表于 2019-11-5 00:16:40
发表于 2019-11-5 13:51:14
