diff --git a/README.en.md b/README.en.md new file mode 100644 index 0000000..c6bb659 --- /dev/null +++ b/README.en.md @@ -0,0 +1,1067 @@ +# DeepLearning Tutorial +## 一. 入门资料 + +[**完备的 AI 学习路线,最详细的中英文资源整理**](https://zhuanlan.zhihu.com/p/64052743) :star: + +[AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NL](https://github.com/apachecn/AiLearning) + +[Machine-Learning](https://github.com/shunliz/Machine-Learning) + +### 数学基础 + +![](notes/Images/MathematicalBasis.png) + +* [矩阵微积分](https://zh.wikipedia.org/wiki/%E7%9F%A9%E9%98%B5%E5%BE%AE%E7%A7%AF%E5%88%86) +* [机器学习的数学基础](https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math/0.basic) +* [CS229线性代数与概率论基础](https://github.com/fengdu78/Data-Science-Notes/tree/master/0.math/1.CS229) + +### 机器学习基础 + +#### 快速入门 +* [机器学习算法地图](http://www.tensorinfinity.com/paper_18.html) +* [机器学习 吴恩达 Coursera个人笔记](https://github.com/Mikoto10032/DeepLearning/blob/master/books/%5BML-Coursera%5D%5B2014%5D%5BAndrew%20Ng%5D/%5B2014%5D%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AA%E4%BA%BA%E7%AC%94%E8%AE%B0%E5%AE%8C%E6%95%B4%E7%89%88v5.1.pdf)  && [视频(含官方笔记)](https://www.coursera.org/learn/machine-learning)   +* [CS229 课程讲义中文翻译](https://kivy-cn.github.io/Stanford-CS-229-CN/#/) && [机器学习 吴恩达 cs229个人笔记](https://github.com/Mikoto10032/DeepLearning/blob/master/books/%5BML-CS229%5D%5B2011%5D%5BAndrew%20NG%5D/%5B2011%5D%E6%96%AF%E5%9D%A6%E7%A6%8F%E5%A4%A7%E5%AD%A6%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E8%AF%BE%E7%A8%8B%E4%B8%AA%E4%BA%BA%E7%AC%94.pdf) && [官网(笔记)](http://cs229.stanford.edu/)  && [视频(中文字幕)](http://open.163.com/newview/movie/free?pid=M6SGF6VB4&mid=M6SGHFBMC)   +* [百页机器学习](http://themlbook.com/wiki/doku.php) + +#### 深入理解 +* [《统计学习方法》李航](https://github.com/Mikoto10032/DeepLearning/tree/master/books/%E6%9D%8E%E8%88%AA-%E7%BB%9F%E8%AE%A1%E5%AD%A6%E4%B9%A0) && [《统计学习方法》各章节笔记](https://www.cnblogs.com/YongSun/tag/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/) && [《统计学习方法》各章节笔记](https://zhuanlan.zhihu.com/c_1213397558586257408) && [推荐答案:statistical-learning-method-solutions-manual](https://github.com/datawhalechina/statistical-learning-method-solutions-manual) [《统计学习方法》各章节笔记](https://www.cnblogs.com/liaohuiqiang/category/1039314.html) && [《统计学习方法》各章节代码实现与课后习题参考解答](https://blog.csdn.net/breeze_blows/article/details/85469944) +* [《模式识别与机器学习》 Christopher Bishop](https://github.com/Mikoto10032/DeepLearning/blob/master/books/模式识别与机器学习PRML_Chinese_vision.pdf) +* [《机器学习》 周志华](https://github.com/Mikoto10032/DeepLearning/blob/master/books/机器学习周志华.pdf) && [南瓜书:pumpkin-book](https://github.com/datawhalechina/pumpkin-book) +* [《机器学习实战》 PelerHarrington](https://github.com/Mikoto10032/DeepLearning/blob/master/books/机器学习实战%20中文双页版.pdf) +* [机器学习与深度学习书单](https://mp.weixin.qq.com/s?__biz=MzAxMjcyNjE5MQ==&mid=2650488718&idx=1&sn=815a79d27d500f0fb8db1fe1fc6cfe48&chksm=83a2e54eb4d56c58a0989654f920d64ad2784ce52e4b2bc6883974257cf475c9983f05fb88c1&scene=0&xtrack=1&ascene=14&devicetype=android-28&version=27000339&nettype=WIFI&abtest_cookie=AwABAAoACwATAAQAI5ceAFaZHgDQmR4A3JkeAAAA&lang=zh_CN&pass_ticket=oEB1108Pes6HkdxEITmBjTb2Glju5%2BEGqHZKz50fMg0rgK4l9Fodlbe%2FDm96iX57&wx_header=1) + +### 深度学习基础 + +#### 快速入门 +* [深度学习思维导图](https://github.com/dformoso/deeplearning-mindmap) && [深度学习算法地图](http://www.tensorinfinity.com/paper_158.html) +* [《斯坦福大学深度学习基础教程》 Andrew Ng(吴恩达)](https://github.com/Mikoto10032/DeepLearning/blob/master/books/斯坦福大学-深度学习基础教程.pdf) +* [深度学习 吴恩达 个人笔记](http://www.ai-start.com/dl2017/)  && [视频](http://mooc.study.163.com/smartSpec/detail/1001319001.htm) +* [MIT深度学习基础-2019视频课程](https://deeplearning.mit.edu/) +* [台湾大学(NTU)李宏毅教授课程](http://speech.ee.ntu.edu.tw/~tlkagk/index.html) && [[leeml-notes](https://github.com/datawhalechina/leeml-notes) +* [图解深度学习_Grokking-Deep-Learning](https://github.com/iamtrask/Grokking-Deep-Learning) +* [《神经网络与深度学习》 Michael Nielsen](https://github.com/Mikoto10032/DeepLearning/blob/master/books/神经网络和深度学习neural%20networks%20and%20deep-learning-中文_ALL.pdf)     +* [ CS321-Hinton](http://www.cs.toronto.edu/~tijmen/csc321/) +* [ CS230: Deep Learning](https://web.stanford.edu/class/cs230/) +* [ CS294-112](http://rail.eecs.berkeley.edu/deeprlcourse/resources/) + +##### 计算机视觉 +* [CS231 李飞飞 已授权个人翻译笔记](https://zhuanlan.zhihu.com/p/21930884) && [视频](http://study.163.com/course/courseMain.htm?courseId=1003223001) +* [计算机视觉研究方向](https://mp.weixin.qq.com/s/WNkzfvYtEO5zJoe_-yAPow) + +##### 自然语言处理 +* [CS224n: Natural Language Processing with Deep Learning](http://web.stanford.edu/class/cs224n/index.html) +* [NLP上手教程](https://github.com/FudanNLP/nlp-beginner) +* [NLP入门推荐书目(2019版)](https://zhuanlan.zhihu.com/p/58874484) + +##### 深度强化学习 +* [CS234: Reinforcement Learning](http://web.stanford.edu/class/cs234/index.html) + +#### 深入理解 +* [《深度学习》 Yoshua Bengio.Ian GoodFellow](https://github.com/Mikoto10032/DeepLearning/blob/master/books/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0.Yoshua%20Bengio%2BIan%20GoodFellow.pdf):star:   +* [《自然语言处理》Jacob Eisenstein](https://github.com/Mikoto10032/DeepLearning/blob/master/books/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86.Jacob%20Eisenstein.pdf) +* [《强化学习》](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Reinforcement%20Learning.Sutton.pdf) && [第二版](http://incompleteideas.net/book/RLbook2018trimmed.pdf) +* [hangdong的深度学习博客,论文推荐](https://handong1587.github.io/categories.html#deep_learning-ref) +* [Practical Deep Learning for Coders, v3](https://course.fast.ai/) +* [《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Tensorflow%20实战Google深度学习框架.pdf) + +#### 一些书单 + +* [2019年最新-深度学习、生成对抗、Pytorch优秀教材推荐](https://zhuanlan.zhihu.com/p/63784033) + +### 工程能力 + +![](https://pic4.zhimg.com/v2-009013278688f520c070b27910255cb1_r.jpg) + +* [如何系统地学习算法?](https://www.zhihu.com/question/20588261/answer/798928056) && [LeetCode](https://leetcode.com/) && [leetcode题解](https://github.com/azl397985856/leetcode) && [《算法导论》中算法的C++实现](https://github.com/huaxz1986/cplusplus-_Implementation_Of_Introduction_to_Algorithms) +* [机器学习算法实战](#机器学习实战篇) +* [深度学习框架](#深度学习框架) +* [如何成为一名算法工程师](https://mp.weixin.qq.com/s/YMtnBAVDZepsMTO4h-VRtQ) && [从小白到入门算法,我的经验分享给你~](https://mp.weixin.qq.com/s?__biz=MzAxMjcyNjE5MQ==&mid=2650488786&idx=1&sn=68b9536d0b0b3105ab8d79f8efcb0a4b&chksm=83a2e512b4d56c045c6ab0349108842e6a5b26e8f3e507ff5d19ee50e3bd63ef149a36d23eef&scene=0&xtrack=1&ascene=14&devicetype=android-28&version=27000437&nettype=WIFI&abtest_cookie=BAABAAoACwASABMABgAjlx4AVpkeANCZHgDcmR4A8ZkeAAOaHgAAAA%3D%3D&lang=zh_CN&pass_ticket=4yovfEr0v09yZCvvQ1NEy12qGIonnRpGi774X09Mh5EZD2oL%2BRz6FTtX9R5gALB1&wx_header=1) && [我的研究生这三年](https://zhuanlan.zhihu.com/p/54161673) :star: +* [编程面试的题目分类](https://zhuanlan.zhihu.com/p/89392459) +* [《AI算法工程师手册》](http://www.huaxiaozhuan.com/) +* [如何准备算法工程师面试,斩获一线互联网公司机器学习岗offer?](https://zhuanlan.zhihu.com/p/76827460) +* [【完结】深度学习CV算法工程师从入门到初级面试有多远,大概是25篇文章的距离](https://mp.weixin.qq.com/s/HZ3Cd2jHuikyFN9ydvcMTw) +* [ 计算机相关技术面试必备](https://github.com/CyC2018/CS-Notes) && [CS-WiKi](https://veal98.gitee.io/cs-wiki/#/) && [计算机基础面试问题全面总结](https://github.com/wolverinn/Waking-Up) && [TeachYourselfCS-CN](https://github.com/keithnull/TeachYourselfCS-CN) && [面试算法笔记-中文](https://github.com/imhuay/Algorithm_for_Interview-Chinese) +* [算法工程师面试](https://github.com/DarLiner/Algorithm_Interview_Notes-Chinese) +* [深度学习面试题目](https://github.com/ShanghaiTechAIClub/DLInterview) +* [深度学习500问](https://github.com/scutan90/DeepLearning-500-questions) +* [AI算法岗求职攻略](https://github.com/amusi/AI-Job-Notes#Strategy) +* [Kaggle实战]() + * 常用算法: + * Feature Engineering:continue variable && categorical variable + * Classic machine learning algorithm:LR, KNN, SVM, Random Forest, GBDT(XGBoost&&LightGBM), Factorization Machine, Field-aware Factorization Machine, Neural Network + * Cross validation, model selection:grid search, random search, hyper-opt + * Ensemble learning + * [kaggle竞赛宝典第一章-竞赛框架篇!:star:](https://mp.weixin.qq.com/s/EGiFG6u9BYr1aBdq0a0wIQ) + * [Kaggle 项目实战(教程) = 文档 + 代码 + 视频](https://github.com/apachecn/kaggle) + * [Kaggle入门系列:(一)机器学习环境搭建](https://zhuanlan.zhihu.com/p/29086448) && [Kaggle入门系列:(二)Kaggle简介](https://zhuanlan.zhihu.com/p/29417603) && [Kaggle入门系列(三)Titanic初试身手](https://zhuanlan.zhihu.com/p/29086614) + * [从 0 到 1 走进 Kaggle](https://zhuanlan.zhihu.com/p/61660061) + * [Kaggle 入门指南](https://zhuanlan.zhihu.com/p/25742261) + * [一个框架解决几乎所有机器学习问题](https://zhuanlan.zhihu.com/p/61657532) && [Approaching (Almost) Any Machine Learning Problem | Abhishek Thakur](http://blog.kaggle.com/2016/07/21/approaching-almost-any-machine-learning-problem-abhishek-thakur/) + * [分分钟带你杀入Kaggle Top 1%](https://zhuanlan.zhihu.com/p/27424282) + * [如何达到Kaggle竞赛top 2%?这里有一篇特征探索经验帖](https://zhuanlan.zhihu.com/p/48758045) + * [如何在 Kaggle 首战中进入前 10%?](https://zhuanlan.zhihu.com/p/27486736) + * [Kaggle 首战 Top 2%, APTOS 2019 复盘总结 + 机器学习竞赛通用流程归纳](http://bbs.cvmart.net/topics/1717) + * [kaggle的riiid比赛里关于数据处理时间空间优化的笔记](https://zhuanlan.zhihu.com/p/344388290) +* [大数据&机器学习相关竞赛推荐](https://blog.csdn.net/weixin_33739541/article/details/87565983) + +## 二. 神经网络模型概览 + +* [1. 一文看懂25个神经网络模型](https://blog.csdn.net/qq_35082030/article/details/73368962) +* [2. DNN概述论文:详解前馈、卷积和循环神经网络技术](https://zhuanlan.zhihu.com/p/29141828) +* [3. colah's blog](http://colah.github.io/) +* [4. Model Zoom](https://modelzoo.co/) +* [5. DNN概述](https://zhuanlan.zhihu.com/p/29141828) +* [GitHub上的机器学习/深度学习综述项目合集](https://zhuanlan.zhihu.com/p/60245227) +* [AlphaTree-graphic-deep-neural-network](https://github.com/weslynn/AlphaTree-graphic-deep-neural-network) + +### CNN + +#### 发展史 + +* [94页论文综述卷积神经网络:从基础技术到研究前景](https://zhuanlan.zhihu.com/p/35388569) + +##### 图像分类 + +* [从LeNet-5到DenseNet](https://zhuanlan.zhihu.com/p/31006686) +* [深度学习笔记(十一)网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv](https://www.cnblogs.com/xuanyuyt/p/11329998.html) +* [CNN网络结构的发展](https://zhuanlan.zhihu.com/p/68411179) +* [Awesome - Image Classification:论文&&代码大全](https://github.com/weiaicunzai/awesome-image-classification) +* [pytorch-image-models](https://github.com/rwightman/pytorch-image-models) + +##### 目标检测 + +- [深度学习之目标检测的前世今生(Mask R-CNN)](https://zhuanlan.zhihu.com/p/32830206) +- [深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD](https://zhuanlan.zhihu.com/p/29434605) +- [从RCNN到SSD,这应该是最全的一份目标检测算法盘点](https://zhuanlan.zhihu.com/p/36184131) +- [目标检测算法综述三部曲](https://zhuanlan.zhihu.com/p/40047760) + - [基于深度学习的目标检测算法综述(一)](https://zhuanlan.zhihu.com/p/40047760) + - [基于深度学习的目标检测算法综述(二)](https://zhuanlan.zhihu.com/p/40020809) + - [基于深度学习的目标检测算法综述(三)](https://zhuanlan.zhihu.com/p/40102001) +- [From RCNN to YOLOv3]():[上](https://zhuanlan.zhihu.com/p/35724768),[下](https://zhuanlan.zhihu.com/p/35731743) +- [后 R-CNN时代, Faster R-CNN、SSD、YOLO 各类变体统治下的目标检测综述:Faster R-CNN系列胜了吗?](https://zhuanlan.zhihu.com/p/38709522) +- [目标检测进化史](https://zhuanlan.zhihu.com/p/60590369) +- [CVPR2019目标检测方法进展综述](https://zhuanlan.zhihu.com/p/59376548) +- [一文看尽21篇目标检测最新论文(腾讯/Google/商汤/旷视/清华/浙大/CMU/华科/中科院等](https://zhuanlan.zhihu.com/p/61080508) +- [我这两年的目标检测](https://zhuanlan.zhihu.com/p/82491218) +- [Anchor-Free目标检测算法](): [第一篇:arxiv2015_baidu_DenseBox](https://zhuanlan.zhihu.com/p/40221183), [如何评价最新的anchor-free目标检测模型FoveaBox?](https://www.zhihu.com/question/319605567/answer/647844997), [FCOS: 最新的one-stage逐像素目标检测算法](https://zhuanlan.zhihu.com/p/61644900) && [最新的Anchor-Free目标检测模型FCOS,现已开源!](https://zhuanlan.zhihu.com/p/62198865) && [中科院牛津华为诺亚提出CenterNet,one-stage detector可达47AP,已开源!](https://zhuanlan.zhihu.com/p/62789701) && [AnchorFreeDetection](https://github.com/VCBE123/AnchorFreeDetection) +- [Anchor free深度学习的目标检测方法](https://zhuanlan.zhihu.com/p/64563186) +- [聊聊Anchor的"前世今生"(上)](https://zhuanlan.zhihu.com/p/63273342)&&[聊聊Anchor的"前世今生"(下)](https://zhuanlan.zhihu.com/p/68291859) +- [目标检测算法综述之FPN优化篇](https://zhuanlan.zhihu.com/p/62975854) && [一文看尽物体检测中的各种FPN](https://zhuanlan.zhihu.com/p/148738276) +- [awesome-object-detection:论文&&代码](https://github.com/amusi/awesome-object-detection) +- [deep_learning_object_detection](https://github.com/hoya012/deep_learning_object_detection) +- [ObjectDetectionImbalance](https://github.com/kemaloksuz/ObjectDetectionImbalance) + +##### 图像分割(语义分割、实例分割、全景分割) + +* [图像语义分割(Semantic segmentation) Survey](https://zhuanlan.zhihu.com/p/36801104) +* [干货 | 一文概览主要语义分割网络](https://blog.csdn.net/qq_20084101/article/details/80432960) +* [语义分割 发展综述](https://zhuanlan.zhihu.com/p/37618829) +* [9102年了,语义分割的入坑指南和最新进展都是什么样的](https://zhuanlan.zhihu.com/p/76603228) +* [实例分割最新最全面综述:从Mask R-CNN到BlendMask](https://zhuanlan.zhihu.com/p/110132002) +* [语义分割综述:深度学习背景下的语义分割的发展状况【推荐】](https://zhuanlan.zhihu.com/p/133212654) +* [Awesome Semantic Segmentation:论文&&代码](https://github.com/mrgloom/awesome-semantic-segmentation) +* [一篇看完就懂的最新语义分割综述](https://zhuanlan.zhihu.com/p/110123136) +* [基于深度学习的语义分割综述](https://zhuanlan.zhihu.com/p/142451150) + +##### 轻量化卷积神经网络 + +- [纵览轻量化卷积神经网络:SqueezeNet、MobileNet、ShuffleNet、Xception](https://zhuanlan.zhihu.com/p/32746221) + +##### 人脸相关 + +* [如何走近深度学习人脸识别?你需要这篇超长综述 | 附开源代码](https://zhuanlan.zhihu.com/p/35295839) +* [人脸检测和识别算法综述]()       + * [人脸检测算法综述 ](https://zhuanlan.zhihu.com/p/36621308)           + * [人脸检测背景介绍和发展现状](https://zhuanlan.zhihu.com/p/32702868) + * [人脸识别算法演化史](https://zhuanlan.zhihu.com/p/36416906) + * [CascadeCNN](https://blog.csdn.net/shuzfan/article/details/50358809)   + * [MTCNN](https://blog.csdn.net/qq_14845119/article/details/52680940) + * [awesome-Face_Recognition](https://github.com/ChanChiChoi/awesome-Face_Recognition) + * [异质人脸识别研究综述](https://zhuanlan.zhihu.com/p/64191484) + * [老板来了:人脸识别+手机推送,老板来了你立刻知道。](https://zhuanlan.zhihu.com/p/26431250)&& [手把手教你用Python实现人脸识别](https://zhuanlan.zhihu.com/p/33456076) && [人脸识别项目,网络模型,损失函数,数据集相关总结](https://www.jianshu.com/p/e57205edc364) + * [基于深度学习的人脸识别技术综述](https://zhuanlan.zhihu.com/p/24816781) && [如何走近深度学习人脸识别?你需要这篇超长综述](https://zhuanlan.zhihu.com/p/35295839) && [人脸识别损失函数综述(附开源实现)](https://zhuanlan.zhihu.com/p/51324547) && [Face Recognition Loss on Mnist with Pytorch](https://zhuanlan.zhihu.com/p/64427565) && [人脸识别的LOSS(上)](https://zhuanlan.zhihu.com/p/34404607) && [人脸识别的LOSS(下)](https://zhuanlan.zhihu.com/p/34436551) +* [人脸关键点检测]() + * [【每周CV论文推荐】 初学深度学习人脸关键点检测必读文章](https://zhuanlan.zhihu.com/p/88344339) + * [从传统方法到深度学习,人脸关键点检测方法综述](https://mp.weixin.qq.com/s/CvdeV5xgUF0kStJQdRst0w) + * [人脸关键点检测综述](https://zhuanlan.zhihu.com/p/42968117) + * [人脸专集4 | 遮挡、光照等因素的人脸关键点检测](https://zhuanlan.zhihu.com/p/62824113) + * [【Face key point detection】人脸关键点检测实现](https://zhuanlan.zhihu.com/p/52525598) + * [OpenCV实战:人脸关键点检测(FaceMark)](https://zhuanlan.zhihu.com/p/35390012) + * [CenterFace+TensorRT部署人脸和关键点检测400fps](https://zhuanlan.zhihu.com/p/106774468) + +##### 图像超分辨率 + +* [深度学习图像超分辨率综述](https://zhuanlan.zhihu.com/p/57564211) +* [从SRCNN到EDSR,总结深度学习端到端超分辨率方法发展历程](https://zhuanlan.zhihu.com/p/31664818) + +##### 行人重识别 + +* [【CVPR2019正式公布】行人重识别论文](https://zhuanlan.zhihu.com/p/62843442) +* [【CVPR2019正式公布】行人重识别论文](https://zhuanlan.zhihu.com/p/62843442),[2019 行人再识别年度进展回顾](https://zhuanlan.zhihu.com/p/64004977) + +##### 图像着色 + +* [Awesome-Image-Colorization](https://github.com/MarkMoHR/Awesome-Image-Colorization) + +##### 边检测 + +* [Awesome-Edge-Detection-Papers](https://github.com/MarkMoHR/Awesome-Edge-Detection-Papers) + +##### OCR&&文本检测 + +* [2019CVPR文本检测综述](https://zhuanlan.zhihu.com/p/67319122) +* [OCR文字处理](https://zhuanlan.zhihu.com/p/65707543) +* [自然场景文本检测识别技术综述](https://mp.weixin.qq.com/s?__biz=MzU4MjQ3MDkwNA==&mid=2247485142&idx=1&sn=c0e01da30eb5e750be453eabe4be2bf4&chksm=fdb69b41cac11257ae22c7dac395e9651dab628fc35dd6d3c02d9566a8c7f5f2b56353d58a64&token=1065243837&lang=zh_CN#rd) + +##### 点云 + +* [awesome-point-cloud-analysis](https://zhuanlan.zhihu.com/p/65690433) + +##### 细粒度图像分类 + +* [超全深度学习细粒度图像分析:项目、综述、教程一网打尽](https://zhuanlan.zhihu.com/p/73542103) + +##### 图像检索 + +* 图像检索的十年[上](https://mp.weixin.qq.com/s/sM78DCOK3fuG2JrP2QaSZA)、[下](https://mp.weixin.qq.com/s/yzVMDEpwbXVS0y-CwWSBEA) + +##### 人群计数 + +* [人群计数](http://chuansong.me/n/443237851736), [1](https://www.cnblogs.com/wmr95/p/8134692.html), [2](https://blog.csdn.net/u011285477/article/details/51954989), [3](https://blog.csdn.net/qingqingdeaini/article/details/79922549) + +#### 教程 + +##### 前馈神经网络 + +* [从基本原理到梯度下降,小白都能看懂的神经网络教程](https://zhuanlan.zhihu.com/p/59385110) + +##### 激活函数 + +* [激活函数一览](https://zhuanlan.zhihu.com/p/30567264) && [深度学习中几种常见的激活函数理解与总结](https://www.cnblogs.com/XDU-Lakers/p/10557496.html) +* [一个激活函数需要具有哪些必要的属性](https://www.zhihu.com/question/67366051) + +##### 反向传播算法 + +* [反向传播算法(过程及公式推导)](https://blog.csdn.net/u014313009/article/details/51039334) +* [通俗理解神经网络BP传播算法](https://zhuanlan.zhihu.com/p/24801814) + +##### 优化问题 + +* [神经网络训练中的梯度消失与梯度爆炸](https://zhuanlan.zhihu.com/p/25631496) +* [梯度消失和梯度爆炸问题详解](https://www.jianshu.com/p/3f35e555d5ba) +* [详解深度学习中的梯度消失、爆炸原因及其解决方法](https://zhuanlan.zhihu.com/p/33006526) && [神经网络梯度消失和梯度爆炸及解决办法](https://blog.csdn.net/program_developer/article/details/80032376) + +##### 卷积层 + +* [A Comprehensive Introduction to Different Types of Convolutions in Deep Learning](https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e58215) && 翻译:[上](https://www.leiphone.com/news/201902/D2Mkv61w9IPq9qGh.html)、[下](https://www.leiphone.com/news/201902/biIqSBpehsaXFwpN.html?uniqueCode=OTEsp9649VqJfUcO) +* [卷积有多少种?一文读懂深度学习中的各种卷积](https://zhuanlan.zhihu.com/p/57575810) +* [各种卷积](https://www.cnblogs.com/cvtoEyes/p/8848815.html) +* [Convolution Network及其变种(反卷积、扩展卷积、因果卷积、图卷积)](https://www.cnblogs.com/yangperasd/p/7071657.html) +* [深度学习基础--卷积类型](https://zhuanlan.zhihu.com/p/59839551) +* [变形卷积核、可分离卷积](https://zhuanlan.zhihu.com/p/28749411) +* [对深度可分离卷积、分组卷积、扩张卷积、转置卷积(反卷积)的理解](https://blog.csdn.net/chaolei3/article/details/79374563) +* [反卷积](https://buptldy.github.io/2016/10/29/2016-10-29-deconv/) +* [Dilated/Atrous conv 空洞卷积/多孔卷积](https://blog.csdn.net/silence2015/article/details/79748729) +* [卷积层输出大小尺寸计算及 “SAME” 和 “VALID”](https://blog.csdn.net/weixin_37697191/article/details/89527315) && [卷积的三种模式full, same, valid以及padding的same, valid](https://zhuanlan.zhihu.com/p/62760780) +* [正常卷积与空洞卷积输出特征图与感受野大小的计算](https://blog.csdn.net/qq_43232545/article/details/103317773) +* [【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?](https://blog.csdn.net/mao_xiao_feng/article/details/78003476) +* [【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积?](https://blog.csdn.net/mao_xiao_feng/article/details/78003730) +* [【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?](https://blog.csdn.net/mao_xiao_feng/article/details/78002811) +* [【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的?](https://blog.csdn.net/mao_xiao_feng/article/details/71713358) + +##### 池化层 + +* [卷积神经网络中的各种池化操作](https://zhuanlan.zhihu.com/p/112216409) + +##### 卷积神经网络 + +- [卷积神经网络工作原理](https://www.zhihu.com/question/39022858) +- [「七夕的礼物」: 一日搞懂卷积神经网络](https://zhuanlan.zhihu.com/p/28863709) +- [一文读懂卷积神经网络中的1x1卷积核](https://zhuanlan.zhihu.com/p/40050371) +- [如何理解神经网络中通过add和concate的方式融合特征?](https://blog.csdn.net/xiaojiajia007/article/details/86008415) && [神经网络中对需要concat的特征进行线性变换然后相加是否好于直接concat?](https://www.zhihu.com/question/389912594/answer/1178054600) +- [CNN 模型所需的计算力(flops)和参数(parameters)数量是怎么计算的?](https://www.zhihu.com/question/65305385) && [深度学习中卷积的参数量和计算量](https://www.cnblogs.com/hejunlin1992/p/12978988.html) + +##### 图像分类网络详解 + +* [经典CNN模型LeNet解读](https://zhuanlan.zhihu.com/p/41736894) +* [机器学习进阶笔记之三 | 深入理解Alexnet](https://zhuanlan.zhihu.com/p/22659166) +* [一文读懂VGG网络](https://zhuanlan.zhihu.com/p/41423739) +* [Inception V1,V2,V3,V4 模型总结](https://zhuanlan.zhihu.com/p/52802896) +* [ResNet解析](https://blog.csdn.net/lanran2/article/details/79057994) +* [一文简述ResNet及其多种变体](https://zhuanlan.zhihu.com/p/35985680) +* [CapsNet入门系列](http://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247484099&idx=1&sn=97e209f1a9860c8d8c51e81d98fc8a0a&chksm=eb4ee600dc396f16624a33cdfc0ead905e62ae9447b49b20146020e6cbd7d71f089101512a40&scene=21#wechat_redirect) + - [CapsNet入门系列之一:胶囊网络背后的直觉](http://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247484099&idx=1&sn=97e209f1a9860c8d8c51e81d98fc8a0a&chksm=eb4ee600dc396f16624a33cdfc0ead905e62ae9447b49b20146020e6cbd7d71f089101512a40&scene=21#wechat_redirect) + - [CapsNet入门系列之二:胶囊如何工作](http://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247484165&idx=1&sn=0ca679e3a5f499f8d8addb405fe3df83&chksm=eb4ee7c6dc396ed0a330fcac12690110bcaf9a8a10794dbc5e1a326c69ecbb140140f55fd6ba&scene=21#wechat_redirect) + - [CapsNet入门系列之三:囊间动态路由算法](http://mp.weixin.qq.com/s?__biz=MzI3ODkxODU3Mg==&mid=2247484433&idx=1&sn=3afe4605bc2501eebbc41c6dd1af9572&chksm=eb4ee0d2dc3969c4619d6c1097d5c949c76c6c854e60d36eba4388da2c3855747818d062c90a&scene=21#wechat_redirect) + - [CapsNet入门系列之四:胶囊网络架构](https://mp.weixin.qq.com/s/6CRSen8P6zKaMGtX8IRfqw) +* [深入剖析MobileNet和它的变种(例如:ShuffleNet)为什么会变快?](https://zhuanlan.zhihu.com/p/158591662) +* [CNN模型之ShuffleNet](https://zhuanlan.zhihu.com/p/32304419) +* [ShuffleNet V2和四个网络架构设计准则](https://zhuanlan.zhihu.com/p/40980942) +* [ResNeXt 深入解读与模型实现](https://zhuanlan.zhihu.com/p/78019001) +* [如何评价Momenta ImageNet 2017夺冠架构SENet?](https://www.zhihu.com/question/63460684) +* [CBAM:卷积块注意力模块](https://zhuanlan.zhihu.com/p/79419670) && [CBAM: Convolutional Block Attention Module](https://zhuanlan.zhihu.com/p/65529934) +* [SKNet——SENet孪生兄弟篇](https://zhuanlan.zhihu.com/p/59690223) +* [GCNet:当Non-local遇见SENet](https://zhuanlan.zhihu.com/p/64988633) +* [深度学习笔记(十一)网络 Inception, Xception, MobileNet, ShuffeNet, ResNeXt, SqueezeNet, EfficientNet, MixConv](https://www.cnblogs.com/xuanyuyt/p/11329998.html) +* [如何评价最新的Octave Convolution?](https://www.zhihu.com/question/320462422) +* [ResNeSt 之语义分割](https://zhuanlan.zhihu.com/p/136105870) && [关于ResNeSt的点滴疑惑](https://zhuanlan.zhihu.com/p/133805433) && [ResNeSt在刷榜之后被ECCV2020 strong reject](https://zhuanlan.zhihu.com/p/143214871) + +##### 目标检测网络详解 + +* [目标检测的性能评价指标](https://zhuanlan.zhihu.com/p/70306015) && [NMS和计算mAP时的置信度阈值和IoU阈值 ](https://zhuanlan.zhihu.com/p/75348108) && [白话mAP](https://zhuanlan.zhihu.com/p/60834912) && [目标检测模型的评估指标mAP详解(附代码)](https://zhuanlan.zhihu.com/p/37910324) +* [深度学习中IU、IoU(Intersection over Union)](https://blog.csdn.net/iamoldpan/article/details/78799857) +* [Selective Search for Object Detection ](https://www.learnopencv.com/selective-search-for-object-detection-cpp-python/)[(译文)](https://blog.csdn.net/guoyunfei20/article/details/78723646) +* [Region Proposal Network(RPN)](https://zhuanlan.zhihu.com/p/106192020) +* [边框回归(Bounding Box Regression)详解](https://blog.csdn.net/zijin0802034/article/details/77685438) +* [NMS——非极大值抑制](https://blog.csdn.net/shuzfan/article/details/52711706) && [非极大值抑制NMS的python实现](https://zhuanlan.zhihu.com/p/128125301) +* [一文打尽目标检测NMS——精度提升篇](https://zhuanlan.zhihu.com/p/151914931) && [一文打尽目标检测NMS——效率提升篇](https://zhuanlan.zhihu.com/p/157900024) +* [目标检测回归损失函数简介:SmoothL1/IoU/GIoU/DIoU/CIoU Loss](https://zhuanlan.zhihu.com/p/104236411) +* [将CNN引入目标检测的开山之作:R-CNN](https://zhuanlan.zhihu.com/p/23006190) +* [R-CNN论文详解](https://blog.csdn.net/u014696921/article/details/52824097) +* [深度学习(十八)基于R-CNN的物体检测](https://blog.csdn.net/hjimce/article/details/50187029) +* [Fast R-CNN](https://zhuanlan.zhihu.com/p/24780395) +* [深度学习(六十四)Faster R-CNN物体检测](https://blog.csdn.net/hjimce/article/details/73382553) && [你真的学会RoI Pooling了吗?](https://zhuanlan.zhihu.com/p/59692298) +* [目标检测论文阅读:Feature Pyramid Networks for Object Detection](https://zhuanlan.zhihu.com/p/36461718) +* [SSD](https://zhuanlan.zhihu.com/p/24954433) +* [实例分割--Mask RCNN详解(ROI Align / Loss Function)](https://www.codetd.com/article/2554465) && [令人拍案称奇的Mask RCNN](https://zhuanlan.zhihu.com/p/37998710) +* [何恺明大神的「Focal Loss」,如何更好地理解?](https://zhuanlan.zhihu.com/p/32423092) && [FocalLoss 对样本不平衡的权重调节和减低损失值](https://zhuanlan.zhihu.com/p/82148525) && [focal_loss 多类别和二分类 Pytorch代码实现](https://blog.csdn.net/qq_33278884/article/details/91572173) && [多分类focal loss及其tensorflow实现](https://blog.csdn.net/qq_39012149/article/details/96184383) +* [堪比Focal Loss!解决目标检测中样本不平衡的无采样方法](https://zhuanlan.zhihu.com/p/93658728) +* [目标检测正负样本区分策略和平衡策略总结(一)](https://zhuanlan.zhihu.com/p/138824387) && [目标检测正负样本区分策略和平衡策略总结(二)](https://zhuanlan.zhihu.com/p/138828372) && [目标检测正负样本区分策略和平衡策略总结(三)](https://zhuanlan.zhihu.com/p/144659734) +* [YOLO](http://www.mamicode.com/info-detail-2314392.html) && [目标检测|YOLO原理与实现](https://zhuanlan.zhihu.com/p/32525231) && [图解YOLO](https://zhuanlan.zhihu.com/p/24916786) && [【论文解读】Yolo三部曲解读——Yolov1](https://zhuanlan.zhihu.com/p/70387154) +* [目标检测|YOLOv2原理与实现(附YOLOv3)](https://zhuanlan.zhihu.com/p/35325884?group_id=966229905398362112) && [YOLO2](https://zhuanlan.zhihu.com/p/25167153) && [【论文解读】Yolo三部曲解读——Yolov2](https://zhuanlan.zhihu.com/p/74540100) +* [<机器爱学习>YOLO v3深入理解](https://zhuanlan.zhihu.com/p/49556105) && [【论文解读】Yolo三部曲解读——Yolov3](https://zhuanlan.zhihu.com/p/76802514) +* [YOLOv4](https://zhuanlan.zhihu.com/p/138510087) +* [目标检测之CornerNet](https://arxiv.org/abs/1808.01244), [1](https://zhuanlan.zhihu.com/p/41825737), [2](https://blog.csdn.net/Hibercraft/article/details/81637451), [3](https://zhuanlan.zhihu.com/p/41759548) +* [目标检测小tricks--样本不均衡处理](https://zhuanlan.zhihu.com/p/60612064) + +##### 图像分割网络详解 + +* [超像素、语义分割、实例分割、全景分割 傻傻分不清 ](https://zhuanlan.zhihu.com/p/50996404) && [语义分割、实例分割和全景分割的区别](https://blog.csdn.net/u013066730/article/details/103613154) +* [语义分割卷积神经网络快速入门](https://blog.csdn.net/qq_20084101/article/details/80455877) +* [图像语义分割入门+FCN/U-Net网络解析](https://zhuanlan.zhihu.com/p/31428783) && [深入理解深度学习分割网络Unet](https://blog.csdn.net/Formlsl/article/details/80373200) +* [Unet神经网络为什么会在医学图像分割表现好?](https://www.zhihu.com/question/269914775) +* [图像语义分割的工作原理和CNN架构变迁](https://zhuanlan.zhihu.com/p/38033032) +* [语义分割中的Attention和低秩重建](https://zhuanlan.zhihu.com/p/77834369) +* [打通多个视觉任务的全能Backbone:HRNet](https://zhuanlan.zhihu.com/p/134253318) + +##### 注意力机制 + +* [深度学习中的注意力模型(2017版)](https://zhuanlan.zhihu.com/p/37601161) +* [Attention Model(mechanism) 的 套路](https://blog.csdn.net/bvl10101111/article/details/78470716) +* [计算机视觉中的注意力机制(推荐)](https://zhuanlan.zhihu.com/p/146130215) +* [More About Attention(推荐)](https://zhuanlan.zhihu.com/p/106662375) +* [计算机视觉中的注意力机制](https://zhuanlan.zhihu.com/p/32928645) +* [NLP中的Attention Mechanism](https://zhuanlan.zhihu.com/p/31547842) +* [Transformer中的Attention](https://mp.weixin.qq.com/s/k8PdZAld2ANVoekuyQxI3w) +* [综述:图像处理中的注意力机制](https://bbs.cvmart.net/topics/2581) + +##### 特征融合 + +* [盘点目标检测中的特征融合技巧(根据YOLO v4总结)](https://zhuanlan.zhihu.com/p/141685352) +* [多尺度融合介绍](https://zhuanlan.zhihu.com/p/147820687) + +#### Action + +* [PyTorch官方实现ResNet](https://github.com/pytorch/vision/blob/master/torchvision/models/resnet.py) && [pytorch_resnet_cifar10](https://github.com/akamaster/pytorch_resnet_cifar10) +* [PyTorch 63.Coding for FLOPs, Params and Latency](https://zhuanlan.zhihu.com/p/268816646) +* [先读懂CapsNet架构然后用TensorFlow实现](https://zhuanlan.zhihu.com/p/30753326) +* [目标检测-20种模型的原味代码汇总](https://zhuanlan.zhihu.com/p/37056927) +* [TensorFlow Object Detection API 教程](https://blog.csdn.net/qq_36148847/article/details/79306762) + * [TensorFlow 对象检测 API 教程1](https://blog.csdn.net/qq_36148847/article/details/79306762) + * [TensorFlow 对象检测 API 教程2](https://blog.csdn.net/qq_36148847/article/details/79307598) + * [TensorFlow 对象检测 API 教程3](https://blog.csdn.net/qq_36148847/article/details/79307751) + * [TensorFlow 对象检测 API 教程 4](https://blog.csdn.net/qq_36148847/article/details/79307931) + * [TensorFlow 对象检测 API 教程5](https://blog.csdn.net/qq_36148847/article/details/79307933) +* [在TensorFlow+Keras环境下使用RoI池化一步步实现注意力机制](https://zhuanlan.zhihu.com/p/65327747) +* [mxnet如何查看参数数量](https://discuss.gluon.ai/t/topic/7216) && [mxnet查看FLOPS](https://github.com/likelyzhao/CalFLOPS-Mxnet) +* [Pytorch-UNet](https://github.com/milesial/Pytorch-UNet) +* [segmentation_models.pytorch](https://github.com/qubvel/segmentation_models.pytorch) + +### GAN + +#### 发展史 + +* [千奇百怪的GAN变体](https://zhuanlan.zhihu.com/p/26491601) +* [苏剑林博客,讲解得淋漓尽致](https://kexue.fm/tag/GAN/) +* [The GAN Landscape:Losses, Architectures, Regularization, and Normalization](https://arxiv.org/pdf/1807.04720.pdf) +* [深度学习新星:GAN的基本原理、应用和走向](https://www.leiphone.com/news/201701/Kq6FvnjgbKK8Lh8N.html) +* [GAN生成图像综述](https://zhuanlan.zhihu.com/p/62746494) +* [2017年GAN 计算机视觉相关paper汇总](https://zhuanlan.zhihu.com/p/29882709) +* [必读的10篇关于GAN的论文](https://zhuanlan.zhihu.com/p/72745900) + +#### 教程 + +* [GAN原理学习笔记](https://zhuanlan.zhihu.com/p/27295635) +* [GAN万字长文综述](https://zhuanlan.zhihu.com/p/58812258) +* [极端图像压缩的对抗生成网络](https://zhuanlan.zhihu.com/p/35783437?group_id=969598777652420608) +* [台湾大学李宏毅GAN教程](https://www.youtube.com/watch?v=0CKeqXl5IY0&feature=youtu.be) + * [Basic](https://github.com/Mikoto10032/DeepLearning/blob/master/books/GAN-Basic%20Idea%20(2017.04.21).pdf) + * [Improving](https://github.com/Mikoto10032/DeepLearning/blob/master/books/GAN-Improving%20GAN%20(2017.05.05).pdf) +* [CycleGAN:图片风格,想换就换 | ICCV 2017论文解读](https://zhuanlan.zhihu.com/p/34711316) +* [Wasserstein GAN](https://zhuanlan.zhihu.com/p/25071913) && [GAN:两者分布不重合JS散度为log2的数学证明](https://blog.csdn.net/Invokar/article/details/88917214) +* [用变分推断统一理解生成模型(VAE、GAN、AAE、ALI)](https://zhuanlan.zhihu.com/p/40105143) +#### Action + +* [GAN学习指南:从原理入门到制作生成Demo](https://zhuanlan.zhihu.com/p/24767059) +* [机器之心GitHub项目:GAN完整理论推导与实现](https://zhuanlan.zhihu.com/p/29837245) +* [在Keras上实现GAN:构建消除图片模糊的应用](https://zhuanlan.zhihu.com/p/35030377) + +### RNN + +#### 发展史 + +* [从90年代的SRNN开始,纵览循环神经网络27年的研究进展](https://zhuanlan.zhihu.com/p/32668465) + +#### 教程 + +* [Awesome-Chinese-NLP](https://github.com/crownpku/Awesome-Chinese-NLP) +* [nlp-pytorch-zh](https://github.com/apachecn/nlp-pytorch-zh) +* [完全图解RNN、RNN变体、Seq2Seq、Attention机制](https://zhuanlan.zhihu.com/p/28054589) +* [循环神经网络(RNN, Recurrent Neural Networks)介绍](https://blog.csdn.net/heyongluoyao8/article/details/48636251) +* [RNN以及LSTM的介绍和公式梳理](https://blog.csdn.net/Dark_Scope/article/details/47056361) +* [(译)理解长短期记忆(LSTM) 神经网络](https://zhuanlan.zhihu.com/p/24018768) +* [ 一文读懂LSTM和RNN](https://zhuanlan.zhihu.com/p/35878575?group_id=970350175025385472) +* [探索LSTM:基本概念到内部结构](https://zhuanlan.zhihu.com/p/27345523) +* [ 翻译:深入理解LSTM系列](https://blog.csdn.net/matrix_space/article/details/53374040)             +* [深入理解 LSTM 网络 (一)](https://blog.csdn.net/matrix_space/article/details/53374040) +* [深入理解 LSTM 网络 (二)](https://blog.csdn.net/matrix_space/article/details/53376870) +* [LSTM](https://zhuanlan.zhihu.com/p/32085405) +* [深度学习其五 循环神经网络](https://zybuluo.com/hanbingtao/note/541458)                       +* [用循环神经网络进行文件无损压缩:斯坦福大学提出DeepZip](https://zhuanlan.zhihu.com/p/32582764) +* [吴恩达序列建模课程]() + * [Coursera吴恩达《序列模型》课程笔记(1)-- 循环神经网络(RNN)](https://zhuanlan.zhihu.com/p/34309635) + * [Coursera吴恩达《序列模型》课程笔记(2)-- NLP & Word Embeddings](https://zhuanlan.zhihu.com/p/34975871) + * [Coursera吴恩达《序列模型》课程笔记(3)-- Sequence models & Attention mechanism](https://zhuanlan.zhihu.com/p/35532553) +* word2vec + + - 原理 + - [NLP 秒懂词向量Word2vec的本质](https://zhuanlan.zhihu.com/p/26306795) + - [一篇通俗易懂的word2vec](https://zhuanlan.zhihu.com/p/35500923) + - [YJango的Word Embedding--介绍](https://zhuanlan.zhihu.com/p/27830489) + - [nlp中的词向量对比:word2vec/glove/fastText/elmo/GPT/bert](https://zhuanlan.zhihu.com/p/56382372) + - [词嵌入(word2vec)](https://zh.diveintodeeplearning.org/chapter_natural-language-processing/word2vec.html) + - [谈谈谷歌word2vec的原理](https://blog.csdn.net/wangyangzhizhou/article/details/77073023) + - [Word2Vec中为什么使用负采样?](https://zhuanlan.zhihu.com/p/67117737) + - 训练词向量 + - [练习-word2vec](https://zhuanlan.zhihu.com/p/29200034) + - [word2vec方法的实现和应用](https://zhuanlan.zhihu.com/p/31886824) + - [自然语言处理入门 word2vec 使用tensorflow自己训练词向量](https://blog.csdn.net/wzdjsgf/article/details/79541492) + - [使用tensorflow实现word2vec中文词向量的训练](https://zhuanlan.zhihu.com/p/28979653) + - [如何用TensorFlow训练词向量](https://blog.csdn.net/wangyangzhizhou/article/details/77530479?locationNum=1&fps=1) +* [聊聊 Transformer](https://zhuanlan.zhihu.com/p/47812375) +* [基于Transform的机器翻译系统](https://zhuanlan.zhihu.com/p/144825330) +* [基于word2vec训练词向量(一)](https://zhuanlan.zhihu.com/p/35648927) +* [基于word2vec训练词向量(二)](https://zhuanlan.zhihu.com/p/35889385) +* [自然语言处理中的自注意力机制(Self-Attention Mechanism)](https://zhuanlan.zhihu.com/p/35041012)     +* [自然语言处理中注意力机制综述](https://zhuanlan.zhihu.com/p/54491016) +* [YJango的Word Embedding--介绍](https://zhuanlan.zhihu.com/p/27830489) + +#### Action + +* [推荐:nlp-tutorial](https://github.com/graykode/nlp-tutorial) +* [nlp-tutorial](https://github.com/lyeoni/nlp-tutorial) +* [tensorflow中RNNcell源码分析以及自定义RNNCell的方法](https://blog.csdn.net/liuchonge/article/details/78405185?locationNum=8&fps=1) +* [TensorFlow中RNN实现的正确打开方式](https://zhuanlan.zhihu.com/p/28196873) +* [TensorFlow RNN 代码](https://zhuanlan.zhihu.com/p/27906426) +* [Tensorflow实现的深度NLP模型集锦](https://zhuanlan.zhihu.com/p/67031035) +* [用tensorflow LSTM如何预测股票价格](https://zhuanlan.zhihu.com/p/33186759) +* [TensorFlow的多层LSTM实践](https://zhuanlan.zhihu.com/p/29797089) +* [《安娜卡列尼娜》文本生成——利用TensorFlow构建LSTM模型](https://zhuanlan.zhihu.com/p/27087310) + +### GNN + +#### 发展史 + +* [Graph Neural Network(GNN)综述](https://zhuanlan.zhihu.com/p/65539782) +* [深度学习时代的图模型,清华发文综述图网络](https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754422&idx=4&sn=0dc881487f362322a875b4ce06e645f7&chksm=871a8908b06d001ef7386ccc752827c20711877a4a23d6a8318978095dd241d118257c607b22&scene=21#wechat_redirect) +* [清华大学图神经网络综述:模型与应用](https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754558&idx=2&sn=7d79191b9ed30679d5d40e22d9cabdf8&chksm=871a8980b06d00962e0dbe984e1d3469214db31cb402b4725a0dfe330249a830b45cb26932b5&scene=21#wechat_redirect) +* [图神经网络概述第三弹:来自IEEE Fellow的GNN综述](https://zhuanlan.zhihu.com/p/54241746) +* [GNN最全文献资料整理](https://github.com/DeepGraphLearning/LiteratureDL4Graph) && [Awesome-Graph-Neural-Networks](https://github.com/nnzhan/Awesome-Graph-Neural-Networks) + +#### 教程 + +* [如何理解 Graph Convolutional Network(GCN)](https://www.zhihu.com/question/54504471) +* [图卷积网络(GCN)新手村完全指南](https://zhuanlan.zhihu.com/p/54505069) +* [何时能懂你的心——图卷积神经网络(GCN)](https://zhuanlan.zhihu.com/p/71200936) +* [图卷积网络GCN的理解与介绍](https://zhuanlan.zhihu.com/p/90470499) +* [一文读懂图卷积GCN](https://zhuanlan.zhihu.com/p/89503068) +* [2020 年 GNN 开卷有益与再谈图卷积](https://zhuanlan.zhihu.com/p/101310106) +* [【GCN】万字长文带你入门 GCN](https://zhuanlan.zhihu.com/p/120311352) +* [如何解决图神经网络(GNN)训练中过度平滑的问题?](https://www.zhihu.com/question/346942899/answer/848298494) +* [全连接的图卷积网络(GCN)和self-attention这些机制有什么区别联系](https://www.zhihu.com/question/366088445) && [CNN与GCN的区别、联系及融合](https://zhuanlan.zhihu.com/p/147654689) + +#### Action + +* [图卷积网络到底怎么做,这是一份极简的Numpy实现](https://zhuanlan.zhihu.com/p/57235377) +* [DGL](https://docs.dgl.ai/index.html) + +## 三. 深度模型的优化与正则化 + +* [1. 优化算法纵览](http://fa.bianp.net/teaching/2018/eecs227at/) +* [2. 从梯度下降到Adam](https://zhuanlan.zhihu.com/p/27449596) +* [3. 从梯度下降到拟牛顿法:盘点训练神经网络的五大学习算法](https://zhuanlan.zhihu.com/p/25703402) +* [4. 正则化技术总结](https://zhuanlan.zhihu.com/p/35429054?group_id=966442942538444800) + * [史上最全面的正则化技术总结与分析--part1](https://zhuanlan.zhihu.com/p/35429054?group_id=966442942538444800) + * [史上最全面的正则化技术总结与分析--part2](https://zhuanlan.zhihu.com/p/35432128?group_id=966443101011738624) +* [权重衰减(weight decay)与学习率衰减(learning rate decay)](https://zhuanlan.zhihu.com/p/38709373) && [pytorch必须掌握的的4种学习率衰减策略](https://zhuanlan.zhihu.com/p/93624972) +* [5. 最优化算法系列(math)](https://blog.csdn.net/chunyun0716/article/category/6188191/2) +* [6. 神经网络训练中的梯度消失与梯度爆炸](https://zhuanlan.zhihu.com/p/25631496)         +* [7. 神经网络的优化及训练](https://zhuanlan.zhihu.com/p/36050743) +* [8. 通俗讲解查全率和查准率](https://zhuanlan.zhihu.com/p/35888543) && [全面梳理:准确率,精确率,召回率,查准率,查全率,假阳性,真阳性,PRC,ROC,AUC,F1](https://zhuanlan.zhihu.com/p/34079183) && [机器学习之类别不平衡问题 (1) —— 各种评估指标](https://zhuanlan.zhihu.com/p/34473430) && [机器学习之类别不平衡问题 (2) —— ROC和PR曲线](https://zhuanlan.zhihu.com/p/34655990) && [AUC详解与python实现](https://zhuanlan.zhihu.com/p/84035782) && [微平均和宏平均](https://zhuanlan.zhihu.com/p/78628437) && [机器学习中的性能度量](https://zhuanlan.zhihu.com/p/74980268) && [精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么](https://www.zhihu.com/question/30643044) +* [激活函数一览](https://zhuanlan.zhihu.com/p/30567264) && [深度学习中几种常见的激活函数理解与总结](https://www.cnblogs.com/XDU-Lakers/p/10557496.html) +* [深度学习笔记(三):激活函数和损失函数](https://blog.csdn.net/u014595019/article/details/52562159) +* [激活函数/损失函数汇总](https://zhuanlan.zhihu.com/p/30385380) +* [机器学习中常见的损失函数及其应用场景](https://blog.csdn.net/zuolixiangfisher/article/details/88649110) && [PyTorch的十八个损失函数](https://zhuanlan.zhihu.com/p/61379965) +* [深度度量学习中的损失函数](https://zhuanlan.zhihu.com/p/82199561) +* [反向传播算法(过程及公式推导)](https://blog.csdn.net/u014313009/article/details/51039334) +* [通俗理解神经网络BP传播算法](https://zhuanlan.zhihu.com/p/24801814) +* [10. Coursera吴恩达《优化深度神经网络》课程笔记(3)-- 超参数调试、Batch正则化和编程框架](https://zhuanlan.zhihu.com/p/30922689) +* [11. 机器学习各种熵](https://zhuanlan.zhihu.com/p/35423404) +* [12. 距离和相似性度量](https://zhuanlan.zhihu.com/p/27305237) +* [13. 机器学习里的黑色艺术:normalization, standardization, regularization](https://zhuanlan.zhihu.com/p/29974820) && [数据标准化/归一化normalization](https://blog.csdn.net/pipisorry/article/details/52247379) && [特征工程中的「归一化」有什么作用?](https://www.zhihu.com/question/20455227) +* [14. LSTM系列的梯度问题](https://zhuanlan.zhihu.com/p/36101196) +* [15. 损失函数整理](https://zhuanlan.zhihu.com/p/35027284) +* [16. 详解残差块为何有助于解决梯度弥散问题](https://zhuanlan.zhihu.com/p/28124810) +* [17. FAIR何恺明等人提出组归一化:替代批归一化,不受批量大小限制](https://zhuanlan.zhihu.com/p/34858971) +* [18. Batch Normalization(BN)]():[1 ](https://zhuanlan.zhihu.com/p/26702482),[2 ](https://blog.csdn.net/hjimce/article/details/50866313),[3 ](https://bbs.cvmart.net/topics/576),[4 ](https://blog.csdn.net/edogawachia/article/details/80040456), [5](https://zhuanlan.zhihu.com/p/38176412), [6](https://www.zhihu.com/question/38102762), [7](https://zhuanlan.zhihu.com/p/52132614) +* [19. 详解深度学习中的Normalization,不只是BN](https://zhuanlan.zhihu.com/p/33173246) && [如何区分并记住常见的几种 Normalization 算法](https://zhuanlan.zhihu.com/p/69659844) +* [20. BFGS](https://blog.csdn.net/philosophyatmath/article/details/70173128) +* [21. 详解深度学习中的梯度消失、爆炸原因及其解决方法](https://zhuanlan.zhihu.com/p/33006526) && [神经网络梯度消失和梯度爆炸及解决办法](https://blog.csdn.net/program_developer/article/details/80032376) +* [22. Dropout](https://arxiv.org/pdf/1207.0580.pdf), [1](https://blog.csdn.net/stdcoutzyx/article/details/49022443), [2](https://blog.csdn.net/hjimce/article/details/50413257), [3](https://blog.csdn.net/shuzfan/article/details/50580915),[系列解读Dropout](https://blog.csdn.net/shuzfan/article/details/50580915) +* [23.谱归一化(Spectral Normalization)的理解](https://blog.csdn.net/StreamRock/article/details/83590347),[常见向量范数和矩阵范数](https://blog.csdn.net/left_la/article/details/9159949),[谱范数正则(Spectral Norm Regularization)的理解](https://blog.csdn.net/StreamRock/article/details/83539937) +* [24.L1正则化与L2正则化](https://zhuanlan.zhihu.com/p/35356992) && [深入理解L1、L2正则化](https://zhuanlan.zhihu.com/p/29360425) && [L2正则=Weight Decay?并不是这样](https://zhuanlan.zhihu.com/p/40814046) && [都9102年了,别再用Adam + L2 regularization](https://zhuanlan.zhihu.com/p/63982470) +* [25.为什么选用交叉熵而不是MSE](https://zhuanlan.zhihu.com/p/61944055) &&[为什么使用交叉熵作为损失函数](https://zhuanlan.zhihu.com/p/63731947) &&[二元分类为什么不能用MSE做为损失函数?](http://sofasofa.io/forum_main_post.php?postid=1001792)&& [为什么平方损失函数不适用分类问题?](https://www.zhihu.com/question/319865092) +* [浅谈神经网络中的梯度爆炸问题](https://zhuanlan.zhihu.com/p/32154263) +* [为什么weight decay能够防止过拟合](https://www.zhihu.com/question/65626362) +* [交叉熵代价函数(作用及公式推导)](https://blog.csdn.net/u014313009/article/details/51043064) && [交叉熵损失的来源、说明、求导与pytorch实现](https://zhuanlan.zhihu.com/p/67782576) && [Softmax函数与交叉熵](https://zhuanlan.zhihu.com/p/27223959) && [极大似然估计与最小化交叉熵损失或者KL散度为什么等价](https://zhuanlan.zhihu.com/p/84764177) +* [梯度下降优化算法纵览](http://ruder.io/optimizing-gradient-descent/), [1](https://blog.csdn.net/qq_23269761/article/details/80901411), [2](https://www.cnblogs.com/guoyaohua/p/8542554.html), [几种优化算法的比较(BGD、SGD、Adam、RMSPROP)](https://blog.csdn.net/qq_32172681/article/details/100979476) +* **Softmax**:[详解softmax函数以及相关求导过程](https://zhuanlan.zhihu.com/p/25723112) && [softmax的log似然代价函数(公式求导)](https://blog.csdn.net/u014313009/article/details/51045303) && [【技术综述】一文道尽softmax loss及其变种](https://zhuanlan.zhihu.com/p/34044634) +* [从最优化的角度看待Softmax损失函数](https://zhuanlan.zhihu.com/p/45014864) && [Softmax理解之二分类与多分类](https://zhuanlan.zhihu.com/p/45368976) && [Softmax理解之Smooth程度控制](https://zhuanlan.zhihu.com/p/49939159) && [Softmax理解之margin](https://zhuanlan.zhihu.com/p/52108088) +* **权重初始化** + * [神经网络中的权重初始化一览:从基础到Kaiming](https://zhuanlan.zhihu.com/p/62850258) + * [深度学习中常见的权重初始化方法](https://zhuanlan.zhihu.com/p/138064188) + * [深度学习中神经网络的几种权重初始化方法](https://blog.csdn.net/u012328159/article/details/80025785) + * [谈谈神经网络权重为什么不能初始化为0](https://zhuanlan.zhihu.com/p/75879624) + * [神经网络中的偏置(bias)究竟有这么用?](https://www.zhihu.com/question/305340182) + * [深度学习里面的偏置为什么不加正则?](https://www.zhihu.com/question/66894061) +* [为什么说bagging是减少variance,而boosting是减少bias?](https://www.zhihu.com/question/26760839) + +## 四. 炼丹术士那些事 + +### 调参经验 +* [训练的神经网络不工作?一文带你跨过这37个坑](https://blog.csdn.net/jiandanjinxin/article/details/77190687) +* [Deep Learning 之 训练过程中出现NaN问题](https://blog.csdn.net/BVL10101111/article/details/76086344) +* [神经网络训练trick](https://zhuanlan.zhihu.com/p/59918821) +* [你有哪些deep learning(rnn、cnn)调参的经验?](https://www.zhihu.com/question/41631631) +* [GAN的一些小trick](https://zhuanlan.zhihu.com/p/27725664) +* [深度学习与计算机视觉系列(8)_神经网络训练与注意点](https://blog.csdn.net/han_xiaoyang/article/details/50521064) +* [神经网络训练loss不下降原因集合](https://blog.csdn.net/liuweiyuxiang/article/details/80856991) && [ loss不下降的解决方法](https://blog.csdn.net/zongza/article/details/89185852) +* [深度学习:欠拟合问题的几种解决方案](https://blog.csdn.net/u014038273/article/details/84108688) &&[过拟合和欠拟合问题](https://blog.csdn.net/mzpmzk/article/details/79741682) +* [机器学习:如何找到最优学习率](https://blog.csdn.net/whut_ldz/article/details/78882871)及[实现](https://github.com/L1aoXingyu/torchlib) +* [神经网络中 warmup 策略为什么有效](https://www.zhihu.com/question/338066667) +* [不平衡数据集处理方法](): [其一](https://machinelearningmastery.com/tactics-to-combat-imbalanced-classes-in-your-machine-learning-dataset/), [其二](https://www.zhihu.com/question/285824343), [其三](https://blog.csdn.net/songhk0209/article/details/71484469) && [Awesome Imbalanced Learning](https://github.com/ZhiningLiu1998/awesome-imbalanced-learning) && [Class-balanced-loss-pytorch](https://github.com/vandit15/Class-balanced-loss-pytorch) +* [同一个神经网络使用不同激活函数的表达能力是否一致](https://www.zhihu.com/question/41841299) +* [论文笔记之数据增广:mixup](https://blog.csdn.net/ly244855983/article/details/78938667#%E8%AE%A8%E8%AE%BA) +* [避坑指南:数据科学家新手常犯的13个错误](https://zhuanlan.zhihu.com/p/44331706) +* [凭什么相信CNN的结果?--可视化](https://bindog.github.io/blog/2018/02/10/model-explanation/) + * [凭什么相信你,我的CNN模型?(篇一:CAM和Grad-CAM)](https://bindog.github.io/blog/2018/02/10/model-explanation/) && [pytorch-grad-cam](https://github.com/jacobgil/pytorch-grad-cam) && [Grad-CAM-tensorflow](https://github.com/insikk/Grad-CAM-tensorflow) && [grad-cam.tensorflow](https://github.com/Ankush96/grad-cam.tensorflow) && [cnn_visualization](https://github.com/js-fan/mxnet/tree/d2b802e2d2af3dae5b4ac941354602630d2ef1c7/example/cnn_visualization) + * [凭什么相信你,我的CNN模型?(篇二:万金油LIME)](http://bindog.github.io/blog/2018/02/11/model-explanation-2/) + * [论文笔记:Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization](https://www.jianshu.com/p/294ad9ae2e50) + * [CV:基于Keras利用训练好的hdf5模型进行目标检测实现输出模型中的表情或性别的gradcam(可视化)](https://blog.csdn.net/qq_41185868/article/details/80323646) +* [大卷积核还是小卷积核?]() [1](https://www.jianshu.com/p/d75375dd7ebd), [2](https://blog.csdn.net/kuangtun9713/article/details/79475457) +* [模型可解释性差?你考虑了各种不确定性了吗?](https://baijiahao.baidu.com/s?id=1608193373391996908) +* [炼丹笔记系列]() + * [炼丹笔记一:样本不平衡问题](https://zhuanlan.zhihu.com/p/56882616) + * [炼丹笔记二:数据清洗](https://zhuanlan.zhihu.com/p/56022212) + * [炼丹笔记三:数据增强](https://zhuanlan.zhihu.com/p/56139575) + * [炼丹笔记四:小样本问题](https://zhuanlan.zhihu.com/p/56365469) + * [炼丹笔记五:数据标注](https://zhuanlan.zhihu.com/p/56443169) + * [炼丹笔记六 : 调参技巧](https://zhuanlan.zhihu.com/p/56745640) + * [炼丹笔记七:卷积神经网络模型设计](https://zhuanlan.zhihu.com/p/57738934) + +### 刷排行榜的小技巧 + +* [Kaggle 六大比赛最全面解析(上)](https://www.leiphone.com/news/201803/XBjvQriKTyTMPLcz.html) + +* [Kaggle 六大比赛最全面解析(下)](https://www.leiphone.com/news/201803/chz1DNHqgVWNEm5t.html) + +#### 图像分类 + +* [炼丹笔记三:数据增强](https://zhuanlan.zhihu.com/p/56139575) && [数据增强(Data Augmentation)](https://zhuanlan.zhihu.com/p/41679153) +* [【技术综述】 深度学习中的数据增强(上)](https://zhuanlan.zhihu.com/p/38345420) && [【技术综述】深度学习中的数据增强(下)](https://zhuanlan.zhihu.com/p/38437739) +* [深度学习数据增广技术一览](https://zhuanlan.zhihu.com/p/144921458) +* [《Bag of Tricks for Image Classification with CNN》](https://zhuanlan.zhihu.com/p/53324148)&& [pdf](https://arxiv.org/pdf/1812.01187.pdf) +* [深度神经网络模型训练中的最新tricks总结【原理与代码汇总】](https://zhuanlan.zhihu.com/p/66080948) && [神经网络训练trick](https://zhuanlan.zhihu.com/p/59918821) +* [Kaggle解决方案分享]() + * [从0上手Kaggle图像分类挑战:冠军解决方案详解](https://www.itcodemonkey.com/article/4898.html) + * [Kaggle 冰山图像分类大赛近日落幕,看冠军团队方案有何亮点](https://www.leiphone.com/news/201803/u40cjEZWArBfFaBm.html) + * [【Kaggle冠军分享】图像识别和分类竞赛,数据增强及优化算法](https://mp.weixin.qq.com/s/_S8EBBJ-u9g_fHp7I3ChMQ?) + * [识别座头鲸,Kaggle竞赛第一名解决方案解读](https://zhuanlan.zhihu.com/p/58496385) + * [kaggle 首战拿金牌总结](https://zhuanlan.zhihu.com/p/60953933) + * [16岁高中生夺冠Kaggle地标检索挑战赛!而且竟然是Kaggle老兵](https://zhuanlan.zhihu.com/p/37522227) + * [6次Kaggle计算机视觉类比赛赛后感](https://zhuanlan.zhihu.com/p/37663895) + * [Kaggle首战斩获第三-卫星图像识别](https://zhuanlan.zhihu.com/p/63275166) + +#### 目标检测 + +* ensemble +* deformable +* sync bn +* ms train/test +* [目标检测任务的优化策略tricks](https://zhuanlan.zhihu.com/p/56792817) +* [目标检测小tricks--样本不均衡处理](https://zhuanlan.zhihu.com/p/60612064) +* [汇总|目标检测中的数据增强、backbone、head、neck、损失函数](https://zhuanlan.zhihu.com/p/137769687) +* [目标检测算法中的常见trick](https://zhuanlan.zhihu.com/p/39262769) +* [Bag of Freebies —— 提升目标检测模型性能的免费tricks](https://zhuanlan.zhihu.com/p/141878389) +* [目标检测比赛中的tricks(已更新更多代码解析)](https://zhuanlan.zhihu.com/p/102817180) +* [Kaggle:肺癌自动诊断系统3D Deep Leaky Noisy-or Network 论文阅读](https://www.jianshu.com/p/50158f8daf0d) +* [干货|大神教你如何参加kaggle比赛——根据CT扫描图预测肺癌](https://yq.aliyun.com/articles/89312) + +## 五. 年度总结 +* [新年大礼包:机器之心2018高分教程合集](https://zhuanlan.zhihu.com/p/53717510) +* [收藏、退出一气呵成,2019年机器之心干货教程都在这里了](https://zhuanlan.zhihu.com/p/104022144) + +## 六. 科研相关 + +### 深度学习框架 + +#### Python3.x(先修) + +* [The Python Tutorial](https://docs.python.org/3/tutorial/) +* [廖雪峰Python教程](https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000) +* [菜鸟教程](http://www.runoob.com/python3/python3-tutorial.html)     +* [给深度学习入门者的Python快速教程 - 基础篇](https://zhuanlan.zhihu.com/p/24162430) +* [Python - 100天从新手到大师](https://github.com/jackfrued/Python-100-Days) +* [Python中读取,显示,保存图片的方法](https://blog.csdn.net/u010472607/article/details/78855816) && [Python的图像打开保存显示的几种方式](https://blog.csdn.net/weixin_37619439/article/details/86559239) + +#### Numpy(先修) + +* [Quickstart tutorial](https://www.numpy.org/devdocs/user/quickstart.html) + +* [Numpy快速入门(Numpy 1.14 官方文档中文翻译)](https://www.jianshu.com/p/3e566f09a0cf) +* [Numpy中文文档](https://www.numpy.org.cn/index.html) +* [给深度学习入门者的Python快速教程 - numpy和Matplotlib篇](https://zhuanlan.zhihu.com/p/24309547) + +#### Opencv-python + +* [OpenCV-Python Tutorials](https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_tutorials.html) +* [OpenCV官方教程中文版(For Python)](https://www.cnblogs.com/Undo-self-blog/p/8423851.html) +* [数字图像处理系列](https://blog.csdn.net/feilong_csdn/article/category/8037591) +* [python+OpenCV图像处理](https://blog.csdn.net/qq_40962368/article/category/7688903) +* [给深度学习入门者的Python快速教程 - 番外篇之Python-OpenCV](https://zhuanlan.zhihu.com/p/24425116) + +#### Pandas + +* [Python 数据科学入门教程:Pandas](https://www.jianshu.com/p/d9774cf1fea5?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation) + +#### Tensorflow + +* [如何高效地学习 TensorFlow 代码](https://www.zhihu.com/question/41667903) +* [中文教程](http://www.tensorfly.cn/tfdoc/tutorials/overview.html) +* [TensorFlow官方文档](https://www.w3cschool.cn/tensorflow_python/) +* [CS20:Tensorflow for DeepLearning Research](http://web.stanford.edu/class/cs20si/syllabus.html) +* [吴恩达TensorFlow专项课程](https://zhuanlan.zhihu.com/p/62981537) +* [【干货】史上最全的Tensorflow学习资源汇总](https://zhuanlan.zhihu.com/p/35515805?group_id=967136289941897216) +* [《21个项目玩转深度学习———基于TensorFlow的实践详解》](https://github.com/hzy46/Deep-Learning-21-Examples)   +* [最全Tensorflow2.0 入门教程持续更新](https://zhuanlan.zhihu.com/p/59507137) +* [Github优秀开源教程](https://github.com/search?o=desc&q=tensorflow+tutorial&s=&type=Repositories) + +#### MXNet +* [Gluon](http://zh.gluon.ai/#) +* [GluonCV](https://gluon-cv.mxnet.io/index.html#) +* [GluonNLP](http://gluon-nlp.mxnet.io/) + +#### PyTorch + +* [Pytorch版动手学深度学习](https://github.com/ShusenTang/Dive-into-DL-PyTorch) +* [PyTorch中文文档](https://pytorch-cn.readthedocs.io/zh/latest/) +* [WELCOME TO PYTORCH TUTORIALS](https://pytorch.org/tutorials/index.html) +* [史上最全的PyTorch学习资源汇总](https://zhuanlan.zhihu.com/p/64895011) +* [【干货】史上最全的PyTorch学习资源汇总](https://github.com/INTERMT/Awesome-PyTorch-Chinese) +* [Hands-on tour to deep learning with PyTorch](https://mlelarge.github.io/dataflowr-web/cea_edf_inria.html) +* [pytorch学习(五)—图像的加载/读取方式](https://www.jianshu.com/p/cfca9c4338e7) && [PyTorch—ImageFolder/自定义类 读取图片数据](https://blog.csdn.net/wsp_1138886114/article/details/83620869) + +### 深度学习常用命令 + +* [command_for_deeplearning](https://github.com/Stephenfang51/command_for_deeplearning/blob/master/command%20for%20deeplearning.md) +* [Shell编程](https://zhuanlan.zhihu.com/p/102176365) + +### Python可视化 + +* [Top 50 matplotlib Visualizations – The Master Plots (with full python code)](https://www.machinelearningplus.com/plots/top-50-matplotlib-visualizations-the-master-plots-python/) +* [Python之MatPlotLib使用教程](https://blog.csdn.net/zhw864680355/article/details/102500263) +* [十分钟上手matplotlib,开启你的python可视化](https://mp.weixin.qq.com/s/UfvEdzr-ZGmyT08yKDOchA) +* [给深度学习入门者的Python快速教程 - numpy和Matplotlib篇](https://zhuanlan.zhihu.com/p/24309547) + +### 标注工具 +* 目标检测标注工具 + * [labelImg](https://github.com/tzutalin/labelImg) +* 语义分割标注工具 + * [labelme](https://github.com/wkentaro/labelme) + +### 数据集 +* [1. 25个深度学习相关公开数据集](https://zhuanlan.zhihu.com/p/35449783) +* [2. 自然语言处理(NLP)数据集](https://zhuanlan.zhihu.com/p/35423943) +* [3.全唐诗(43030首)](https://pan.baidu.com/s/1o7QlUhO) +* [4. 伯克利大学公开数据集](https://people.eecs.berkeley.edu/~taesung_park/) +* [5. ACL 2018资源:100+ 预训练的中文词向量](https://zhuanlan.zhihu.com/p/36835964) +* [6. 预训练中文词向量](https://github.com/Embedding/Chinese-Word-Vectors) +* [7. 公开数据集种子库](http://academictorrents.com) +* [8. 计算机视觉,深度学习,数据挖掘数据集整理](https://blog.csdn.net/c20081052/article/details/79814082) +* [9. 计算机视觉著名数据集CV Datasets](https://blog.csdn.net/accepthjp/article/details/51831026) +* [10. 计算机视觉相关数据集和比赛](https://blog.csdn.net/NNNNNNNNNNNNY/article/details/68485160) +* [11. 这是一份非常全面的开源数据集,你,真的不想要吗?](https://zhuanlan.zhihu.com/p/43846002) +* [12. 人群密度估计现有主要数据集特点及其比较](https://blog.csdn.net/weixin_40516558/article/details/81564464) +* [13. DANBOORU2017: A LARGE-SCALE CROWDSOURCED AND TAGGED ANIME ILLUSTRATION DATASET](https://www.gwern.net/Danbooru2017) +* [14. 行人重识别数据集](http://robustsystems.coe.neu.edu/sites/robustsystems.coe.neu.edu/files/systems/projectpages/reiddataset.html) +* [15. 自然语言处理常见数据集、论文最全整理分享](https://zhuanlan.zhihu.com/p/56144877) +* [16. paper, code, sota](https://paperswithcode.com/) +* [17. 旷视RPC大型商品数据集发布!](https://zhuanlan.zhihu.com/p/55627416) +* [18. CVPR 2019「准满分」论文:英伟达推出首个跨摄像头汽车跟踪数据集(汽车Re-ID)](https://zhuanlan.zhihu.com/p/60617001) +* [19.【OCR技术】大批量生成文字训练集](https://zhuanlan.zhihu.com/p/59052013) +* [20. 语义分析数据集-MSRA](https://github.com/msra-nlc/MSParS) +* [IEEE DataPort](https://ieee-dataport.org/) +* [数据集市](http://www.shujujishi.com/) +* [医疗/医学图像数据集]():[Medical Data for Machine Learning](https://github.com/beamandrew/medical-data) && [医疗领域图像挑战赛数据集](https://grand-challenge.org/challenges/) && [【医学影像系列:一】数据集合集 最新最全](https://blog.csdn.net/qq_31622015/article/details/90573874) && [medical-imaging-datasets](https://github.com/sfikas/medical-imaging-datasets) && [【数据集】一文道尽医学图像数据集与竞赛](https://zhuanlan.zhihu.com/p/50615907) && [医学图像数据集汇总](https://zhuanlan.zhihu.com/p/102855802) + +### 记笔记工具 + +* [Markdown编辑器:Typora介绍](https://zhuanlan.zhihu.com/p/67153848) +* [Markdown语法介绍(常用)](https://zhuanlan.zhihu.com/p/47897214) +* [Markdown 语法手册 (完整整理版)](https://blog.csdn.net/witnessai1/article/details/52551362) +* [Markdown中Latex 数学公式基本语法](https://blog.csdn.net/u014630987/article/details/70156489) + +### 会议期刊列表 + +* [国际会议日期表](https://github.com/JackieTseng/conference_call_for_paper) +* [ai-deadlines](https://github.com/abhshkdz/ai-deadlines/) +* [Keep Up With New Trends](https://handong1587.github.io/deep_learning/2017/12/18/keep-up-with-new-trends.html) +* [计算机会议排名等级](https://blog.csdn.net/cserchen/article/details/40508181) +* [中国计算机学会(CCF)推荐国际学术刊物和会议](https://www.ccf.org.cn/Academic_Evaluation/By_category/) + +### 论文写作工具 +* [Windows: Texlive+Texstudio](https://jingyan.baidu.com/article/b2c186c83c9b40c46ff6ff4f.html) +* [Ubuntu: Texlive+Texmaker](https://jingyan.baidu.com/article/7c6fb4280b024180642c90e4.html) +* [Latex:基本用法、表格、公式、算法](https://blog.csdn.net/quiet_girl/article/details/72847208) +* [LaTeX 各种命令,符号](https://blog.csdn.net/garfielder007/article/details/51646604) + +### 论文画图工具 +* [Visio2016](https://msdn.itellyou.cn/) +* [Matplotlib](#Python可视化) + +### 论文写作教程 +* [刘知远_如何写一篇合格的NLP论文](https://zhuanlan.zhihu.com/p/58752815) +* [刘洋_如何写论文_V7](http://nlp.csai.tsinghua.edu.cn/~ly/talks/cwmt14_tut.pdf) +* [如何端到端地写科研论文-邱锡鹏](https://xpqiu.github.io/slides/20181019-PaperWriting.pdf) +* [论文Introduction写作其一](https://zhuanlan.zhihu.com/p/33876355), [论文Introduction写作其二](https://zhuanlan.zhihu.com/p/52494933), [论文Introduction写作其三](https://zhuanlan.zhihu.com/p/52494879) +* [毕业论文怎么写](https://zhuanlan.zhihu.com/c_179195484) +* [浅谈学术论文rebuttal](https://zhuanlan.zhihu.com/p/104298923) && [学术论文投稿与返修(Rebuttal)分享](https://zhuanlan.zhihu.com/p/344008879) +* [研之成理写作实验室](https://zhuanlan.zhihu.com/rationalscience-writing-lab) +* [智源论坛·论文写作专题报告会]():[《论文写作小白的成长之路》](https://zhuanlan.zhihu.com/p/135989892) && [《谈如何写一篇合格的国际学术论文》](https://zhuanlan.zhihu.com/p/136005095) && [《计算机视觉会议论文从投稿到接收》](https://zhuanlan.zhihu.com/p/139571199) + +### ResearchGos + +* [ResearchGo:研究生活第一帖——文献检索与管理](https://zhuanlan.zhihu.com/p/22323250?refer=wjdml) +* [ResearchGo:研究生活第二贴——文献阅读](https://zhuanlan.zhihu.com/p/22402393?refer=wjdml) +* [ResearchGo:研究生活第三帖——阅读辅助](https://zhuanlan.zhihu.com/p/22622502?refer=wjdml) +* [ResearchGo:研究生活第四帖——文献调研](https://zhuanlan.zhihu.com/p/23178836?refer=wjdml) +* [ResearchGo:研究生活第五帖——文献综述](https://zhuanlan.zhihu.com/p/23356843?refer=wjdml) +* [ResearchGo:研究生活第六帖——如何讲论文](https://zhuanlan.zhihu.com/p/23872063?refer=wjdml) +* [ResearchGo:研究生活第七帖——专利检索与申请](https://zhuanlan.zhihu.com/p/25191025) +* [ResearchGo:研究生活第八帖——写论文、做PPT、写文档必备工具集锦](https://zhuanlan.zhihu.com/p/62100815) + +### 毕业论文排版 + +* [吐血推荐收藏的学位论文排版教程(完整版)](https://zhuanlan.zhihu.com/p/52495345) +* [论文怎么写——如何修改毕业论文格式](https://zhuanlan.zhihu.com/p/35951260) + +_____ + +______ + +## 信号处理 + +### 傅里叶变换 + +* [傅里叶分析之掐死教程(完整版)更新于2014.06.06](https://zhuanlan.zhihu.com/p/19763358) +* [如何简明的总结傅里叶变换?](https://www.zhihu.com/question/34899574/answer/612923473) +* [从连续时间傅里叶级数到快速傅里叶变换](https://blog.csdn.net/clover13/article/details/79469851) +* [十分简明易懂的FFT(快速傅里叶变换)](https://blog.csdn.net/enjoy_pascal/article/details/81478582) +* [傅里叶级数推导过程](https://blog.csdn.net/hanxiaohu88/article/details/8245687) + +### 小波变换 + +* [形象易懂讲解算法I——小波变换](https://zhuanlan.zhihu.com/p/22450818) + +* [小波变换完美通俗讲解系列之 (一)](https://zhuanlan.zhihu.com/p/44215123) && [小波变换完美通俗讲解系列之 (二)](https://zhuanlan.zhihu.com/p/44217268) + +#### 实战 +* [MWCNN中使用的haar小波变换 pytorch](https://www.cnblogs.com/wanghui-garcia/p/12524515.html) +* [【小波变换】小波变换入门----haar小波](https://blog.csdn.net/baidu_27643275/article/details/84826773) +* [(3)小波变换原理及应用](https://blog.csdn.net/hhaowang/article/details/82909332) +* [图像处理-小波变换](https://blog.csdn.net/qq_30815237/article/details/89704855) + +## 机器学习理论与实战 + +* [机器学习原理](https://github.com/shunliz/Machine-Learning):star: +* [ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结](https://zhuanlan.zhihu.com/p/34534004) +* [数据挖掘十大算法简要说明](http://www.cnblogs.com/en-heng/p/5013995.html),[机器学习十大经典算法入门](https://blog.csdn.net/qq_42379006/article/details/80741808) && [【算法模型】轻松看懂机器学习十大常用算法](https://www.cnblogs.com/ljt1412451704/p/9678248.html) +* [AdaBoost到GBDT系列]() + * [当我们在谈论GBDT:从 AdaBoost 到 Gradient Boosting](https://zhuanlan.zhihu.com/p/25096501?refer=data-miner) + * [当我们在谈论GBDT:Gradient Boosting 用于分类与回归](https://zhuanlan.zhihu.com/p/25257856?refer=data-miner) + * [当我们在谈论GBDT:其他 Ensemble Learning 算法](https://zhuanlan.zhihu.com/p/25443980) + +### 机器学习理论篇之经典算法 + +#### 信息论 +* [1. 机器学习中的各种熵](https://zhuanlan.zhihu.com/p/35423404)     +* [2. 从香农熵到手推KL散度:纵览机器学习中的信息论](https://zhuanlan.zhihu.com/p/32985487) + +#### 多层感知机(MLP) +* [多层感知机(MLP)学习与总结博客](https://blog.csdn.net/baidu_33718858/article/details/84972537) +* [多层感知机:Multi-Layer Perceptron](https://blog.csdn.net/xholes/article/details/78461164) +* [神经网络基础-多层感知器(MLP)](https://blog.csdn.net/weixin_38206214/article/details/81137911) + +#### k近邻(KNN) + +* [机器学习之KNN(k近邻)算法详解](https://blog.csdn.net/sinat_30353259/article/details/80901746) + +#### k均值(K-means) + +* [Kmeans聚类算法详解](https://blog.csdn.net/qq_32892383/article/details/80107795) + +#### 朴素贝叶斯(Naive Bayesian) + +* [一个例子搞清楚(先验分布/后验分布/似然估计)](https://blog.csdn.net/qq_23947237/article/details/78265026) +* [朴素贝叶斯分类器(Naive Bayesian Classifier)](https://blog.csdn.net/qq_32690999/article/details/78737393) +* [朴素贝叶斯分类器 详细解析](https://blog.csdn.net/qq_17073497/article/details/81076250) + +#### 决策树(Decision Tree) +* [最常见核心的决策树算法详细介绍,含ID3、C4.5、CART:star:](https://mp.weixin.qq.com/s/lXaPZyNrgG9LBv-JHdGm9A) && [最常用的决策树算法!Random Forest、Adaboost、GBDT 算法:star:](https://mp.weixin.qq.com/s/Nl_-PdF0nHBq8yGp6AdI-Q) && [终于有人把XGBoost 和 LightGBM 讲明白了,项目中最主流的集成算法!:star:](https://mp.weixin.qq.com/s/LoX987dypDg8jbeTJMpEPQ) +* [为什么xgboost要用泰勒展开,优势在哪里](http://blog.itblood.com/4082.html) +* [Python3《机器学习实战》学习笔记(二):决策树基础篇之让我们从相亲说起](https://blog.csdn.net/c406495762/article/details/75663451) +* [Python3《机器学习实战》学习笔记(三):决策树实战篇之为自己配个隐形眼镜](https://blog.csdn.net/c406495762/article/details/76262487) +* [机器学习实战教程(十三):树回归基础篇之CART算法与树剪枝](http://cuijiahua.com/blog/2017/12/ml_13_regtree_1.html) +* [《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART)](https://blog.csdn.net/gamer_gyt/article/details/51242815) +* [说说决策树剪枝算法](https://zhuanlan.zhihu.com/p/31404571) +* [机器学习实战 第九章 树回归](https://blog.csdn.net/namelessml/article/details/52595066) +* [决策树值ID3、C4.5实现](https://blog.csdn.net/u014688145/article/details/53212112) +* [决策树之CART实现](https://blog.csdn.net/u014688145/article/details/53326910) + +#### 随机森林(Random Forest) +* [随机森林和GBDT的区别](https://blog.csdn.net/login_sonata/article/details/73929426) +* [随机森林(Random Forest)入门与实战](https://blog.csdn.net/sb19931201/article/details/52601058) +* [随机森林之特征选择](https://www.cnblogs.com/justcxtoworld/p/3447231.html) + +#### 线性回归(Linear Regression) + +* [线性回归最小二乘法和最大似然估计](https://blog.csdn.net/lt793843439/article/details/91392646) +* [【从入门到放弃】线性回归](https://zhuanlan.zhihu.com/p/147297924) +* [线性回归(频率学派-最大似然估计)与岭回归(贝叶斯角度-最大后验估计)的概率解释](https://blog.csdn.net/z_feng12489/article/details/101388745) +* [机器学习笔记四:线性回归回顾与logistic回归](https://blog.csdn.net/xierhacker/article/details/53316138) + +#### 逻辑回归(Logistic Regression) + +* [【机器学习面试总结】—— LR(逻辑回归)](https://zhuanlan.zhihu.com/p/100763009) +* [【机器学习面试题】逻辑回归篇](https://zhuanlan.zhihu.com/p/62653034) +* [极大似然概率和最小损失函数,以及正则化简介](https://www.jianshu.com/p/9d2686cd407e) +* [GLM(广义线性模型) 与 LR(逻辑回归) 详解](https://blog.csdn.net/Cdd2xd/article/details/75635688) + +#### 支持向量机(SVM) +* [【机器学习面试总结】—— SVM](https://zhuanlan.zhihu.com/p/93715996) +* [SVM系列-从基础到掌握](https://zhuanlan.zhihu.com/p/61123737) +* [SVM通俗导论 July](https://github.com/Mikoto10032/DeepLearning/blob/master/books/%E6%94%AF%E6%8C%81%E5%90%91%E9%87%8F%E6%9C%BA%E9%80%9A%E4%BF%97%E5%AF%BC%E8%AE%BA%EF%BC%88%E7%90%86%E8%A7%A3SVM%E7%9A%84%E4%B8%89%E5%B1%82%E5%A2%83%E7%95%8C%EF%BC%89LaTeX%E6%9C%80%E6%96%B0%E7%89%88_2015.1.9.pdf)  +* [核函数 ](): [机器学习有很多关于核函数的说法,核函数的定义和作用是什么?](https://www.zhihu.com/question/24627666) && [SVM中,高斯核为什么会把原始维度映射到无穷多维?](https://www.zhihu.com/question/35602879) && [svm核函数的理解和选择](https://blog.csdn.net/leonis_v/article/details/50688766) && [核函数和径向基核函数 (Radial Basis Function)--RBF](https://blog.csdn.net/huang1024rui/article/details/51510611) && [SVM核函数](https://blog.csdn.net/xiaowei_cqu/article/details/35993729) + +#### 提升方法(Adaboost) + +* [当我们在谈论GBDT:从 AdaBoost 到 Gradient Boosting](https://zhuanlan.zhihu.com/p/25096501) + +#### 梯度提升决策树(GBDT) +* [LightGBM大战XGBoost](https://zhuanlan.zhihu.com/p/35645973) +* [概述XGBoost、Light GBM和CatBoost的同与不同](https://zhuanlan.zhihu.com/p/34698733)   && [XGBoost、LightGBM、Catboost总结](https://www.cnblogs.com/lvdongjie/p/11391245.html) && [XGBoost、Light GBM和CatBoost的参数及性能比较](https://zhuanlan.zhihu.com/p/34698733) +* [梯度提升决策树](https://zhuanlan.zhihu.com/p/36339161) +* [GBDT原理及应用](https://zhuanlan.zhihu.com/p/30339807) +* [XGBOOST原理篇](https://zhuanlan.zhihu.com/p/31654000) +* [xgboost入门与实战(原理篇)](https://blog.csdn.net/sb19931201/article/details/52557382) && [xgboost入门与实战(实战调参篇)](https://blog.csdn.net/sb19931201/article/details/52577592) +* [【干货合集】通俗理解kaggle比赛大杀器xgboost](https://zhuanlan.zhihu.com/p/41417638) +* [GBDT分类的原理及Python实现](https://blog.csdn.net/bf02jgtrs00xktcx/article/details/82719765) +* [GBDT原理及利用GBDT构造新的特征-Python实现](https://blog.csdn.net/shine19930820/article/details/71713680) +* [Python+GBDT算法实战——预测实现100%准确率](https://www.jianshu.com/p/47e73a985ba1) +* [xgboost之近似分位数算法(直方图算法)详解](https://blog.csdn.net/m0_37870649/article/details/104561431) + +#### EM(期望最大化) +* [人人都懂的EM算法 ](https://zhuanlan.zhihu.com/p/36331115) +* [EM算法入门文章](https://zhuanlan.zhihu.com/p/61768577)                       + +#### 高斯混合模型(GMM) +* [高斯混合模型与EM算法的数学原理及应用实例](https://zhuanlan.zhihu.com/p/67107370) +* [高斯混合模型(GMM)](https://zhuanlan.zhihu.com/p/30483076) + +#### 马尔科夫决策过程(MDP) +* [马尔科夫决策过程之Markov Processes(马尔科夫过程)](https://zhuanlan.zhihu.com/p/35124726) +* [马尔科夫决策过程之Markov Reward Process(马尔科夫奖励过程)](https://zhuanlan.zhihu.com/p/35231424) +* [马尔科夫决策过程之Bellman Equation(贝尔曼方程)](https://zhuanlan.zhihu.com/p/35261164) +* [马尔科夫决策过程之Markov Decision Process(马尔科夫决策过程)](https://zhuanlan.zhihu.com/p/35354956) +* [马尔科夫决策过程之最优价值函数与最优策略](https://zhuanlan.zhihu.com/p/35373905) + +#### 条件随机场(CRF, 判别式模型) +* [如何轻松愉快地理解条件随机场](https://zhuanlan.zhihu.com/p/104562658) +* [如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别?](https://www.zhihu.com/question/35866596) +* [HMM ,MHMM,CRF 优缺点与区别](https://blog.csdn.net/u013378306/article/details/55213029) + +#### 降维算法 +* [数据降维算法-从PCA到LargeVis](https://zhuanlan.zhihu.com/p/62470700) +* [12种降维方法终极指南(含Python代码)](https://zhuanlan.zhihu.com/p/43225794) + +#### 主成分分析(PCA) +* [主成分分析(PCA)原理详解](https://blog.csdn.net/program_developer/article/details/80632779) +* [图文并茂的PCA教程](https://blog.csdn.net/hustqb/article/details/78394058) +* [PCA数学原理](http://www.360doc.com/content/13/1124/02/9482_331688889.shtml) + +#### 奇异值分解(SVD) +* [强大的矩阵奇异值分解(SVD)及其应用](https://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html) +* [奇异值分解(SVD)](https://zhuanlan.zhihu.com/p/29846048) +* [奇异值分解(SVD)原理详解及推导](https://blog.csdn.net/zhongkejingwang/article/details/43053513)     +* [SVD在推荐系统中的应用详解以及算法推导](https://blog.csdn.net/zhongkejingwang/article/details/43083603) + +#### 线性判别分析(LDA) +* [教科书上的LDA为什么长这个样子?](https://zhuanlan.zhihu.com/p/42238953) + +#### 标签传播算法(Label Propagation Algorithm)     +* [标签传播算法(Label Propagation)及Python实现](https://blog.csdn.net/zouxy09/article/details/49105265) + * [参考资料](https://github.com/Mikoto10032/DeepLearning/blob/master/books/Semi-Supervised%20Learning%20with%20Graphs.pdf) + +#### 蒙塔卡罗树搜索(MCTS) +* [蒙特卡洛树搜索入门指南](https://zhuanlan.zhihu.com/p/34950988) + +#### 集成(Ensemble) + +* [集成学习之bagging,stacking,boosting概念理解](https://zhuanlan.zhihu.com/p/41809927) && [Bagging和Boosting的总结](https://www.zhihu.com/follow) + +* [集成学习法之bagging方法和boosting方法](https://blog.csdn.net/qq_30189255/article/details/51532442) +* [Bagging,Boosting,Stacking](https://blog.csdn.net/Mr_tyting/article/details/72957853) && [常用的模型集成方法介绍:bagging、boosting 、stacking](https://zhuanlan.zhihu.com/p/65888174) + +#### t分布随机邻居嵌入(TSNE) +* [流形学习-高维数据的降维与可视化](https://blog.csdn.net/u012162613/article/details/45920827) +* [tSNE](https://blog.csdn.net/flyingzhan/article/details/79521765) +* [使用t-SNE可视化图像embedding](https://zhuanlan.zhihu.com/p/81400277) + +#### 谱聚类(Spectral Clustering) +* [谱聚类(Spectral Clustering)算法介绍](https://blog.csdn.net/qq_24519677/article/details/82291867) +* [聚类5--谱和谱聚类](https://blog.csdn.net/xueyingxue001/article/details/51966980) + +#### 异常点检测 +* [数据挖掘中常见的「异常检测」算法有哪些?](https://www.zhihu.com/question/280696035/answer/417091151) +* [异常点检测算法综述](https://zhuanlan.zhihu.com/p/30169110) +* [异常检测的N种方法,其中有一个你一定想不到](https://mp.weixin.qq.com/s/RYLlUJiYbWqGIhzflbRGEg) +* [异常检测资源汇总:anomaly-detection-resources](https://zhuanlan.zhihu.com/p/158349346) + +### 机器学习实战篇 +* [机器学习中,有哪些特征选择的工程方法?](https://www.zhihu.com/question/28641663) && [机器学习(四):数据预处理--特征工程概述](https://zhuanlan.zhihu.com/p/103070096) && [特征工程完全手册 - 从预处理、构造、选择、降维、不平衡处理,到放弃](https://zhuanlan.zhihu.com/p/94994902) && [特征工程中的「归一化」有什么作用](https://www.zhihu.com/question/20455227) +* [15分钟带你入门sklearn与机器学习——分类算法篇](https://mp.weixin.qq.com/s?__biz=Mzg5NzAxMDgwNg==&mid=2247484110&idx=1&sn=b016e270d7b7707e6ad41a81ca45fc28&chksm=c0791fd7f70e96c103a8a2aebee166ce14f5648b3b889dd85dd9786f48b6b8269f11e5e27e1c&scene=21#wechat_redirect) && [如何为你的回归问题选择最合适的机器学习方法?](https://zhuanlan.zhihu.com/p/62034592) +* [十分钟上手sklearn:安装,获取数据,数据预处理](https://zhuanlan.zhihu.com/p/105039597) && [十分钟上手sklearn:特征提取,常用模型,交叉验证](https://zhuanlan.zhihu.com/p/105041301) +* [MachineLearning_Python](https://github.com/lawlite19/MachineLearning_Python) +* [Machine Learning Course with Python](https://github.com/machinelearningmindset/machine-learning-course) +* [Statistical-Learning-Method_Code](https://github.com/Dod-o/Statistical-Learning-Method_Code) +* [Python3机器学习](https://blog.csdn.net/c406495762/column/info/16415) +* [含大牛总结的分类模型一般需要调节的参数](https://www.jianshu.com/p/9d2452fc93c2) + + +## 机器学习、深度学习的一些研究方向 + +### 多任务学习(Multi-Task Learning) +* [模型汇总-14 多任务学习-Multitask Learning概述](https://zhuanlan.zhihu.com/p/27421983) +* [(译)深度神经网络的多任务学习概览(An Overview of Multi-task Learning in Deep Neural Networks)](http://www.cnblogs.com/shuzirank/p/7141017.html) +* [Multi-task Learning and Beyond: 过去,现在与未来](https://zhuanlan.zhihu.com/p/138597214); + +### 零次学习(Zero Shot Learning) +* [零次学习(Zero-Shot Learning)入门](https://zhuanlan.zhihu.com/p/34656727) + +### 小样本学习(Few-Shot Learning) + +* [few-shot learning是什么](https://blog.csdn.net/xhw205/article/details/79491649) +* [零次学习(Zero-Shot Learning)入门](https://zhuanlan.zhihu.com/p/34656727) +* [小样本学习(Few-shot Learning)综述](https://zhuanlan.zhihu.com/p/61215293) +* [Few-Shot Learning in CVPR 2019](https://towardsdatascience.com/few-shot-learning-in-cvpr19-6c6892fc8c5) +* [当小样本遇上机器学习 fewshot learning](https://blog.csdn.net/mao_feng/article/details/78939864) + +### 多视觉学习(Multi-View Learning) +* [Multi-view Learning 多视角学习入门](https://blog.csdn.net/danliwoo/article/details/79278574) +* [多视角学习 (Multi-View Learning)](https://blog.csdn.net/shine19930820/article/details/77426599) + +### 嵌入(Embedding) + +* [万物皆Embedding,从经典的word2vec到深度学习基本操作item2vec](https://zhuanlan.zhihu.com/p/53194407) +* [YJango的Word Embedding--介绍](https://zhuanlan.zhihu.com/p/27830489) + +### 迁移学习(Transfer Learning) +* [1. 迁移学习:经典算法解析](https://blog.csdn.net/linolzhang/article/details/73358219) +* [2. 什么是迁移学习 (Transfer Learning)?这个领域历史发展前景如何?](https://www.zhihu.com/question/41979241) +* [3. 迁移学习个人笔记](https://github.com/Mikoto10032/DeepLearning/blob/master/notes/日常阅读笔记/2018_4_12_迁移学习.pdf)   +* [迁移学习总结(One Shot Learning, Zero Shot Learning)](https://blog.csdn.net/XJTU_NOC_Wei/article/details/77850221) + +### 域自适应(Domain Adaptation) + +* [Domain Adaptation视频教程(附PPT)及经典论文分享](https://zhuanlan.zhihu.com/p/27519182) +* [模型汇总15 领域适应性Domain Adaptation、One-shot/zero-shot Learning概述](https://zhuanlan.zhihu.com/p/27449079) +* [【深度学习】论文导读:无监督域适应(Deep Transfer Network: Unsupervised Domain Adaptation)](https://blog.csdn.net/mao_xiao_feng/article/details/54426101) +* [【论文阅读笔记】基于反向传播的无监督域自适应研究](https://zhuanlan.zhihu.com/p/37298073) +* [【Valse大会首发】领域自适应及其在人脸识别中的应用](https://zhuanlan.zhihu.com/p/21441807) +* [CVPR 2018:基于域适应弱监督学习的目标检测](https://zhuanlan.zhihu.com/p/41126114) + +### 元学习(Meta Learning) + +* [OpenAI提出新型元学习方法EPG,调整损失函数实现新任务上的快速训练](https://zhuanlan.zhihu.com/p/35869158?group_id=970310501209645056)       + +### 强化学习(Reinforcement Learning) + +* [强化学习(Reinforcement Learning)知识整理](https://zhuanlan.zhihu.com/p/25498081) +* [强化学习从入门到放弃的资料](https://zhuanlan.zhihu.com/p/34918639) +* [强化学习入门](https://zhuanlan.zhihu.com/p/25498081) + * [强化学习入门 第一讲 MDP](https://zhuanlan.zhihu.com/p/25498081) +* [强化学习——从Q-Learning到DQN到底发生了什么?](https://zhuanlan.zhihu.com/p/35882937) +* [从强化学习到深度强化学习(上)](https://zhuanlan.zhihu.com/p/35688924)                   +* [从强化学习到深度强化学习(下)](https://zhuanlan.zhihu.com/p/35965070) +* [一文带你理解Q-Learning的搜索策略](https://zhuanlan.zhihu.com/p/37048004) + +### 对比学习(Contrastive Learning) + +* [论文列表](https://github.com/asheeshcric/awesome-contrastive-self-supervised-learning) +* [对比学习(Contrastive Learning):研究进展精要](https://zhuanlan.zhihu.com/p/367290573) +* [对比学习(Contrastive Learning)综述](https://zhuanlan.zhihu.com/p/346686467) +* [理解对比损失的性质以及温度系数的作用](https://zhuanlan.zhihu.com/p/357071960) + +### 推荐系统(Recommendation System) + +#### 论文列表 + +* [Embedding从入门到专家必读的十篇论文](https://zhuanlan.zhihu.com/p/58805184) +* [Reco-papers](https://github.com/wzhe06/Reco-papers) +* [Ad-papers](https://github.com/wzhe06/Ad-papers) +* [deep-recommender-system](https://github.com/chocoluffy/deep-recommender-system) +* [CTR预估系列入门手册](https://zhuanlan.zhihu.com/p/243243145) + +#### 教程 + +* [推荐系统从入门到接着入门](https://zhuanlan.zhihu.com/p/27502172) +* [深度学习推荐系统笔记](https://zhuanlan.zhihu.com/p/133528693) +* [推荐系统干货总结](https://zhuanlan.zhihu.com/p/34004488) +* [入门推荐系统,你不应该错过的知识清单](https://zhuanlan.zhihu.com/p/54819505) +* [从零开始了解推荐系统全貌](https://zhuanlan.zhihu.com/p/259985388) +* [推荐系统玩家 之 推荐系统入门——推荐系统的发展历程(上)](https://zhuanlan.zhihu.com/p/148207613) +* [推荐系统技术演进趋势:从召回到排序再到重排](https://zhuanlan.zhihu.com/p/100019681) +* [深入理解推荐系统:召回](https://zhuanlan.zhihu.com/p/115690499) && [深入理解推荐系统:排序](https://zhuanlan.zhihu.com/p/138235048) +* [召回算法有哪些](https://www.zhihu.com/question/423384620/answer/1687201890) +* [《深度学习推荐系统》总结系列一](https://zhuanlan.zhihu.com/p/138446984) && [《深度学习推荐系统》总结系列二](https://zhuanlan.zhihu.com/p/140894123) +* [推荐系统--完整的架构设计和算法(协同过滤、隐语义)](https://zhuanlan.zhihu.com/p/81752025) && [从0到1打造推荐系统-架构篇](https://zhuanlan.zhihu.com/p/123951784) +* [协同过滤和基于内容推荐有什么区别?](https://www.zhihu.com/question/19971859) +* [CTR深度交叉特征入门总结](https://zhuanlan.zhihu.com/p/257895631) +* [推荐系统学习笔记](https://blog.csdn.net/wuzhongqiang/category_10128687.html) + +#### 实战 + +* [ AI-RecommenderSystem](https://github.com/zhongqiangwu960812/AI-RecommenderSystem) +* [team-learning-rs](https://github.com/datawhalechina/team-learning-rs) +* [RecommendSystemPractice](https://github.com/Magic-Bubble/RecommendSystemPractice) +* [Surprise](http://surpriselib.com/) \ No newline at end of file