久久国产精品一区二区,超级97碰碰碰碰久久久久最新,精品久久人人爽天天玩人人妻

[zz] 灵魂调参师被 AutoGluon 打爆�Q�李沐：调得一手好参的时代要过��M��

杰哥 — Wed, 22 Jan 2020 15:25:00 GMT

日前�Q�亚马逊AWS推出AutoGluon�Q�只需三行代码自动生成高性能模型�Q�让调参、神�l�架构搜索等�q�程实现自动化�?/span>一位调参师亲自试了一番，他手工调的faster rcnn��p��AutoGluon通过NAS自动搜烦的yolo打爆了整�?个点�?/span>�q�也让李沐大��感慨：调得一手好参的时代要过��M��?/span>戛_��辚w��接上了解更多�Q?/span>

�q�日�Q�亚马逊宣布推出AutoGluon�Q�这是一个新的开源库�Q�开发�h员可以��用该库构建包含图像、文本或表格数据集的机器学习应用�E�序。��用AutoGluon�Q�只需�~�写几行代码��可以利用深度学习的力量来构建应用程序�?/section>

已经有不��朋友按耐不住内心的�Ȁ动开始尝鲜，�q�不�Q�一位名�?#8220;Justin ho”�?#8220;灵魂调参�?#8221;��q��自己的亲�w�经历给我们讲了一个深夜鬼故事�Q?/section>

新智�?/span> 点击�q�入获取原帖地址�Q�围观网友热�?/span>Mini Program

他手工调的faster rcnn�Q�resnet50 backbone�Q�就被AutoGluon通过NAS自动搜烦的yolo�Q�mobilenet backbone�Q�打爆了整整6个点�?/span>

�q�也让李沐大��感慨，调得一手好参的时代要过��M��Q?/section>

知乎�|�友�U�L��感慨�Q�调参法师要�׃��了：

接下来，我们为大家介�l�一下AutoGluon�?/span>

AutoGluon�Q�用更少的代码，打造更高的SOTA性能模型

深度学习是机器学习的一部分�Q�深度学习模型是受到��l�构的启发而生成的。深度学习算法通常包含不少层，用于学习输入数据的有用表�C�。比如，在面向图像识别的深度学习模型中，较低的层可检��更多的基本特征�Q�颜色或边缘�Q�，而较高的层可用于识别更复杂的特征�Q�如数字或对象）�?/span>

一般来�Ԍ��部��v深度学习模型�Q�实现最先进的性能需要广泛的专业知识。目前来看深度学习的应用仍主要局限在有限数量的专家中�Q�但在过��d��q�里�Q��ؓ了简化深度学习应用难度，降低门槛�Q�让机器学习为更多的技术专业�h员方便��用，研究人员的努力已�l�收��C��明显成效�?/span>

比如�Q�开发�h员早先必��L��入大量时间和专业知识�Q�来计算训练深度学习模型所需的梯度。梯度是向量�Q�可以标识出效果最好的参数更新�Q�最大程度地减少训练数据中实例的错误。像Theano�q�样的��Y件库甚至可以自动计算高度复杂的神�l�网�l�的梯度�Q�让开发�h员通过��h��代码使用日益复杂的神�l�体�pȝ��构�?/span>

像Keras�q�样的较新的库代表了深度学习普适化的又一�ơ进步�?/span>它允许开发�h员指定参敎ͼ�比如输入数量�Q�深度学习模型的层数�Q�甚至仅需几行代码��p��定义一个网�l�层�Q�从而简化了现有库中的大量样板代码，而这部分代码在现在的库中是必不可��的�?/span>

不过�Q�即使有了这些进步，今天的深度学习专家和开发�h员仍必须解决许多�ȝ��的问题，包括��参数调整、数据预处理、神�l�体�pȝ��构搜索以及迁�U�d��习有关的决策�?/span>

��参数调�?/span>涉及到如何选择��经�|�络中的层数、如何连接这些层�Q�即�|�络的体�pȝ��构）以及如何训练�|�络�?/span>
数据处理�Q?/span>包括数据分类和正��格式化矢量的数据预处理也可能是一个非帔R��烦的�q�程�?/span>

��经架构搜烦涉及自动化架构工�E�，能够使开发�h员�ؓ其机器学习模型找到最佌��计。所有这些决定都需要相当多的专业知识，提高了深度学习的门槛�?/span>

三行代码自动生成高性能模型�Q�让人工决策自动�?/section>

AutoGluon为开发�h员自动化了许多决�{�，开发�h员只需三行代码卛_��生成高性能的神�l�网�l�模型！

开发�h员无需在设计深度学习模型时手动��试必须做出的数癄��选择�Q�只需��单地指定让训�l�好的模型就�l�的旉��卛_��。作为响应，AutoGluon可以利用可用的计��资源在其分配的�q�行旉��内找到最强大的模型�?/span>

AutoGluon可以通过自动调整默认范围内的选择来生成仅需三行代码的模型，而这些默认范围在已知范围内可以很好地完成�l�定��d��。开发�h员只需指定他们何时准备好训�l�后的模型，AutoGluon��׃��利用可用的计��资源来在分配的runtime中找到最强大的模型�?/span>

Mueller��_��“�׃��深度学习固有的不透明性，深度学习专家做出的许多选择都是��Z��Ҏ��的直觉，没有很严格的�U�学指导规范。AutoGluon解决了这个问题，因�ؓ所有选择都会在默认范围内自动调整�Q�而且默认范围对于特定��d��和模型表现良好�?#8221;

官网指南�Q�AutoGluon快速上�?/span>

AutoGluon官方�|�站为开发�h员提供了许多教程�Q�可利用它们对表��|��文本和图像数据进行深度学习（诸如�늛�分类/回归�{�基本�Q务以及对象检��等更高�U�的��d��Q��?/span>

对于�l�验丰富的开发�h员，AutoGluon�|�站提供有关如何使用AutoGluon API来自动提高定制应用程序中的预��性能的自定义说明�?/span>

关于Autogluon��明��用教�E�和官方安装指南�{�更多信息，误��官网�Q?/span>

https://autogluon.mxnet.io/
Reference:

https://mp.weixin.qq.com/s/pUnQAfVgXQUJqJeqMKOCrw

杰哥 2020-01-22 23:25 发表评论

[zz] ��h��h��GAN专利�Q�一整套�Ҏ��训练�|�络被收入囊�?

杰哥 — Wed, 22 Jan 2020 15:08:00 GMT

作�?| 十、年

�~�辑 | Camel

��h��获得�?#8220;�Ҏ��训练��经�|�络”专利�?/span>

�Ҏ��FPO�Q�免费专利在�U�）信息昄��Q�此��专利申请于2016�q�的9月䆾�Q�生效于2019�q�的12�?1日�?/span>

其中�Q�发明�h为Ian J. Goodfellow�Q�Szegedy, Christian。谷歌作为受让�h拥有专利权，�q�意味着�l�神�l�网�l?Dropout 专利之后�Q�又一构徏��经�|�络的基��Ҏ��归属于谷歌�?/span>

�Ҏ��该专利的声明�Q�保护条�ƾ有14条。其中第一条便指出�q�是一�U�用来确定神�l�网�l�参数的�Ҏ��Q�在接下来的条款中详�l�介�l�了��经�|�络�Ҏ��训练的过�E�，涉及��C��数据处理、模型训�l�等�{�。也��是说��用对抗训�l�方法中的目标函敎ͼ��q�代�Ҏ��都是受法律保护的�?/span>

换句话说�Q�你如果使用�Ҏ��训练��经�|�络可能存在着付费的风险�?/span>

专利的其他参�?/span>

另外值得注意的是�Q�这��专利不仅包括GAN�Q?生成式对抗网�l�）。根据专利声明，其在甌��中所用词语�ؓ“�Ҏ��”�Q?#8220;�pȝ��”�Q�这意味着此项专利是用来解��x��一�c�L��器学习问题，而不是一个。另外，专利��面也标明了此项专利的其他参考来源不仅仅局限于Goodfellow的�?Generative Adversarial Nets》�?/span>

何�ؓ�Ҏ��训练

�Ҏ��训练��经�|�络最著名便是GAN�Q�即生成式对抗网�l�，主要用在囑փ�技术方面的囑փ�生成和自然语�a�斚w��的生成式对话内容�?/span>

生成�Ҏ��|�络框架

作�ؓ一�U�深度学习模型，GAN是近�q�来复杂分布上无监督学习最具前景的�Ҏ��之一。最初是Ian J. Goodfellow�{��h�?014�q?0月在“Generative Adversarial Networks ”中提��Z��的一个通过�Ҏ��q�程估计生成模型的新框架�Q�此框架能够使得训练模型的数据更��h��益�?/span>

在GAN讄��中，两个��q��l�网�l�（生成器和鉴别器）在这个框架中要扮演不同的角色。生成器试图生成来自某种概率分布的数据；鉴别器就像一个法官。它可以军_��输入是来自生成器�q�是来自真正的训�l�集�?/span>

例如在图像生成中如果生成器构造的囑փ�不够好，那么鉴别器就传达一个负反馈�l�生成器�Q�于是生成器�Ҏ��反馈调整自��n参数�Q�让下一�ơ生成的囄��质量得以提升�Q�它��是靠这�U�体内自循环的方式不断提升自己构造图片的能力。其�q�行�q�程�c�M��于武侠小说《射雕英雄传》中�Q�王重阳的师弟周伯通所使用�?#8220;左右互博”之术�?/span>

有何影响�Q?/span>只是��h��的自我防御？

��h��q�项专利在Reddit 论坛上有人提出忧虑，也有人相当乐观觉得没啥大不了的�?/span>

哇！多谢Goodfellow�Q�这非常��P��Z��个极其宽泛的概念甌��专利肯定不会扼杀创新�?/span>

有的意味深长的表�C�，�q�涵盖了��经�|�络的对抗训�l�，即针寚w��性，而不是一般的GAN�?/span>

�q�有�|�友质疑是否公��^�Q�甚臛_��问题引至了政治！

不过�Ҏ��h��针对Dropout专利的态度�Q�短旉��内应该不会有风险�Q�正如之前Jeff在Google 日本举行的传媒会议中回应的那��P��只是��Z��避免不必要麻烦，保护公司利益而做�Q��ƈ不�ؓ借专利技术赚钱，开发�h员毋��L��心�?/span>

但是对于我们中国现状�Q�自�ȝ��识��权的底层框架和核心算法缺乏，更多依靠开源代码和��法的情况下。谷歌一�p�d��专利��h��Q�不仅关乎科研，�q�关乎更致命的自��L��心算法和背后�?#8220;卡脖�?#8221;困境�?br />Reference:

https://mp.weixin.qq.com/s/oNSJGJIaJlCEs4LT6aUL5g

杰哥 2020-01-22 23:08 发表评论

杰哥 — Wed, 26 Jun 2019 17:41:00 GMT

目前不少人对China Daily存在偏见�Q�报�U怸�的文章都是中国�h写的�Q�因此不够地道。但�q�种偏见完全站不住脚�Q�因��Z��国日报的记者都是资��p��文写手，写作水��^要远��绝大多数读者，而且文章发表前还有外�c�专家润色审�E?/span>�?/span>
Reference: https://zhuanlan.zhihu.com/p/49847636

杰哥 2019-06-27 01:41 发表评论

杰哥 — Tue, 18 Jun 2019 17:01:00 GMT

囑փ�的频率：灰度值变化剧烈程度的指标�Q�是灰度在��^面空间上的梯度�?/font>

�Q?�Q�什么是低频?

低频��是颜色�~�慢地变�?也就是灰度缓慢地变化,��׃��表着那是�q�箋渐变的一块区�?�q�部分就是低�? 对于一�q�图像来��_��除去高频的就是低频了�Q�也��是边缘以内的内容�ؓ低频�Q�而边�~�内的内容就是图像的大部分信息，卛_��像的大致概貌和轮廓，是图像的�q�似信息�?/font>

�Q?�Q�什么是高频?

反过�? 高频��是频率变化�?囑փ�中什么时候灰度变化快?��是盔R��区域之间灰度相差很大,�q�就是变化得�?囑փ��?一个媄像与背景的边�~�部�?通常会有明显的差�?也就是说变化那条边线那里,灰度变化很快,也即是变化频率高的部�?因此�Q�图像边�~�的灰度值变化快�Q�就对应着频率高，即高频显�C�图像边�~�。图像的�l�节处也是属于灰度值急剧变化的区域，正是因�ؓ灰度值的急剧变化�Q�才会出现细节�?/font>

另外噪声�Q�即噪点�Q�也是这�?在一个像素所在的位置,之所以是噪点,��是因�ؓ它与正常的点颜色不一样了�Q�也��是说该像素点灰度值明显不一样了,,也就是灰度有快速地变化�?所以是高频部分�Q�因此有噪声在高频这么一说�?/font>

其实归根到底,是因为我们�h��D��别物体就是这��L��.假如你穿一个红衣服在红色背景布前拍�?你能很好地识别么?不能,因�ؓ衣服与背景融��Z��体了,没有变化,所以看不出�?除非有灯光从某解度照在�h物��n�?�q�样边缘处会出现高亮和阴�?�q�样我们��p��看到一些轮廓线,�q�些�U�就是颜�Ԍ��即灰度）很不一��L��地方.

---------------------

作者：charlene_bo

来源�Q�CSDN

原文�Q�https://blog.csdn.net/charlene_bo/article/details/70877999

杰哥 2019-06-19 01:01 发表评论

��h��学术影响力排�?2020 Scholar Metrics)

杰哥 — Fri, 17 May 2019 14:59:00 GMT

��h��学术影响力排�?2020 Scholar Metrics)

https://scholar.googleblog.com/2020/07/2020-scholar-metrics-released.html

��h��学术影响力排�?2019 Scholar Metrics)

2019�q�谷歌学者Top Publication榜单更新�Q�CVPR上升到整个工�E�与计算机科学类�W�二名。�h工智能领域NeurIPS, ICLR, ICML独占鳌头。自然语�a�处理榜单没有变化�Q�还是ACL�Q�EMNLP�Q�NAACL�?
Reference:
https://scholar.google.com/citations?view_op=top_venues&hl=en&vq=eng
Weibo of Weilian Wang on July 20, 2019. See my favourite on July 23, 2019.

https://m.sohu.com/a/245182179_473283/?pvid=000115_3w_a (read once)

2018��h��学术影响力排名出炉：CVPR�q�入�?0�Q�ResNet被引最多过万次�Q?/div>

来源�Q?/span>scholar.google.com

作者：闻菲

【新智元��D��】谷歌学术昨天发表了2018�q�最新的学术期刊和会议媄响力排名�Q?/span>CVPR�?/span>NIPS分别排名�W?/span>20和第54。在排名�W�一�?/span>Nature里，�q�去5�q�被引用�ơ数最高的论文�Q�正是深度学习三大神Hinton�?/span>LeCun�?/span>Bengio写的《深度学习》一文，�?/span>CVPR里被引次数最高的�Q�则�?/span>ResNet�Q�引用次数超�q�了1万次�?/span>

昨天�Q�谷歌学术（Google Scholar�Q�公布了2018�q�最新的学术期刊/会议影响力排名，从综合领域看�Q�毫不意外的�Q?/span>Nature�W�一�?/span>Science�W�三�Q�但值得��x��的是�Q?strong>计算��觉顶�?/strong>CVPR排名�W?/span>20�Q�另一�?/span>AI领域的顶�?/span>NIPS也排名第54�Q?/span>名次较去�q�有了大�q�提升�?/span>

��p��排名�W�一�?/span>Nature里，�q�去5�q�被引用�ơ数最高的论文�Q�也�?/span>“深度学习三大��?/span>”Hinton�?/span>LeCun�?/span>Bengio合著的《深度学习》一文�?/span>

不仅如此�Q�在CVPR里，�q�去5�q�被引次数最多的论文�Q�是当时�q�在微��Y亚洲研究院的孙剑、何恺明、张��雨、�Q��卿写的�?/span>ResNet�Q�被引次数已�l�过万�?/span>

2018 ��h��学术期刊和会议媄响力排名�Q?/span>CVPR�W?/span>20�Q?/span>NIPS�W?/span>54

首先来看�l�合领域�l�果�?/span>

大家比较兛_��?/span>Nature�?/span>Science分别位列�W�一和第三，��d��著名期刊《新英格兰杂志》和《柳叶刀》分别位于第二和�W�四。一向被国内�?/span>Nature�?/span>Science�q�列�Q�有“CNS”之称�?/span>Cell�Q�这�ơ排名第6�?/span>

接下来就是新智元的读者更为关注的与�h工智能有关的期刊和会议了�Q�这一�ơ，计算��觉顶�?/span>CVPR不负众望排名�W?/span>20�Q�由此计��机领域��会也终于进�?/span>Top20的行列�?/span>

另一斚w��Q?/span>AI领域另一个备受关注的会议NIPS�Q�也在综合排名中位列�W?/span>54�Q�取得了不错的成�l��?/span>

与神�l�科学相关的 Nature Neuroscience 排名�W?/span>44�?/span>

至于�W?/span>21名到�W?/span>40名的期刊�Q�实际上也有常有�?/span>AI相关的论文发表，大家也可以看一下排名�?/span>

值得一提，PLoS ONE位于�W?/span>23�Q?/span>Scientific Reports 排名�W?/span>39�Q�也��是不错的发表场所了�?/span>

在第61到第80名中��_��集中出现了多�?/span>IEEE期刊。被誉�ؓ另一个计��机视觉��会�?/span>ICCV�Q�排名第78�?/span>

�W?/span>81到第100名的期刊/会议排名如下�Q?/span>TPAMI 位于�W?/span>92�Q�果然好论文都优先去会议发表了�?/span>

工程与计��机领域Top 20�Q?/span>CVPR排名�W?/span>5

��h��学术计量排名�Ҏ��Q�过�?/span>5�q�被引用论文“h5指数”

��h��学术�Q?/span>Google Scholar�Q�期刊和会议排名主要��Z��h-index�?/span>实际上，�?/span>2012�q��v来，��h��学术计量�Q?/span>Google Scholar Metrics, GSM�Q�每�q�都会发布学术期刊和会议�?/span>GSM排名�?/span>

相比�U�睿唯安��Z��Web of Science数据库公布的《期刊引证报告》（Journal Citation Report, JCR�Q�，GSM不仅可以免费��索，而且收录的期刊和会议范围�q�远大于Web of Science�?/span>

�q�有一点，期刊/会议�?/span>“h5指数”�Q�过�?/span>5�q?/span>h-index�Q?/span>比较难以被�h为操控，不会因�ؓ多了一��超高被引论文而明昑֢�长，另一斚w��Q�刻意减��发文量也不会对提升h5指数有作用�?/span>

因此�Q?/span>h5指数可以体现期刊和会议的整体�l�合实力�Q�逐渐成�ؓ学术出版物和会议影响力评��L��一个重要参考�?/span>

��M��看，GSM主要参考以�?/span>3个指标：

相应圎ͼ�h5指数�Q?/span>h5-index�Q��?/span>h5核心�Q?/span>h5-core�Q�和h5中��|��h5-median�Q�，��是收录在谷歌学术系�l�中的期刊和会议在最�q?/span>5�q�的论文数量及各论文被引用的�ơ数�?/span>

例如�Q�如果某本期刊在�q�去5�q�所发表的论文中�Q�至��有 h ��论文分别被引用了至��?/span> h �ơ，那么�q�䆾杂志�?/span> h5指数��是 h�?/span>h5核心�?/span>h5中值的计算�Ҏ��也一栗��?/span>

了解更多�Q?/span>

https://scholar.google.com/citations?view_op=top_venues&hl=zh-CN&vq=en

开售！

http://www.aiworld2018.com/

��h��计算�?/span>

声明�Q�该文观点仅代表作者本人，搜狐��L��信息发布�q�_��Q�搜狐仅提供信息存储�I�间服务�?/span>

杰哥 2019-05-17 22:59 发表评论

[zz] How to Train a GAN? Tips and tricks to make GANs work

杰哥 — Mon, 01 Apr 2019 21:42:00 GMT

While research in Generative Adversarial Networks (GANs) continues to improve the fundamental stability of these models, we use a bunch of tricks to train them and make them stable day to day.

Here are a summary of some of the tricks.

Here's a link to the authors of this document

If you find a trick that is particularly useful in practice, please open a Pull Request to add it to the document. If we find it to be reasonable and verified, we will merge it in.

1. Normalize the inputs

normalize the images between -1 and 1
Tanh as the last layer of the generator output

2: A modified loss function

In GAN papers, the loss function to optimize G is min (log 1-D), but in practice folks practically use max log D

because the first formulation has vanishing gradients early on
Goodfellow et. al (2014)

In practice, works well:

Flip labels when training generator: real = fake, fake = real

3: Use a spherical Z

Dont sample from a Uniform distribution

Sample from a gaussian distribution

When doing interpolations, do the interpolation via a great circle, rather than a straight line from point A to point B
Tom White's Sampling Generative Networks ref code https://github.com/dribnet/plat has more details

4: BatchNorm

Construct different mini-batches for real and fake, i.e. each mini-batch needs to contain only all real images or all generated images.
when batchnorm is not an option use instance normalization (for each sample, subtract mean and divide by standard deviation).

5: Avoid Sparse Gradients: ReLU, MaxPool

the stability of the GAN game suffers if you have sparse gradients
LeakyReLU = good (in both G and D)
For Downsampling, use: Average Pooling, Conv2d + stride
For Upsampling, use: PixelShuffle, ConvTranspose2d + stride
- PixelShuffle: https://arxiv.org/abs/1609.05158

6: Use Soft and Noisy Labels

Label Smoothing, i.e. if you have two target labels: Real=1 and Fake=0, then for each incoming sample, if it is real, then replace the label with a random number between 0.7 and 1.2, and if it is a fake sample, replace it with 0.0 and 0.3 (for example).
- Salimans et. al. 2016
make the labels the noisy for the discriminator: occasionally flip the labels when training the discriminator

7: DCGAN / Hybrid Models

Use DCGAN when you can. It works!
if you cant use DCGANs and no model is stable, use a hybrid model : KL + GAN or VAE + GAN

8: Use stability tricks from RL

Experience Replay
- Keep a replay buffer of past generations and occassionally show them
- Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations
All stability tricks that work for deep deterministic policy gradients
See Pfau & Vinyals (2016)

9: Use the ADAM Optimizer

optim.Adam rules!
- See Radford et. al. 2015
Use SGD for discriminator and ADAM for generator

10: Track failures early

D loss goes to 0: failure mode
check norms of gradients: if they are over 100 things are screwing up
when things are working, D loss has low variance and goes down over time vs having huge variance and spiking
if loss of generator steadily decreases, then it's fooling D with garbage (says martin)

11: Dont balance loss via statistics (unless you have a good reason to)

Dont try to find a (number of G / number of D) schedule to uncollapse training
It's hard and we've all tried it.
If you do try it, have a principled approach to it, rather than intuition

For example

while lossD > A:   train D while lossG > B:   train G

12: If you have labels, use them

if you have labels available, training the discriminator to also classify the samples: auxillary GANs

13: Add noise to inputs, decay over time

Add some artificial noise to inputs to D (Arjovsky et. al., Huszar, 2016)
- http://www.inference.vc/instance-noise-a-trick-for-stabilising-gan-training/
- https://openreview.net/forum?id=Hk4_qw5xe
adding gaussian noise to every layer of generator (Zhao et. al. EBGAN)
- Improved GANs: OpenAI code also has it (commented out)

14: [notsure] Train discriminator more (sometimes)

especially when you have noise
hard to find a schedule of number of D iterations vs G iterations

15: [notsure] Batch Discrimination

Mixed results

16: Discrete variables in Conditional GANs

Use an Embedding layer
Add as additional channels to images
Keep embedding dimensionality low and upsample to match image channel size

17: Use Dropouts in G in both train and test phase

Provide noise in the form of dropout (50%).
Apply on several layers of our generator at both training and test time
https://arxiv.org/pdf/1611.07004v1.pdf

Authors

Soumith Chintala
Emily Denton
Martin Arjovsky
Michael Mathieu

Reference:
https://github.com/soumith/ganhacks#authors

GAN的一些小trick

最�q�训�l�GAN遇到了很多坑�Q�GAN的训�l�的��是个很dt的问题，如果只是用别人的paper跑一些应用还好，如果自己设计新的�l�构�Q�做一些新的研�I�的话，��需要了解这些trick了，都是泪~
�q�个doc soumith/ganhacks soumith/ganhacks ��直是GAN武林界的九阴真经�Q�看完以后感觉自�׃��了一个level�?/p>
自己做个�W�记�Q?/p>
1。normalize输入�Q�让它在[-1,1]。generater的输出用tanh�Q�也是[-1,1]�Q�这��对应�v来了�?/p>
2。论文里面optimize G是min log(1 - D)�Q�但在实际训�l�的时候可以用 max log(D)
3。对于噪声z�Q�别用均匀�Q�uniform�Q�分布，用高斯分布�?/p>
4。可以用instance norm代替 batch norm。还有就是real放一��P��generated放一��P��感觉�q�个是废话QAQ�Q��?/p>
5。避免稀疏的gradients�Q�RELU�Q�Maxpool那些。这一�Ҏ��认�ؓ原因是不像做辨别式的�|�络�Q�判别式的，��可能提取重要的信息�Q�其实一些对预测影响不大的信息都被忽略掉了。但是GAN不同�Q�是生成式的模型�Q�所以要��可能的表现出细节方面的内容�Q�所以避免��用稀疏的�q�些�Q?/p>
LeakyRelu
For Downsampling, use: Average Pooling, Conv2d + stride
For Upsampling, use: PixelShuffle, ConvTranspose2d + stride
6。可以把label�?的（real�Q�变�?.7~1.2�Q�label�?的变�?~0.3。这个可以深入想惟�?/p>
7。能用DCGAN��q��Q�用不了的话用�؜合模型，KL+GAN�Q�VAE+GAN之类的�?/p>
8。借用RL训练技巧�?/p>
Keep a replay buffer of past generations and occassionally show them
Keep checkpoints from the past of G and D and occassionaly swap them out for a few iterations
9。用ADAM�Q�或者是D可以用SGD�Q�G用ADAM
10。注意训�l�过�E�，��早发现训练��p�|�Q�不至于训练好长旉��最后才发现�Q�浪�Ҏ��间�?/p>
11。最好别��试讄��一些常量去balance G与D的训�l�过�E�。（他们说这个work很难做。我觉得有时间的话其实还是可以试一下的。）
12。如果你对real有相应的label�Q�用label�Q�AC-GAN。加入label信息�Q�可以降低生成的隑ֺ��Q�这个应该可以想的通�?/p>
13。加噪声�Q�作用是improve生成内容得diversity?
Add some artificial noise to inputs to D (Arjovsky et. al., Huszar, 2016)
adding gaussian noise to every layer of generator (Zhao et. al. EBGAN)
14。【not sure】多训练D�Q�特别是加噪声的时候�?/p>
15。【not sure】batch D�Q�感觉貌似是和pix2pix中的patchGAN有点像？
16。CGAN�Q�我一直觉得CGAN�q�种才符合�h�c�d��习的思�\。原始的GAN��太�_�暴了，��好像什么都不知道，然后两个人D与G讨论交流�Ҏ��Q��生的都是一些前人没有做�q�的工作�Q�开��的工作�Q�所以比较困难一些，但是CGAN的话��有了一定的前提�Q�也��是技术积累，所以比较简单一些。有点类似科研中的大牛挖坑，开辟新方向�Q�GAN�Q�。小牛填坑（CGAN�Q��?/p>
17。在G中的几层中用dropout�Q?0%�Q�。这个有一��论文，�q�没看�?/p>
��d��q�些感觉自己惌��设计GAN的话�Q�应该有个系�l�的认识了，不会觉得自己好像有哪些重要的地方�q�不知道�Q�很不踏实感觉。这�U�感觉对我这�U�强�q�症的感觉很不爽啊！�Q�看完以后顿时舒服了很多~~~

https://zhuanlan.zhihu.com/p/27725664

杰哥 2019-04-02 05:42 发表评论

logits

杰哥 — Tue, 26 Mar 2019 21:01:00 GMT

What is the meaning of the word logits in TensorFlow?

In the following TensorFlow function, we must feed the activation of artificial neurons in the final layer. That I understand. But I don't understand why it is called logits? Isn't that a mathematical function?

loss_function = tf.nn.softmax_cross_entropy_with_logits(

logits = last_layer,

labels = target_output

)

For example, in the last layer of the discriminator of generative adversarial networks (GAN), we will use sigmoid(logits) to get the output of D. This is discussed with Zhengxia.

Reference:

https://stackoverflow.com/questions/41455101/what-is-the-meaning-of-the-word-logits-in-tensorflow

杰哥 2019-03-27 05:01 发表评论

Github

杰哥 — Mon, 14 Jan 2019 20:16:00 GMT

例如"PyTorch_tutorial_0.0.5"的pytorch的第八页Code/1_data_prepare/1_1_cifar10_to_png.py,��Z��么Github�?链接另存�?与Clone or download出来的有区别?链接另存��然保存的也是.py文�g�Q�再在此文�g后加�?html后缀�Q�打开��是该网��，保存的实际是�|�页

��h��搜烦: Github difference clone download
When you clone you get a copy of the history and it is a functional git repo. Downloading a repository just downloads the files from the most recent commit of the default branch. It doesn't download any of the files in the .git folder. ... It's as ifgit never existed, and all you have is a copy of the code/files.
Zhengxia said, if you clone a project, you can have v1, v2 and the most recent version. If you download a project, you can only have the most recent version.

怎么clone,没什么特别讲�I�吧,�q�有�|�址? ��是点击Clone or download, Download ZIP,�q�样��是Download; 选择"Open in Desktop"�Q?你有没有安装GitHub Desktop�Q�Yuxiang说正常就用Download��p��了；没有安装GitHub Desktop�Q�他用的Git bash�Q�利�?#8220;Clone or download”的网址�Q�就能clone�Q�这个需要的时候再问�?br />

This is with Yuxiang and Zhengxia's help.

20200617 read twice https://guides.github.com/activities/hello-world/

learn GitHub’s Pull Request workflow, a popular way to create and review code.

Step 2. Create a Branch

Branching is the way to work on different versions of a repository at one time.

On GitHub, saved changes are called commits. Each commit has an associated commit message, which is a description explaining why a particular change was made. Commit messages capture the history of your changes, so other contributors can understand what you’ve done and why.
By using GitHub’s @mention system in your pull request message, you can ask for feedback from specific people or teams, whether they’re down the hall or 10 time zones away.

杰哥 2019-01-15 04:16 发表评论

杰哥 — Fri, 11 Jan 2019 18:43:00 GMT

正定、超定、欠定矩�?/div>

正定

定义

�q�义定义

设M是n阶方阵，如果对�Q何非零向量z�Q�都�?z′Mz>0z′Mz>0�Q�其中z’ 表示z的�{�|�，��q��M正定矩阵。[1]

例如�Q�B为n阶矩阵，E为单位矩阵，a为正实数。aE+BaE+B在a充分大时�Q�aE+BaE+B为正定矩��c��（B必须为对�U�阵�Q��?/div>

狭义定义

一个n阶的实对�U�矩阵M是正定的当且仅当对于所有的非零实系数向量z�Q�都有z′Mz>0z′Mz>0。其中z’表示z的�{�|��?/div>

性质

正定矩阵在合同变换下可化为标准型�Q?卛_��位矩��c�?/div>

合同矩阵�Q�两个实对称矩阵A和B�Q�如存在可逆矩阵P�Q��得A=PTBPA=PTBP�Q�就�U�矩阵A和B互�ؓ合同矩阵�Q��ƈ且称由A到B的变换叫合同变换�?/div>

所有特征值大于零的对�U�矩阵（或厄�c�矩阵）是正定矩��c�?/div>

判定定理1�Q�对�U�阵A为正定的充分必要条�g是：A的特征值全为正�?nbsp;

判定定理2�Q�对�U�阵A为正定的充分必要条�g是：A的各阉��序主子式都�ؓ正�?nbsp;

判定定理3�Q��Q意阵A为正定的充分必要条�g是：A合同于单位阵�?/div>

1.正定矩阵一定是非奇异的。非奇异矩阵的定义：若n阶矩阵A的行列式不�ؓ�Ӟ��即|A|≠0|A|≠0�?nbsp;

2.正定矩阵的�Q一��d��矩阵也是正定矩阵�?nbsp;

3.若A为n阶对�U�正定矩阵，则存在唯一的主对角�U�元素都是正数的下三角阵L�Q��得A=L∗L'A=L∗L′�Q�此分解式称�?正定矩阵的乔列斯基（Cholesky�Q�分解�?nbsp;

4.若A为n阶正定矩阵，则A为n阶可逆矩��c�?/div>

矩阵的每一行代表一个方�E�，m行代表m个线性联立方�E��?n列代表n个变量。如果m是独立方�E�数�Q�根据m

��定方程�l?/div>

方程个数大于未知量个数的方程�l��?/div>

对于方程�l?Ra=yRa=y�Q�R为n×mn×m矩阵�Q�如果R列满�U�，且n>mn>m�?/div>

��定方程一般是不存在解的矛盾方�E��?/div>

例如�Q�如果给定的三点不在一条直�U�上�Q�我们将无法得到�q�样一条直�U�，使得�q�条直线同时�l�过�l�定�q�三个点�?也就是说�l�定的条�Ӟ��限制�Q�过于严��|�� D��解不存在。在实验数据处理和曲�U�拟合问题中�Q�求解超定方�E�组非常普遍。比较常用的�Ҏ��是最��二乘法。�Ş象的��_��是在无法完全满��给定的�q�些条�g的情况下�Q�求一个最接近的解�?/div>

曲线拟合的最��二乘法要解决的问题�Q�实际上��是求以上超定方�E�组的最��二乘解的问题�?/div>

�Ơ定方程�l?/div>

方程个数��于未知量个数的方程�l��?/div>

对于方程�l�Ra=yRa=y�Q�RR为n×mn×m 矩阵�Q�且n

内点法和梯度投媄法是目前解欠定方�E�组的常用方法�?/div>

---------------------

原文�Q�https://blog.csdn.net/hfdwdjl/article/details/44133845

评论:�Ơ定方程�Q?span style="font-family: 楷体;">�q�种定义不太严格�Q�因�?/span>n未必有无�I�多解，极端例子,x+y+z=1�?/span>x+y+z=3�Q�两个方�E�，三个未知敎ͼ�无解�?/span>

�q�是要应该要用到the notes of linear algebra P41反页。下面维��Z��q�个应该是严格的�Q�有无穷多解的就叫欠定�?br />https://zh.wikipedia.org/wiki/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84

杰哥 2019-01-12 02:43 发表评论

Stepwise Feature Selection

杰哥 — Wed, 05 Dec 2018 22:32:00 GMT

Feature Selection

However, there are some heuristic approaches that are often useful. We will look at the following approaches:

Exhaustive methods
Stepwise selection
Feature combination

Stepwise Selection

A common suggestion for avoiding the consideration of all subsets is to use stepwise selection. There are two standard approaches:

Forward selection. Begin by finding the best single feature, and commit to it. In general, given a set of selected features, add the feature that improves performance most.
Backward elimination. From a set of remaining features, repeatedly delete the feature that reduces performance the least.

Reference:
https://www.cs.princeton.edu/courses/archive/fall08/cos436/Duda/FS/FS_home.htm
https://www.cs.princeton.edu/courses/archive/fall08/cos436/Duda/FS/stepwise.htm

杰哥 2018-12-06 06:32 发表评论

Affine Functions (仿射函数)

杰哥 — Thu, 25 Oct 2018 19:09:00 GMT

Affine Functions

Affine Functions in 1D:

An affine function is a function composed of a linear function + a constant and its graph is a straight line. The general equation for an affine function in 1D is: y = Ax + c.

An affine function demonstrates an affine transformation which is equivalent to a linear transformation followed by a translation. In an affine transformation there are certain attributes of the graph that are preserved. These include:

• If three points all belong to the same line then under an affine transformation those three points will still belong to the same line and the middle point will still be in the middle.

• Parrallel lines remain parrallel.

• Concurrent lines remain concurrent.

• The ratio of length of line segments of a given line remains constant.

• The ratio of areas of two triangles remains constant.

• Ellipses remain ellipses and the same is true for parabolas and hyperbolas.

Affine Functions in 2D:

In 2D the equation of an affine function is f(x,y)=Ax + By + C.

The graph of a wave in 2D as shown in the next section shows the example of a graph of a 2D affine function.

Affine Functions in 3D:

In 3D the equation of an affine function is f(x,y,z)=Ax + By + Cz + D.

Reference:

http://www.math.ubc.ca/~cass/courses/m309-03a/a1/olafson/affine_fuctions.htm

杰哥 2018-10-26 03:09 发表评论

[zz] Adversarial Nets Papers

杰哥 — Fri, 28 Sep 2018 14:02:00 GMT

摘要: The classic about Generative Adversarial NetworksFirst paper [Generative Adversarial Nets] [Paper] [Code](the First paper of GAN)Unclassified [Deep Generative Image Models using a ... 阅读全文

杰哥 2018-09-28 22:02 发表评论

[zz] 2018 CVPR GAN 相关论文调研

杰哥 — Fri, 28 Sep 2018 14:00:00 GMT

风格�q�移

1. PairedCycleGAN: Asymmetric Style Transfer for Applying and Removing Makeup

�Q�给��化妆的风��D�{�U�）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chang_PairedCycleGAN_Asymmetric_Style_CVPR_2018_paper.pdf

2.CartoonGAN: Generative Adversarial Networks for Photo Cartoonization

�Q�将囄��转化为卡通风格的GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_CartoonGAN_Generative_Adversarial_CVPR_2018_paper.pdf

3.StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

�Q��h脸多�U�风��D�{换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Choi_StarGAN_Unified_Generative_CVPR_2018_paper.pdf

4.Multi-Content GAN for Few-Shot Font Style Transfer

�Q�字体风��D�{换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Azadi_Multi-Content_GAN_for_CVPR_2018_paper.pdf

5.DA-GAN: Instance-level Image Translation by Deep Attention Generative Adversarial Networks

�Q�图到图转换�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ma_DA-GAN_Instance-Level_Image_CVPR_2018_paper.pdf

6. Conditional Image-to-Image translation

�Q�图到图的�{换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Lin_Conditional_Image-to-Image_Translation_CVPR_2018_paper.pdf

囄��处理

1. DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks

�Q�去模糊�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kupyn_DeblurGAN_Blind_Motion_CVPR_2018_paper.pdf

2.Attentive Generative Adversarial Network for Raindrop Removal from A Single Image

�Q�去除图片中的雨��_��

http://openaccess.thecvf.com/content_cvpr_2018/papers/Qian_Attentive_Generative_Adversarial_CVPR_2018_paper.pdf

3. Deep Photo Enhancer: Unpaired Learning for Image Enhancement from Photographs with GANs

�Q�用于照片增强）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_Deep_Photo_Enhancer_CVPR_2018_paper.pdf

4. SeGAN: Segmenting and Generating the Invisible

�Q�去遮挡�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ehsani_SeGAN_Segmenting_and_CVPR_2018_paper.pdf

5.Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal

�Q�去阴媄�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Stacked_Conditional_Generative_CVPR_2018_paper.pdf

6.Image Blind Denoising With Generative Adversarial Network Based Noise Modeling

�Q�去噪声�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_Image_Blind_Denoising_CVPR_2018_paper.pdf

7. Single Image Dehazing via Conditional Generative Adversarial Network

�Q�去噪声�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Li_Single_Image_Dehazing_CVPR_2018_paper.pdf

囄��生成

1. ST-GAN: Spatial Transformer Generative Adversarial Networks for Image Compositing

�Q�空间�{换生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Lin_ST-GAN_Spatial_Transformer_CVPR_2018_paper.pdf

2. SketchyGAN: Towards Diverse and Realistic Sketch to Image Synthesis

�Q�由�Ҏ��生成囄��Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chen_SketchyGAN_Towards_Diverse_CVPR_2018_paper.pdf

3. TextureGAN: Controlling Deep Image Synthesis with Texture Patches

�Q�由�U��\生成囄��Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xian_TextureGAN_Controlling_Deep_CVPR_2018_paper.pdf

4. Eye In-Painting with Exemplar Generative Adversarial Networks

�Q�给人物�ȝ��睛）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Dolhansky_Eye_In-Painting_With_CVPR_2018_paper.pdf

5.Photographic Text-to-Image Synthesis with a Hierarchically-nested Adversarial Network

�Q�文本生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Photographic_Text-to-Image_Synthesis_CVPR_2018_paper.pdf

6. Logo Synthesis and Manipulation with Clustered Generative Adversarial Networks

�Q�生成logo�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Sage_Logo_Synthesis_and_CVPR_2018_paper.pdf

7. Cross-View Image Synthesis Using Conditional GANs

�Q�街��Z��视图和直视�{换）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Regmi_Cross-View_Image_Synthesis_CVPR_2018_paper.pdf

8. AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks

�Q�文本生成图片）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xu_AttnGAN_Fine-Grained_Text_CVPR_2018_paper.pdf

9. High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

�Q�图像高分��L率）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_High-Resolution_Image_Synthesis_CVPR_2018_paper.pdf

��相关

1. Finding Tiny Faces in the Wild with Generative Adversarial Network

�Q�对低分辨率的�h脸检��）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bai_Finding_Tiny_Faces_CVPR_2018_paper.pdf

2. Learning Face Age Progression: A Pyramid Architecture of GANs

�Q�预��年龄）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Yang_Learning_Face_Age_CVPR_2018_paper.pdf

3. Super-FAN: Integrated facial landmark localization and super-resolution of real-world low resolution faces in arbitrary poses with GANs

�Q�对低分辨率��分辨率�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bulat_Super-FAN_Integrated_Facial_CVPR_2018_paper.pdf

4. Towards Open-Set Identity Preserving Face Synthesis

�Q��h脸合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Bao_Towards_Open-Set_Identity_CVPR_2018_paper.pdf

5. Weakly Supervised Facial Action Unit Recognition through Adversarial Training

�Q��h脸表情识别）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Peng_Weakly_Supervised_Facial_CVPR_2018_paper.pdf

6.FaceID-GAN: Learning a Symmetry Three-Player GAN for Identity-Preserving Face Synthesis

�Q�生成多角度��Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_FaceID-GAN_Learning_a_CVPR_2018_paper.pdf

7. UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition

�Q��h脸生成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Deng_UV-GAN_Adversarial_Facial_CVPR_2018_paper.pdf

8.Face Aging with Identity-Preserved Conditional Generative Adversarial Networks

�Q��h脸老化�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Face_Aging_With_CVPR_2018_paper.pdf

��Z��相关

1. Deformable GANs for Pose-based Human Image Generation

�Q��h物姿态迁�U�）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Siarohin_Deformable_GANs_for_CVPR_2018_paper.pdf

2. Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks

(用GAN生成��q�追�t?

http://openaccess.thecvf.com/content_cvpr_2018/papers/Gupta_Social_GAN_Socially_CVPR_2018_paper.pdf

3. GANerated Hands for Real-Time 3D Hand Tracking from Monocular RGB

�Q�用GAN生成的手势图片做手势�q�踪的数据集�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Mueller_GANerated_Hands_for_CVPR_2018_paper.pdf

4. Multistage Adversarial Losses for Pose-Based Human Image Synthesis

�Q��h体姿态合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Si_Multistage_Adversarial_Losses_CVPR_2018_paper.pdf

5. Disentangled Person Image Generation

�Q��h体合成）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ma_Disentangled_Person_Image_CVPR_2018_paper.pdf

domain adaptation

�Q�这个没来得及找了，可能转行咯~ 唉）

1. Generate to Adapt: Aligning Domains Using Generative Adversarial Networks

2. Re-Weighted Adversarial Adaptation Network for Unsupervised Domain Adaptation

3. Adversarial Feature Augmentation for Unsupervised Domain Adaptation

4. Domain Generalization With Adversarial Feature Learning

5. Image to Image Translation for Domain Adaptation

6. Duplex Generative Adversarial Network for Unsupervised Domain Adaptation

7. Conditional Generative Adversarial Network for Structured Domain Adaptation

目标跟踪��?/span>

1.Generative Adversarial Learning Towards Fast Weakly Supervised Detection

�Q�弱监督��）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Shen_Generative_Adversarial_Learning_CVPR_2018_paper.pdf

2. SINT++: Robust Visual Tracking via Adversarial Positive Instance Generation

�Q�对抗学习生成轨�qҎ��本）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_SINT_Robust_Visual_CVPR_2018_paper.pdf

3. VITAL: VIsual Tracking via Adversarial Learning

http://openaccess.thecvf.com/content_cvpr_2018/papers/Song_VITAL_VIsual_Tracking_CVPR_2018_paper.pdf

GAN模型优化

1. SGAN: An Alternative Training of Generative Adversarial Network

�Q�替代训�l�GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Chavdarova_SGAN_An_Alternative_CVPR_2018_paper.pdf

2. GAGAN: Geometry-Aware Generative Adversarial Networks

�Q�一�U�关注几何外形的GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kossaifi_GAGAN_Geometry-Aware_Generative_CVPR_2018_paper.pdf

3.Global versus Localized Generative Adversarial Nets

(局部优化GAN)

http://openaccess.thecvf.com/content_cvpr_2018/papers/Qi_Global_Versus_Localized_CVPR_2018_paper.pdf

4. Generative Adversarial Image Synthesis with Decision Tree Latent Controller

�Q�决�{�树�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Kaneko_Generative_Adversarial_Image_CVPR_2018_paper.pdf

5. Unsupervised Deep Generative Adversarial Hashing Network

�Q�哈希GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Dizaji_Unsupervised_Deep_Generative_CVPR_2018_paper.pdf

6. Multi-Agent Diverse Generative Adversarial Networks

�Q�多个生成器GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Ghosh_Multi-Agent_Diverse_Generative_CVPR_2018_paper.pdf

7. Duplex Generative Adversarial Network for Unsupervised Domain Adaptation

�Q�双鉴别器GAN�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Hu_Duplex_Generative_Adversarial_CVPR_2018_paper.pdf

囑փ�分割

1. Translating and Segmenting Multimodal Medical Volumes With Cycle- and Shape-Consistency Generative Adversarial Network

�Q�图像分�Ԍ��

http://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Translating_and_Segmenting_CVPR_2018_paper.pdf

行�h重识�?/span>

1. Person Transfer GAN to Bridge Domain Gap for Person Re-Identification

�Q�用GAN生成的�h体检��的囄��Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Wei_Person_Transfer_GAN_CVPR_2018_paper.pdf

2. Image-Image Domain Adaptation with Preserved Self-Similarity and Domain-Dissimilarity for Person Re-identification

http://openaccess.thecvf.com/content_cvpr_2018/papers/Deng_Image-Image_Domain_Adaptation_CVPR_2018_paper.pdf

视觉特征提取

1. Visual Feature Attribution using Wasserstein GANs

http://openaccess.thecvf.com/content_cvpr_2018/papers/Baumgartner_Visual_Feature_Attribution_CVPR_2018_paper.pdf

域自适应学习

1. Generate To Adapt: Aligning Domains using Generative Adversarial Networks

�Q�视觉域自适应�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Sankaranarayanan_Generate_to_Adapt_CVPR_2018_paper.pdf

囑փ��?/span>

1. HashGAN: Deep Learning to Hash with Pair Conditional Wasserstein GAN

http://openaccess.thecvf.com/content_cvpr_2018/papers/Cao_HashGAN_Deep_Learning_CVPR_2018_paper.pdf

�q�移学习

1.Partial Transfer Learning With Selective Adversarial Networks

http://openaccess.thecvf.com/content_cvpr_2018/papers/Cao_Partial_Transfer_Learning_CVPR_2018_paper.pdf

视频生成

1. MoCoGAN: Decomposing Motion and Content for Video Generation

�Q�用GAN生成视频�Q?/p>

http://openaccess.thecvf.com/content_cvpr_2018/papers/Tulyakov_MoCoGAN_Decomposing_Motion_CVPR_2018_paper.pdf

2. Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

�Q�生成�g时视频）

http://openaccess.thecvf.com/content_cvpr_2018/papers/Xiong_Learning_to_Generate_CVPR_2018_paper.pdf

��结�Q?/strong>

可以看出GAN相关的论文还不少呀�Q�各个方面的都有�Q�可是我个�h觉得�Q�可能没有那�U�特别厉害的吧~hh
--------------------- 本文来自眉间�l�雪的CSDN 博客 �Q�全文地址��L��击：https://blog.csdn.net/weixin_42445501/article/details/82792311?utm_source=copy

杰哥 2018-09-28 22:00 发表评论

学者姓�?/th>	目前工作单位
刘铁�?/td>	微��Y亚洲研究�?/td>
王徏�?/td>	清华大学
Stojmenović, Ivan	清华大学
白翔	华中�U�技大学
蔡登	��江大学
蔡开�?/td>	北京航空航天大学
曹珍�?/td>	上�v交通大�?/td>
曑ֿ��?/td>	华中�U�技大学
常虹	中国�U�学院大�?/td>
陈兵	青岛大学
陈积�?/td>	��江大学
陈敏	华中�U�技大学
陈清�?/td>	西安建筑�U�技大学
陈胜�?/td>	��江工业大学
陈松�?/td>	南京航空航天大学
陈天�q?/td>	复旦大学
陈月�?/td>	��南大学
�E�明�?/td>	南开大学
仇计�?/td>	沛_��U�技大学
邓勇	西南大学
丁永�?/td>	东华大学
樊徏�?/td>	苏州大学
樊治�q?/td>	东北大学
范��^�?/td>	西南交通大�?/td>
冯国�?/td>	中山大学
高曙�?/td>	��江大学
高铁�?/td>	南开大学
高文	北京大学
高小�?/td>	中国�U�学�?/td>
高新�?/td>	西安电子�U�技大学
公茂�?/td>	西安电子�U�技大学
��x��q?/td>	上�v交通大�?/td>
��晓�?/td>	西安交通大�?/td>
郭振�?/td>	清华大学
韩敏	大连理工大学
何晓�?/td>	��江大学
黑晓�?/td>	华中�U�技大学
侯增�q?/td>	中国�U�学�?/td>
胡包�?/td>	中国�U�学�?/td>
胡�d�?/td>	国防�U�学技术大�?/td>
胡清�?/td>	天��\|大学
胡事�?/td>	清华大学
胡卫�?/td>	中国�U�学�?/td>
黄�d�?/td>	同济大学
黄��?/td>	中山大学
黄晓�?/td>	北京�U�技大学
江健�?/td>	深圳大学
江涛	华中�U�技大学
姜大�?/td>	微��Y亚洲研究�?/td>
焦李�?/td>	西安电子�U�技大学
金�v	华中�U�技大学
李传�?/td>	西南大学
李春�?/td>	��江大学
李登�?/td>	��州大学
李国�?/td>	清华大学
李涵�?/td>	中南大学
李洪�?/td>	大连理工大学
李树�?/td>	湖南大学
李学�?/td>	中国�U�学�?/td>
李玉�?/td>	�׃��U�技大学
李远�?/td>	华南理工大学
李子�?/td>	中国�U�学�?/td>
梁吉�?/td>	��p��大学
梁金�?/td>	东南大学
梁艳�?/td>	吉林大学
廖晓�?/td>	西南大学
林闯	清华大学
刘宝��?/td>	清华大学
刘成�?/td>	中国�U�学�?/td>
刘�d�?/td>	中国�U�学�?/td>
刘利�?/td>	中国工程物理研究�?/td>
刘培�?/td>	�׃��财经大学
刘庆�?/td>	东南大学
刘�R�?/td>	沛_��大学
楼旭�?/td>	江南大学
卢宏�?/td>	上�v交通大�?/td>
鲁耀�?/td>	华中�U�技大学
马书�?/td>	天��\|大学
马毅	上�v�U�技大学
马宗�?/td>	东北大学
�c�x��?/td>	沛_��师范大学
潘林�?/td>	华中�U�技大学
潘全�U?/td>	东北大学
庞�R�?/td>	天��\|大学
彭晨	上�v大学
彭�?/td>	电子�U�技大学
钱宇�?/td>	��p��大学
��M��?/td>	清华大学
阮邦�?/td>	北京师范大学-香港��怼�大学联合国际学院
芮勇	联想集团
沈纲��?/td>	苏州大学
沈琳�?/td>	深圳大学
矛_��	中国�U�学�?/td>
时小�?/td>	吉林大学
孙仕�?/td>	华东师范大学
谭松�?/td>	中国�U�学�?/td>
谭铁�?/td>	中国�U�学�?/td>
谭晓�?/td>	南京航空航天大学
唐杰	清华大学
唐小�?/td>	西南交通大�?/td>
陶文�?/td>	华中�U�技大学
佟绍�?/td>	辽宁工业大学
王聪	华南理工大学
王飞�?/td>	中国�U�学�?/td>
王国�?/td>	中南大学
王国�?/td>	重庆邮电大学
王瀚漓	同济大学
王怀�?/td>	南方�U�技大学
王亮	中国�U�学�?/td>
王熙�?/td>	沛_��大学
王兴�?/td>	东北大学
王��A�?/td>	太原理工大学
王雪	清华大学
王应�?/td>	��州大学
卫贵�?/td>	四川师范大学
文福�?/td>	��江大学
邬向�?/td>	哈尔滨工业大�?/td>
吴伟�?/td>	��江��h��大学
吴争�?/td>	��江大学
伍世�?/td>	江西财经大学
夏锋	大连理工大学
夏又�?/td>	��州大学
肖��_	重庆大学
徐勇	哈尔滨工业大�?/td>
徐泽�?/td>	四川大学
徐正�?/td>	中国�U�学技术大�?/td>
杨苏	华南理工大学
�D�允�?/td>	昆明理工大学
于永�?/td>	北京交通大�?/td>
余乐�?/td>	北京化工大学
俞立	��江工业大学
��M��?/td>	中国�U�学�?/td>
袁晓�?/td>	华中�U�技大学
詹志�?/td>	华南理工大学
张道�?/td>	南京航空航天大学
张化�?/td>	东北大学
张敏�?/td>	东南大学
张强	大连大学
张师��?/td>	�q�西师范大学
张田�?/td>	上�v交通大�?/td>
张新�?/td>	上�v大学
张雨��?/td>	中山大学
张煜�?/td>	南京师范大学
章毅	四川大学
章毓�?/td>	清华大学
周东�?/td>	�׃��U�技大学
周根�?/td>	��江工业大学
周杰	清华大学
周昆	��江大学
周涛	电子�U�技大学
周志�?/td>	南京大学
诸葛��?/td>	中国�U�学�?/td>
��峰	电子�U�技大学

杰哥 — Sun, 24 Jun 2018 21:13:00 GMT

Caffe2发布后，外界最多的讨论之一�Q�就是发��Z��q�疑问。去�q?2月，贾扬清曾�l�解释过一�ơ：“目前Caffe2�q�不能完全替代Caffe�Q�还�~�Z��东西，例如CuDNN。与Caffe2相比�Q�Caffe仍然是主要的�E�_��版本�Q�在生��环境中��用仍然推荐Caffe”�?/p>
现在Caffe2正式发布�Q�这个推荐肯定要�Ҏ��新版本了�?/p>
Caffe2的基本计��单位是Operator。对于适当数量和类型的输入参数�Q�每个Operator都包括所需的计��逻辑。Caffe和Caffe2的��M��差异如下图所�C�：
官方提供了从Caffe�q�移到Caffe2的教�E�，据说�q�个�q�移非常��单�?/p>
Caffe2和PyTorch有何不同�Q?/p>
�q�是另外一个疑问�?/p>
Caffe2长于�U�d��和大规模部��v。虽然Caffe2新增了支持多GPU的功能，�q�让新框架与Torch��h��了相同的GPU支持能力�Q�但是如前所�q�ͼ�Caffe2支持一台机器上的多个GPU或具有一个及多个GPU的多台机器来�q�行分布式训�l��?/p>
PyTorch适合�q�行研究、实验和��试不同的神�l�网�l?/span>�Q�而Caffe2更偏向于工业应用�Q�而且重点��x��在移动端上的表现�?/p>
贾扬清现�w�说�?/p>
Caffe2发布后，作者贾扬清在reddit上连发四记解�{��?#8220;Yangqing here”�Q�贾扬清一上来��p��明了�w�䆾�?/p>
　　
有�h问搞出Caffe2意义何在�Q�现在已�l�有PyTorch、TensorFlow、MXNet�{�诸多框架�?/span>
贾扬清说Caffe2和PyTorch团队紧密合作。他们把Caffe2视作一�U�生产力的选择�Q?span style="color: red;">而把Torch视作研究型的选择�?/span>而在构徏AI模块�Ӟ��他们也持有一�U?#8220;非框�?#8221;的理念，例如Gloo、NNPACK和FAISS�{�可以被用于��M��深度学习框架�?/p>
有�h问Caffe2接受外部贡献么？
贾扬清说大爱外部贡献�Q�也会在开源方面��l�努力�?/p>
有�h问Caffe2是否用了Torch的代码库�Q�以及CUDA�{�相��x��持的问题�?/p>
贾扬清说他们正在计划让Caffe2和Torch和PyTorch�׃�n后端�Q�这几个框架已经�׃�nGloo用于分布式训�l�，THCTensor、THNN和其他C/C++库也��会�׃�n�?/p>
在GPU层面�Q�Caffe2使用了CUDA和CUDNN。贾扬清和团队也试验了OpenCL�Q�但是感觉用NVIDIA的GPU CUDA效果更好�?/p>
另外在其他��^収ͼ�例如iOS上）�Q�Caffe2使用了特定的工具�Q�例如Metal。一两天内，官方会发布Metal的实施�?/p>
有�h问Caffe2支持动态图么？
贾扬清给出否定的回答�Q�他表示�q�是Caffe2和PyTorch团队有意做出的选择。Caffe2的�Q务就是提供最佳的性能�Q�而如果想要极端灵�zȝ��计算�Q�请选择PyTorch。贾扬清认�ؓ�q�是一个更好的方式�Q�因�?#8220;一个框枉��吃”可能会媄响性能�?/p>
所以，目前Caffe2只支持非常有限的动态控�Ӟ��例如动态RNN�?/p>
最后，量子位放��Z��送门�Q?/p>
Caffe2的首��：http://caffe2.ai/
GitGub地址�Q�https://github.com/caffe2/caffe2

Reference:

https://blog.csdn.net/zchang81/article/details/70316864?utm_source=itdadao&utm_medium=referral
阅读记录: read twice

杰哥 2018-06-25 05:13 发表评论

Reviewer

杰哥 — Wed, 07 Mar 2018 14:56:00 GMT

As a reminder please note that some wordprocessing systems (e.g. Word) will include a document authors name in an author field for a file. This is important if you are going to upload an attachment from a wordprocessing system with your review. A word file when converted to PDF will have this author information. Please make sure you do not include this information. You can check a PDF upload to see if it is included by clicking on file, document properties, summary. It is also possible to click on the little right pointing triangle above the page slider on the right of the document to get to document summary. The author field should be blank or clearly not the name or any information that could identify the reviewer.

杰哥 2018-03-07 22:56 发表评论

Topics of KDD 2018

杰哥 — Sat, 03 Feb 2018 16:32:00 GMT

Applications
Advertising and E-commerce Bioinformatics
Education Finance
Healthcare and medicine Information retrieval and Language
Marketing Markets and Crowds
Mobile and Sensor devices Network sciences
Social good Social media and publishing
Social sciences User modeling
Web mining Applications--Others
Big data
Cloud, Map-Reduce, and MPI Data streams
Hashing Infrastructure
Large-scale optimization Sampling
Scalable algorithms Big data--Others
Data mining foundations
Data ethics Data mining methodology
Design of experiments Data mining foundations--Others
Graphs and social networks
Community detection Graph algorithms
Influence and diffusion Link prediction
Network analysis Social phenomena
Graphs and social networks--Others
Knowledge discovery
Causal inference Exploratory analysis
Interpretable models Sparse models
Visualization Knowledge discovery--Others
Methods
Active learning Bayesian inference
Decision trees Ensemble methods
Kernel methods Large-margin methods
Matrix and tensor methods Model selection
Neural networks and deep learning Online learning and bandits
Probabilistic methods and graphical models Relational learning
Similarity-based methods Methods--Others
Rich data types
Relations and structure Sequences
Spatial data Temporal and time-series data
Text Unstructured data
Mining rich data types--Others
Recommender systems
Cold-start Collaborative filtering
Content-based methods Recommender systems--Others
Security
Adversarial data mining Anomaly detection
Anonymization Fraud detection
Intrusion detection Privacy in data mining
Spam detection Trust and truthfulness
Security--Others
Supervised learning
Classification Learning to rank
Multi-label learning Regression
Semi-supervised learning Structured output prediction
Transfer learning Supervised learning--Others
Unsupervised learning
Clustering Dimension reduction
Embeddings Feature selection
Manifold learning Matrix/tensor factorization
Rule and pattern mining Topic and latent variable models
Unsupervised learning--Others
Read twice

杰哥 2018-02-04 00:32 发表评论

杰哥 — Mon, 22 Jan 2018 20:50:00 GMT

http://china.elsevier.com/ElsevierDNN/Portals/7/mostcited/2017/computer-science.html

计算机科�?/h3>
学者姓�?/th> 目前工作单位
刘铁�?/td> 微��Y亚洲研究�?/td>
王徏�?/td> 清华大学
Stojmenović, Ivan 清华大学
白翔华中�U�技大学
蔡登 ��江大学
蔡开�?/td> 北京航空航天大学
曹珍�?/td> 上�v交通大�?/td>
曑ֿ��?/td> 华中�U�技大学
常虹中国�U�学院大�?/td>
陈兵青岛大学
陈积�?/td> ��江大学
陈敏华中�U�技大学
陈清�?/td> 西安建筑�U�技大学
陈胜�?/td> ��江工业大学
陈松�?/td> 南京航空航天大学
陈天�q?/td> 复旦大学
陈月�?/td> ��南大学
�E�明�?/td> 南开大学
仇计�?/td> 沛_��U�技大学
邓勇西南大学
丁永�?/td> 东华大学
樊徏�?/td> 苏州大学
樊治�q?/td> 东北大学
范��^�?/td> 西南交通大�?/td>
冯国�?/td> 中山大学
高曙�?/td> ��江大学
高铁�?/td> 南开大学
高文北京大学
高小�?/td> 中国�U�学�?/td>
高新�?/td> 西安电子�U�技大学
公茂�?/td> 西安电子�U�技大学
��x��q?/td> 上�v交通大�?/td>
��晓�?/td> 西安交通大�?/td>
郭振�?/td> 清华大学
韩敏大连理工大学
何晓�?/td> ��江大学
黑晓�?/td> 华中�U�技大学
侯增�q?/td> 中国�U�学�?/td>
胡包�?/td> 中国�U�学�?/td>
胡�d�?/td> 国防�U�学技术大�?/td>
胡清�?/td> 天��|大学
胡事�?/td> 清华大学
胡卫�?/td> 中国�U�学�?/td>
黄�d�?/td> 同济大学
黄��?/td> 中山大学
黄晓�?/td> 北京�U�技大学
江健�?/td> 深圳大学
江涛华中�U�技大学
姜大�?/td> 微��Y亚洲研究�?/td>
焦李�?/td> 西安电子�U�技大学
金�v 华中�U�技大学
李传�?/td> 西南大学
李春�?/td> ��江大学
李登�?/td> ��州大学
李国�?/td> 清华大学
李涵�?/td> 中南大学
李洪�?/td> 大连理工大学
李树�?/td> 湖南大学
李学�?/td> 中国�U�学�?/td>
李玉�?/td> �׃��U�技大学
李远�?/td> 华南理工大学
李子�?/td> 中国�U�学�?/td>
梁吉�?/td> ��p��大学
梁金�?/td> 东南大学
梁艳�?/td> 吉林大学
廖晓�?/td> 西南大学
林闯清华大学
刘宝��?/td> 清华大学
刘成�?/td> 中国�U�学�?/td>
刘�d�?/td> 中国�U�学�?/td>
刘利�?/td> 中国工程物理研究�?/td>
刘培�?/td> �׃��财经大学
刘庆�?/td> 东南大学
刘�R�?/td> 沛_��大学
楼旭�?/td> 江南大学
卢宏�?/td> 上�v交通大�?/td>
鲁耀�?/td> 华中�U�技大学
马书�?/td> 天��|大学
马毅上�v�U�技大学
马宗�?/td> 东北大学
�c�x��?/td> 沛_��师范大学
潘林�?/td> 华中�U�技大学
潘全�U?/td> 东北大学
庞�R�?/td> 天��|大学
彭晨上�v大学
彭�?/td> 电子�U�技大学
钱宇�?/td> ��p��大学
��M��?/td> 清华大学
阮邦�?/td> 北京师范大学-香港��怼�大学联合国际学院
芮勇联想集团
沈纲��?/td> 苏州大学
沈琳�?/td> 深圳大学
矛_�� 中国�U�学�?/td>
时小�?/td> 吉林大学
孙仕�?/td> 华东师范大学
谭松�?/td> 中国�U�学�?/td>
谭铁�?/td> 中国�U�学�?/td>
谭晓�?/td> 南京航空航天大学
唐杰清华大学
唐小�?/td> 西南交通大�?/td>
陶文�?/td> 华中�U�技大学
佟绍�?/td> 辽宁工业大学
王聪华南理工大学
王飞�?/td> 中国�U�学�?/td>
王国�?/td> 中南大学
王国�?/td> 重庆邮电大学
王瀚漓同济大学
王怀�?/td> 南方�U�技大学
王亮中国�U�学�?/td>
王熙�?/td> 沛_��大学
王兴�?/td> 东北大学
王��A�?/td> 太原理工大学
王雪清华大学
王应�?/td> ��州大学
卫贵�?/td> 四川师范大学
文福�?/td> ��江大学
邬向�?/td> 哈尔滨工业大�?/td>
吴伟�?/td> ��江��h��大学
吴争�?/td> ��江大学
伍世�?/td> 江西财经大学
夏锋大连理工大学
夏又�?/td> ��州大学
肖��_ 重庆大学
徐勇哈尔滨工业大�?/td>
徐泽�?/td> 四川大学
徐正�?/td> 中国�U�学技术大�?/td>
杨苏华南理工大学
�D�允�?/td> 昆明理工大学
于永�?/td> 北京交通大�?/td>
余乐�?/td> 北京化工大学
俞立 ��江工业大学
��M��?/td> 中国�U�学�?/td>
袁晓�?/td> 华中�U�技大学
詹志�?/td> 华南理工大学
张道�?/td> 南京航空航天大学
张化�?/td> 东北大学
张敏�?/td> 东南大学
张强大连大学
张师��?/td> �q�西师范大学
张田�?/td> 上�v交通大�?/td>
张新�?/td> 上�v大学
张雨��?/td> 中山大学
张煜�?/td> 南京师范大学
章毅四川大学
章毓�?/td> 清华大学
周东�?/td> �׃��U�技大学
周根�?/td> ��江工业大学
周杰清华大学
周昆 ��江大学
周涛电子�U�技大学
周志�?/td> 南京大学
诸葛��?/td> 中国�U�学�?/td>
��峰电子�U�技大学
Copyright © 2018 Elsevier. All rights reserved.

杰哥 2018-01-23 04:50 发表评论

Professor Deng Cai's code, very good code

杰哥 — Sun, 26 Nov 2017 05:10:00 GMT
20171125 rutgers email: Please check https://github.com/dengcai78/MatlabFunc for the most up-to-date codes.

杰哥 2017-11-26 13:10 发表评论

杰哥 — Tue, 02 May 2017 00:03:00 GMT

【�h�?50亿美元的特征向量�Q�Google背后的线性代数】《The $25,000,000,000 eigenvector: The linear algebra behind Google》K Bryan, T Leise (2006) http://t.cn/zlnwlj5
functicons �|�页�?/a> 转发�?span style="box-sizing: border-box;">2017-05-01 06:46
The weights of the web pages is the eigenvector of the link matrix. This is mathematically simple and beautiful, the real challenge is the scale of the matrix: 10B * 10B, but because it’s sparse, the real scale is 10B * c.

杰哥 2017-05-02 08:03 发表评论

[zz] 跟班式科研，误己误国——某国立研究所所长的自白 | 争鸣

杰哥 — Fri, 26 Aug 2016 01:23:00 GMT
     摘要: http://mp.weixin.qq.com/s?__biz=MzIyNDA2NTI4Mg==&mid=2655408987&idx=1&sn=aeb8266a5bd6db4f35e7e3f7bdf8c837&scene=1&srcid=0808iEWai3igwfXbkcGtq2iW&from=groupmessage&isappinst...  阅读全文

杰哥 2016-08-26 09:23 发表评论

全新的美国计��机学科排名

杰哥 — Thu, 21 Jul 2016 04:40:00 GMT

O�|�页链接:
http://csrankings.org/

杰哥 2016-07-21 12:40 发表评论

杰哥 — Wed, 15 Jun 2016 11:51:00 GMT
http://blog.sciencenet.cn/blog-303458-804525.html

现在主要的期刊分区有几种�Q?/font>
�{�：有两�U��?/span>

A、JCR�Q�又�U?/span>汤森路透）分区�?/span>

汤森路�?/span>�Q?/span>Thomson Reuters�Q�每�q�出版一本《期刊引用报告》（Journal Citation Reports�Q�简�U�JCR�Q�。JCR�?600多种SCI期刊的媄响因�?/span>[1]�Q�Impact Factor�Q�等指数加以�l�计�?/span>JCR��收录期刊分�?76个不同学�U�类别。每个学�U�分�c�L��照期刊的影响因子高低�Q��^均分为Q1、Q2、Q3和Q4四个区：
  各学�U�分�c�M��影响因子�?5%(�?5%)期刊划分为Q1区、前25-50% (�?0%)为Q2区、前50-75% (�?5% )为Q3区、后75%为Q4区�?/span>

B�?/span>中国�U�学院分区法
中国�U�学院国家科学图书馆世界�U�学前沿分析中心�Q�原中国�U�学院文献情报中心）�Ҏ��汤森路�?/span>每年的JCR数据�Q�创新划分了一个分区区��_��形成了中�U�院的分区标准�?/span>

杰哥 2016-06-15 19:51 发表评论

Autoencoder

杰哥 — Mon, 06 Jun 2016 09:05:00 GMT
Read twice http://deeplearning.stanford.edu/wiki/index.php/Autoencoders_and_Sparsity �?http://deeplearning.stanford.edu/wiki/index.php/Visualizing_a_Trained_Autoencoder 的中文版本，understand completely
点击最下面有中文�?br />This is recommended by Chong Wang in iim.

杰哥 2016-06-06 17:05 发表评论

What is the difference between weakly supervised learning and semi-supervised learning?

杰哥 — Wed, 25 May 2016 15:07:00 GMT

通常��q��督和半监督都是对于两�U�label而言�?nbsp;如果只有一�U�label 不存在弱监督的概��c��比如物体检��?label是类别和位置如果只给定类别不�l�定位置相当于只用了偏弱的label 叫做��q��督。如果类别和位置都只用了部分��h�� 叫做半监督。如果label只有一�U?比如物体分类没有��q��督的概念当只用部分样本时叫做半监督问题。This is with Chong Wang's help and verified by Jingyu Liu.

杰哥 2016-05-25 23:07 发表评论

杰哥 — Fri, 04 Mar 2016 02:16:00 GMT
发布一个数据挖掘领域的全球专家列表�Q?/span>http://t.cn/RGlEOWy 包含300多位专家�Q�既有学术界的，也有工业界的�Q�提供每位专家详�l�profile�Q�基本信息、联�p�L��式、研�I�兴��）�Q�还包括性别、能讲的语言�Q�比如中文）。更多专家列表将随后发布�?/span>

杰哥 2016-03-04 10:16 发表评论

刘铁岩：在微软大学的三次华丽转型

杰哥 — Thu, 21 Jan 2016 02:05:00 GMT

http://blog.sina.cn/dpool/blog/s/blog_4caedc7a0102w57s.html?wm=3049_a111

一个理想的研究人员成长轨迹应该是什么样的？
微��Y全球执行副总裁沈向�z�博士认��Z��个酷��L��研究员应该是�q�样的：“挑选一个雄心勃勃的目标�Q�致力于端到端的研究�Q�长久的坚持�Q�而他的研�I�伙伴们也应该有着同样的激情，但最重要的是始终乐在其中�?#8221;
如果以这个标准来看，微��Y亚洲研究院首席研�I�员刘铁�?/a>博士可谓是研�I�员的范本�?003�q�_��从清华大学电子工�E�系博士毕业之后�Q�刘铁岩直接�q�入了微软亚�z�研�I��Q�在�q�一待就是十余年。这十多�q�间�Q�刘铁岩博士由原本的多媒体信号处理方向的博士�Q�逐步成长为国际机器学习和信息��索领域的知名学者。这些�{型在外�h看�v来十分巨大，�?#8220;三清”�Q�本�U�、硕士和博士都就��M��清华大学�Q�出�w�的刘铁岩博士说�Q?#8220;微��Y亚洲研究院其实是我的�W�二所大学�Q�这是一个培��M�h的地方，有了她的帮助�Q�这一切其实过渡地非常自然�?#8221;

开攄��境带来的首次转型
在结束了九年的清华校园学习时�Q�摆在刘铁岩面前的选择有很多，例如知名大学教职�{�等�Q�而微软亚�z�研�I��吸引刘铁岩的除了全球领先的研�I�环境之外，更重要的是可以和自己敬�Ԓ已久的顶��行业大牛一起工作，对于一个刚开始入行的�q�轻研究员来说无疑动力巨大。因此，刘铁岩于2003�q�正式加入了微��Y亚洲研究院，�q�由原来的多媒体信号处理方向的研�I��{入了互联�|�搜索与挖掘领域�Q�从此开始了对信息检索这一全新领域的探索�?br />�q�是刘铁岩在研究院的�W�一�ơ�{型，但这�ơ�{型�ƈ不像��Z��惌��的那么艰难，因�ؓ微��Y亚洲研究院�ؓ研究人员提供了一个十分开攄��U�研环境�Q�让研究员们有充分的自由和资源来调整自己的研�I�兴��。在�q�里刘铁岩和很多不同研究方向的资��q��I�员们进行了交流�Q�其中包括他后来的老板�Q�现在的微��Y亚洲研究院常务副院长马维英博�?/a>。同�Ӟ��借助研究院这个��^台刘铁岩�q�与众多国际知名学者进行了深入交流�Q�进一步拓宽了其科研视野，刘铁岩博士首�ơ�{型的领�\��Z��是卡内基梅隆大学的文本分�c�领域的资深专家杨颐明授�?004�q�暑假，正处于�{型期的刘铁岩博士遇见了前来微软亚�z�研�I��交流的杨教授�Q�便一拍即合地展开了合作。他们当时共同搭��Z��当时世界上最大的、近三十万类的文本分�cȝ��l�，相关论文收到了广泛关注，短短几年间就被引用了数百�ơ。这�ơ和杨教授的合作也成了刘铁岩�q�入到文本信息处理领域的�W�一个敲门砖。从那个时候�v�Q�刘铁岩开始了解什么是信息��索，什么是文本分类�pȝ��Q�他的首�ơ�{型也逐步成型�?br />
挑选一个雄心勃勃的目标�Q�排序学�?/strong>
�W�一�ơ�{型之后，刘铁岩作��Z��息检索领域的��C�h�Q�始�l�保持着旺盛的好奇心�Q�不断思考着能�ؓ�q�个领域带来哪些��C��ѝ��当时围�l�搜索引擎所开展的研究十分火热�Q�信息检索更是�h们关注的重中之重。通过大量的文献研�IӞ��刘铁岩发现这个方向大多数的研�I�者都是数字图书馆专业背景�Q�因此研�I�方法都偏向�l�验化，�~�少了对于优化系�l�方式和目标的科学思考�?br />��Z��对行业的�z�察�Q�刘铁岩开始深入学习机器学习的相关知识�Q��ƈ试图把机器学习的思想引入信息��索领域。由此，刘铁岩博士在学术界的�W�一个成名工�?#8212;—排序学习�Q�learning to rank�Q�就�q�样诞生了，该方法�ؓ信息��索领域带来了重大变革�?br />随后�Q�刘铁岩的研�I�便围绕排序学习展开。在2007�?008�q�_��刘铁岩和他的团队在SIGIR、WWW、ICML�{�顶�U�学术会议上发表了大量的关于排序学习的论文，�q�在��L��会议上做主题讲��、主持专题研讨会。他的表现受��C��学术界越来越多的��x��Q�更多的研究人员跟随他进入到�q�个领域中来�Q�短短的几年旉��刘铁岩及其团队的研究实力便在全世界的信息��索领域内遥遥领先。而刘铁岩博士出的�W�一本学术专著也与排序学习相兟뀂该专著已被多所大学作�ؓ教科书、�ƈ被其他学者引用了�q�千�ơ�?br />致力于端到端的系�l�性研�I?�?008�q�到2009�q�左叻I��排序学习领域��管很繁荣，但是多数��Z��把排序学习作为应用��的研�I�。在机器学习领域的主��学术会议中�Q�排序学习通常也会被分到应用领域（application track�Q��?br />刘铁岩很快就发现了这其中的原因：一个研�I��域如果缺��科研理论的话，是无法被�q�泛认可的。因此在后来的几�q�时间里�Q�刘铁岩和他的研�I�团队花费了大量旉��从理论的角度把排序学习领域正式化�Q�去阐述�q�个领域是什么、目标是什么、各�U�算法的关系是什么、有什么样的理论性质�{�等。他们在ICML、NIPS、COLT�{�顶�U�机器学习会议上发表了大量排序学习的理论文章�Q�即使到今天�q�些论文的媄响力也十分深刅R��在�q�整个的研究周期内，刘铁岩及其团队把排序学习打造成一个完整的研究领域�Q��ƈ通过从算法到理论的一�p�d��研究成果�Q�让�q�个领域真正的火了�v来，刘铁岩也成了�q�一研究领域当之无愧的代表�h物�?br />�q�就是微软亚�z�研�I��里一个典型的研究案例。刘铁岩在微软内部的导师Rakesh Agrawal院士曑֑�诉他�Q?#8220;对于研究人员来说�Q��ƈ不是��Z��发表论文而发论文�Q�而是要在特定的历史阶�D�，针对一个重要的问题�Q�从表面到核心全部做��C��?#8221;一直到今天�Q�排序学习一直都是很多会议的主要方向之一�Q�仍然有很多学者在�q�行研究。正是因��些工作，刘铁岩博士完成了他的�W�二�ơ�{�?#8212;—�׃��息检索�{变到了机器学习�?br /> �W�三�ơ�{型：博弈机器学习
在微软亚�z�研�I��Q�研�I�员的研�I�成果除了作��文发表出来之外，�q�会应用到微软的各个产品中。通过与��品部门合作，研究员们可以发现实际应用中的新问题。刘铁岩团队与微软的在线�q�告部门的合作就是其中一个非常有代表性的实例�?br />�q�项合作始于排序学习�Q�刘铁岩和团队成员帮微��Y�q�告部门��ȝ��训练了一个效果极佳的机器学习模型用于必应�q�告搜烦中的竞�h排名。上�U�之初模型立��d��来了很大的效益，但随着旉��的推�U�，�q�告效益却大打折扣。刘铁岩和他的团队发��C��q�个问题�Q��ƈ扑ֈ�了奇怪现象的�Ҏ��Q�广告竞��h��名过�E�常常涉及到人（�q�告主）的因素，�q�告��M��因�ؓ��法的改变带来的��h��变化�Q�敏锐地调整自己的广告投攄��略，�q�是一个动态过�E�。如果不考虑�l�济规律和�h的动态策略，��ȝ��地进行机器学习模型的训练�Q�结果自然会产生很大的偏差�?br />如果��x��q�告竞�h�q�个动态问题解释清楚，仅有机器学习的知识背景显然是不够的。所以刘铁岩便带领其团队开始学习博弈论�Q�计��经��学�{�等�Q?span style="color: red">�l�名也改成了“互联�|�经��研�I�组”�Q�这便是他第三次转型的开�?/span>。在�q�个转型�q�程中，他发明了一�U�全新的技术，�U�Cؓ“博弈机器学习”�Q�把博弈论的思想引入到机器学习的�q�程中，来对人的动态策略进行徏模，从而解决上文提到的��N��?br />如果你了解博弈论和机器学习分别是什么的话，��׃��发现�q�两个领域差别巨大，完全是不同的体系�Q�那么这�ơ�{型的隑ֺ�也可惌��知。刘铁岩博士��_��“对于��M��一位研�I��h员，如果不是在微软亚�z�研�I��的话�Q�这�U��{型都是非常困隄��。因为，如果你开始学习新东西�Q�想要有�q�个领域的�h认识、认可你�Q��ƈ产生��的媄响力是十分艰隄��。但当我们真正去做的时候，发现微��Y亚洲研究院给了我们很多帮助，�q�让我们�Ҏ��领域的研�I�变得轻松不��?#8221;当刘铁岩和他们组的研�I�员们开始涉��互联网�l�济领域�Ӟ��不仅有来自微软其他研�I��在博弈论领域颇有建树的同事（如Noam Nisan�Q�的帮助、也有很多来自学界的博弈��Z��Ӟ��如邓��铁教授、叶荫宇教授�{�）抛出了橄榄枝。他们互相访问，一起参加各�U�学术活动，互相交流�Q�在很短的时间内�Q�刘铁岩他们��对博弈��一研究方向有了很多深刻的认识：不仅在算法博弈论领域的顶�U�会议上发表了多��论文，�q�在互联�|�经��研�I�组成立不到两年的时间里�Q�以�E�序委员会主席的�w�䆾把全世界�W�二的算法博弈论会议——互联�|�经��大会（WINE�Q�带��C��国�?br />
黄金三镖客：电子�Q�数学和计算�? 微��Y亚洲研究�?人工��l�三�ơ�{型，成就了刘铁岩博士一路创��C��断的探烦和发玎ͼ�然而这背后也离不开其整个研�I�团队的支持与努力�?span style="color: #ff0000">现在�Q�刘铁岩博士带领的团队更名�ؓ“人工��l?#8221;�Q��l�在当下火热的机器学习和人工��领域�q�行��p��。不久前�Q?a target="_blank">微��Y亚洲研究院对外开源的DMTK�Q�分布式机器学习工具包）便是�q�个��组的研�I�成果�?/div>如果�l�这个研�I�组��L��一个关键词的话�Q�那一定是“求知��?#8221;。从刘铁岩的三次转型中也不难发现�Q�现名�ؓ人工��l�的研究员们�l�非循规�y�矩之�h�Q�他们有着强烈的求知欲�Q�就像初生牛犊不怕虎一��P��知难而进�Q�什么不会学什么，什么难做什�?/span>�Q�朝气十��?br />而另一斚w��Q�该团队的组合十分有��，��像微��Y亚洲研究院的一个小��羃�׃��栗��研�I�员们的专业覆盖面既不是全部�_�N��于机器学习，也不是全部埋头在博弈��Z��。目前，人工��l�有三分之一的研�I�员��数学�p�，专业包括计算数学、概率论和组合数学，�q�涵盖了该团队所需要的所有数学基��。另外三分之一的研�I�员�Q�包括刘铁岩在内都是来自电子工程专业�Q�刘铁岩博士认�ؓ�Q�电子工�E�专业出�w�的人有一个很大的优点便是有着非常好的直觉�Q��ƈ且不局限自��q��思�\�Q�十分开放。而其余三分之一的研�I�员则是计算��Z��业出�w�，他们都拥有很强的计算机技能。当数学、电子和计算��Z��拨精��q��撞在一��L��时候，��没有什么研�I�方向能隑־�住他们了�?br />此外�Q��h工智能组�q�是一个十分重视学术和工程实践相结合的团队。他们的很多启发与灵感都来自于与微��Y产品部门的合作，因此�Q�这是一个不断提出新问题的团队。在人工��l�发表的论文中你可以看到一个很明显的特点：团队很少循规�y�矩地解军_��人提出的问题�Q�而是�l�常提出新的问题�Q��ƈ�l�出一个力所能及范围内的最优解。这��L��论文常常有很高的引用敎ͼ��q�_��下来�Q�刘铁岩和他的团队发表的论文几乎每篇都有上百�ơ的引用�?/span>
三次转型带来了如今�h工智能研�I�组的团队凝聚力。一加一大于二，��组的很多论文都有至��一个电子，一个计��机和一个数学背景的研究员参与，�q�样的论文都非常有特点，也能满��各种要求�Q�无论是定力证明、直觉、还是实现的�_��y�Q�都可圈可点�?br />“争吵文化”�?#8220;真理不��L不明” 刘铁岩博士带领的人工��l�还有一个十分有��的“争吵文化”。在接受采访�Ӟ��W�者对刘铁岩博士嘴里说出的“争吵文化”感到十分难以�|�信。坐在对面的刘铁岩博士穿着�l�典�Ƅ��男士衬衫�Q�外套一件��E灰色的羊毛开衫，学院气息��厚�Q�让��Z��乎很隑ְ�他与“争吵”联系在一赗��?br />“我们团队几乎会天天争��c�?#8221;刘铁岩博士笑�a�。但�q�其实是研究�l�最有活力的状态，开会的时候，大家不会在乎职位高低�Q�就一个问题会针锋相对地表达自��q��观点。�h工智能组全组上下都坚持的一个信条是“真理不��L不明”。在刘铁岩的带领下，整个�l�会�怺�批判的看问题�Q�就�q�待久一点的实习生也会自然的融入其中�Q�和他的导师间也是一�U�互相辩论，互相学习的关�p�R�?br />因此�Q�对于实习生来说�Q�进入微软亚�z�研�I��会带来巨大的成长。首先是知识的积累，很多实习生在�q�研�I��之初知识非常有限。但微��Y亚洲研究院计��机专家资源密集�Q�超�q�两癑֐�的计��机专家们的研究�l�历、方向和视角各不相同�Q�向他们学习一定会有所收获。其�ơ，实习生们在这里学会的更多是研�I�经验和研究�Ҏ��Q?#8220;争吵文化”在这里便得到了很好的体现。无论是什么大牛发了什么论文，都应该抱有一�U?#8220;破坏�?#8221;的思想�Q�先客观地分析，从中立甚��x��判的视角来研�I�。因此，人工��l�培��d��的实习生也都个性十��I��颇有“��牛”风范�Q�从不盲目崇拜�?br />在微软亚�z�研�I��大学�Q�成长于中国�Q�却能媄响世�?作�ؓ三清毕业的博士、微软亚�z�研�I��首席研究员，刘铁岩博士的研究之�\始终都未��d��中国本土。而作为国际机器学习和信息��索领域的知名学者，他的国际影响力也毋庸�|�疑。刘铁岩的论文多�ơ获得最佌��文奖、最高引用论文奖�Q�他担�Q了SIGIR、WWW、NIPS、AAAI�{�众多顶�U�学术会议的�E�序委员会主席或领域��d��Q�ACM信息�pȝ��会刊�Q�TOIS�Q�、ACM万维�|�会刊（TWEB�Q�等��L��学术期刊的副�ȝ��Q�他和他的研�I�成果也被美国国家公��q��台、中国中央电视台、MIT技术评论等国内外知名媒体所报道。此外，他还受邀在包括卡内基梅隆大学�Q�CMU�Q�、诺丁汉大学在内的国内外知名高校担�Q客��教授、博士生导师。对于所获得的诸多成��，刘铁岩无不感动地��_��“最重要的原因其实是我来自微软亚�z�研�I��Q�如果我博士毕业没有来到研究院，我都不敢惌��会有今天的媄响力�?#8221;
微��Y亚洲研究院从1998�q?1月成立的�W�一天开始，��在国际学术界扮演着举��轻重的作用。这么多�q�来�Q�研�I��以一贯开攄��心态，与学术界展开�U�极的合作，而研�I��开攄��学术环境也�ؓ研究人员们构��Z��一座与学术界的桥梁�Q�两者相辅相成。甚��x��国外学者戏�U�微软亚�z�研�I��是一个让�?#8220;又爱又恨”的机构。爱在它的研�I�成果，为学术界带来了诸多创斎ͼ��?#8220;�?#8221;在其彪悍的实力，让别人望��莫及�?br />除了学术合作�Q�微软亚�z�研�I��为研�I�员们还提供了接触用��P��服务用户的可能。微软亚�z�研�I��的研�I�员也和微��Y的��品部分积极展开合作。刘铁岩博士带领的�h工智能组的技术�{化也体现在微软必应搜索的搜烦�l�果排序和广告排序，��冰的自动问�{�技术等微��Y的��品和服务中�?br />刘铁岩博士谦虚的表示�Q?#8220;能成为包括CMU在内的众多知名高校的客��教授�Q�很大程度源于学术界对微软亚�z�研�I��的信仅R��甚至�h工智能组的实习生�Q�也成�ؓ了CMU的offer收割机，�q�都得益于我们开攄��U�研环境和紧密的学术交流。因为微软亚�z�研�I��Q�我们的研究被更多�h��x��Q�我们的��C�h也被更多��可，�q�就形成了一个良性��@环。类��g��国外的师承关�p�，从这个角度来看，微��Y亚洲研究院着实就像是一所大学了�?#8221;

阅读记录:read twice

杰哥 2016-01-21 10:05 发表评论

机器之心�Q?�q�货�Q�七步打造深度学习专

杰哥 — Fri, 18 Dec 2015 12:11:00 GMT
http://www.almosthuman.cn/2015/12/16/rhnvh/

本文作�?font style="color: rgb(150,30,35)">Ankit Agarwal是面向开发者的��经�|�络�q�_��提供商Silversparro Technologies的CTO和创始�h�?/p>

1�Q�第一步，了解什么是机器学习�Q�最佛_��门资源就�?Andrew Ngs (Ex-Google, Stanford, Baidu), an online course at coursera. 讲��让你��_��了解机器学习的基��Q�不�q�课后作业会提升你对机器学习的了解�?/p>
2�Q�接下来需要培��d��经�|�络的直觉。所以，�l�箋�~�写你的�W�一个神�l�网�l�，和它玩耍吧

3�Q�了解神�l�网�l�很重要�Q�但是简单神�l�网�l�没有��够能力解军_��多数有趣问题。变�?��L��经�|�络很善于解册��觉问题。斯坦福评��W�记以及�qȝ��片：CS231n Convolutional Neural Networks for Visual Recognition(notes), �?font style="color: rgb(150,30,35)">CS231n: Convolutional Neural Networks for Visual Recognition (讲��qȝ��?�?here�?here是两个很��的有关CNNs的视频�?/p>
4�Q�接下来��是自己电脑上运行你的第一个CNN

�?GPU 和安�?CUDA

安装 Caffe �?Digit

安装 Boinc�Q�这个对你的学习没帮助，但是能让其他研究人员在在它闲�|�的时候��用你的GPU从科学工作）

5�Q�Digit提供上会�l�少数几个算法，比如用来性格识别�?font style="color: rgb(150,30,35)">Lenet �Q�图像分�cȝ�� Googlenet。你要下�?相关数据库（ dataset for Lenet �?dataset for Googlenet �Q�来�q�行�q�些��法。可以修改算法�ƈ��试其他有趣的视觉图像识别�Q务，��像我们��试�q�的�Q?here�Q��?/p>
6�Q�就各种NLP��d��而言�Q�RNNs是最佳选择。学习RNNs最好的地方是斯坦福的演讲视频（Stanford lecture videos here�Q�。你可以下蝲 Tensorflow�Q�用它来建造RNNs.

7�Q�现在，�l�箋选择一个深度学习问题吧�Q�无论是面部识别�q�是语音识别、无人驾驶汽车等�{�，试着解决它�?/p>
如果你完成了所有步骤，恭喜�Q�去甌��h��、百度、微软、脸书或者亚马逊的职位吧。没多少��做这些�?/p>

来自linkedin�Q�机器之心编译出品。编译：微胖�?/strong>

杰哥 2015-12-18 20:11 发表评论

杰哥 — Fri, 11 Dec 2015 14:28:00 GMT
http://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=400607098&idx=1&sn=933c7328221cfec90e358314be8602e3&scene=1&srcid=1211pUOOAQdspFZkl74STys9&from=groupmessage&isappinstalled=0#wechat_redirect

世界上最好计��机视觉�pȝ��有多�_��Q�就在美国东部时�?2�?0日上�?�Ӟ��ImageNet计算��觉识别挑战赛�l�果揭晓——微��Y亚洲研究院视觉计��组的研�I�员们凭借深层神�l�网�l�技术的最新突��_��以绝对优势获得图像分�c�R��图像定位以及图像检��全�?span style="color: rgb(61,170,214)">三个主要��目的冠�?/strong>。同一时刻�Q�他们在另一��图像识别挑战赛MS COCO�Q�Microsoft Common Objects in Context�Q�常见物体图像识别）�?span style="color: rgb(61,170,214)">同样成功登顶�Q�在囑փ��和囑փ�分割��目上击败了来自学界、企业和研究机构的众多参赛者�?/p>

ImageNet计算��觉挑战赛由来自全球顶��高校和公司的研�I�员�l�织丑֊��Q�近�q�来已经成�ؓ计算��觉领域的标杆�Q�其比赛�l�果总能十分直观地反映出计算��觉这一热门领域中各研究机构的研�I�进展和�H�破。MS COCO数据库是由微软资助徏立，其挑战赛目前由学术界几所高校联合�l�织�Q�独立运行�?/p>

�q�两个挑战赛的侧重点各有不同�Q�ImageNet 們֐�于评��识别图像中显著物体的能力，而MS COCO們֐�于评��识别复杂场景的各类物体的能力。能同时在两个世界��的比赛中获得冠军�Q��以说明研�I�组的技术突破是通用�?#8212;—它可以显著地改善计算��觉领域的各项研究�Q�甚臌��机视觉领域以外的研�IӞ��比如语音识别。那么究竟是什么样的技术突��_��

在计��机视觉领域�Q�深层神�l�网�l�的�Ҏ��常常被研�I��h员用来训�l�计��机识别物体�Q�微软也不例外。但微��Y亚洲研究院的研究员们在此�ơImageNet挑战赛中使用了一�U�前所未有�Q�深度高辄��层的��经�|�络。该�|�络的层数比以往��M��成功使用的神�l�网�l�的层数�?/span>5�?/strong>以上�?/span>

要实现这一技术，背后的挑战巨大�?span style="color: red">起初�Q�连研究员们自己都不��信训练非常��q��|�络是可能或有用的�?#8220;我们没想到这样一个简单的��x��意义却如此重大�?#8221; 微��Y亚洲研究院首席研�I�员孙剑坦言。完成这��Ҏ��术突破的团队�?/span>4�?/strong>中国研究员组�?/span>�Q�孙剑与何恺明来自微软亚�z�研�I��视觉计算�l�，另外两�h为微软亚�z�研�I��的联合培��d��士生�Q�分别是来自西安交通大学的张祥雨和中国�U�学技术大学的��d��ѝ�?/p>

微��Y亚洲研究院主��研�I�员何恺�?/span>

当然�Q�这个重大的技术突破震惊的不仅仅是�q�个研究团队的研�I�员们�?span style="color: red">微��Y全球资深副总裁Peter Lee表示�Q?#8220;从某�U�意义上��_��他们完全颠覆了我之前�Ҏ��层神�l�网�l�的设想�?#8221;

ImageNet挑战赛去�q�获胜的�pȝ��错误率�ؓ6.6%�Q�而今�q�微软系�l�的错误率已�l�低�?strong>3.57%。事实上�Q�该研究团队早在今年一月就首次实现了对人类视觉能力的突破。当�Ӟ��在题�?#8220;Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification”的论文中�Q�他们系�l�的错误率已降低�?.94%。此前同��L��实验中，人眼辨识的错误率大概�?.1%�?/p>

滴水�I�石�Q�这是一个关于耐心与创新的故事

�q�几十年来，�U�学家们一直都在训�l�计��机做各�U�各��L��事情, 例如囑փ�或语韌��别。但很长一�D�|��间内�Q�这些系�l�的误差巨大�Q�难以消弭�?/p>

大约在五�q�前�Q�研�I��h员们开始重��C��?“��经�|�络”的技术�ƈ使其再次焕发出新的活力。神�l�网�l�的复兴让图像和语音识别�{�技术的�_�ֺ�实现了大�q�度飞跃。微软的SkypeTranslator实时语音��译技术就得益于此�Q�它能够更好地识别语韻I��从而不断完善机器翻译的准确性�?/p>

�c�M��于�h脑，��经�|�络包含多��非线性处理层。从理论上说�Q�越多的层��应该能带来越好的学习�l�果。但实际实验中的最大挑战是�Q�在通过每一层��的反传训�l�中�Q�反�I�监督信号幅度会�q�速衰减，�q�让整个��经�|�络�pȝ��的训�l�极为困难�?/p>

孙剑回忆刎ͼ�“三年前，当计��机视觉和机器实际领域训�l�出8层的深层��经�|�络�pȝ��Ӟ��识别�_�ֺ�有了质的飞跃。去�q�出��C��x��20�?0层的深层��经�|�络�Q�识别精度又被大�q�刷新�?#8221;

孙剑和他的组员们认�ؓ�|�络�q�可以更深。过�ȝ��几个月来�Q�他们用各种方式来添加更多的层��Q�同时还要保证结果的准确性。他们经历了大量错误的尝试，也吸取了很多的经验教训。最后，一个被他们�U�C��?#8220;深层�D�差�|�络�Q�deep residual networks�Q?#8221;的系�l�在微��Y亚洲研究院成功诞生�?/span>

�q�个“深层�D�差�|�络”正是他们用于ImageNet挑战赛的�pȝ��Q�它实现了惊人的152�?/span>�Q�比以往世界范围内的��M��pȝ��都深5倍以上。它�q��用了一个全新的“�D�差学习”原则来指导神�l�网�l�结构的设计。残差学习最重要的突破在于重构了学习的过�E�，�q��新定向了深层��经�|�络中的信息��。残差学习很好地解决了此前深层神�l�网�l�层�U�与准确度之间的矛盾�?/p>

借水行舟�Q�从�U�研探烦到智能��?/span>

��经�|�络有一个非帔R��要的优点�Q�就是学习到的内部表�C�或特征可以在不同�Q务中复用。Skype Translator��是一个很好的例子�Q�英语与徯��之间的翻译准��率可以随着��p��与中文翻译的不断增加而提高�?/p>

孙剑表示�Q�他们的深层�D�差�|�络��h��非常强的通用性。他们把该系�l�用于ImageNet挑战赛的分类��d��后，他们发现�q�一�pȝ��学到的内部表�C�或特征能显著提高其它三��Q务：��（detection�Q�，定位�Q�localization�Q�和分割�Q�segmentation�Q��?#8220;从我们极��q��深层��经�|�络中可以看出，深层�D�差�|�络力量强大且极为通用�Q�可以预见它�q�能极大地改善其它计��机视觉问题�?#8221;

事实上，孙剑团队多年来在计算��觉领域的研究成果已经转化��C��多微软的��产品和服务中�Q�例如，微��Y牛��|计划中的��识别和图像识别API、Windows 10中的Windows Hello“刯��”开机功能、必应的囑փ�搜烦、微软小冰的多个囑փ�“技�?#8221;�Q�OneDrive中的囄��分类功能�Q�以及广受好评的口袋扫描仪Office Lens�{�等�Q�不胜枚举�?/p>

以微软牛�z�计划�ؓ例，该计划开放了一�p�d��机器学习相关的API�Q�让没有机器学习背景的开发�h员也能构��q��应用。而其中�h脸识别API作�ؓ牛��|计划最先开攄��API�Q�受到广泛��用。此前火遍全球的How-old.net�Q�微软颜龄机器�h�Q?/a>�?a target="_blank" data_ue_src="http://mp.weixin.qq.com/s?__biz=MzAwMTA3MzM4Nw==&mid=206096976&idx=1&sn=1ec388667f71fff81a7aa3e325c2b7b2&scene=21#wechat_redirect">Twins or Not�Q�微软我们）��是在�h脸识别API基础上，通过几行��单的代码实现的�?/span>

通过和微软��品部门的紧密合作�Q�这些来自于微��Y亚洲研究院的全球领先的计��机视觉技术得以应用在几亿人的生活中。而这些来自中国研�I�员的研�I�成果，正在为我们的生活带来一�?#8220;隐�Ş革命”�Q��ؓ全球用户提供更智能的生��力工具和更个性化的计��体验�?/p>

微��Y全球资深副总裁、微软亚�z�研�I��院长�z�小文博士表�C�，“与视觉在人类感官中的重要性相同，计算��觉的一�ơ次重大�H�破无疑��Z�h工智能的整体发展提供了强大动力。让计算机看懂多彩的世界�Q�一直是�Ȁ励微软研�I��及计��机领域同仁在这条充满挑战的道�\上前行的重要力量。未来，�q�有更多�H�破�{�着我们��L��战！”

“微��Y亚洲研究院成�?7�q�了�Q�她的研�I�环境和气氛��Z��国IT届培��M��众多的�h�? 我在�q�里工作�?2�q�_��静下心来你就能在�q�样的环境中收获�Ȁ动�h心的发现。今天，我对我的团队��_��请��n受一天获得NBA冠军的感觉！”孙剑说�?br />阅读记录:read twice

杰哥 2015-12-11 22:28 发表评论

Softmax-Loss

杰哥 — Thu, 10 Dec 2015 09:20:00 GMT
     摘要: After discussing with Chong Wang of IIM, I have understood completely http://deeplearning.stanford.edu/wiki/index.php/Softmax_Regression. This is a good reference. The matlab code can be found in my c...  阅读全文

杰哥 2015-12-10 17:20 发表评论

杰哥 — Thu, 03 Dec 2015 07:27:00 GMT

2015�q?2�?2�?/div>
��国教授�l�我126邮箱回复: See attachment.
2016�q?2�?1�?/div>��国教授�l�我126邮箱回复: See attached. 20170429��x��一老师�l�我126邮箱回复: Please see the attached for the writing of my previous promotion application regarding ...
2017�q?�?�?/div>��国教授�l�我126邮箱回复: My CV is attached. 20170429一trans�ȝ��126邮箱回复: Attached please find the slides.

杰哥 2015-12-03 15:27 发表评论

Applications
Advertising and E-commerce	Bioinformatics
Education	Finance
Healthcare and medicine	Information retrieval and Language
Marketing	Markets and Crowds
Mobile and Sensor devices	Network sciences
Social good	Social media and publishing
Social sciences	User modeling
Web mining	Applications--Others
Big data
Cloud, Map-Reduce, and MPI	Data streams
Hashing	Infrastructure
Large-scale optimization	Sampling
Scalable algorithms	Big data--Others
Data mining foundations
Data ethics	Data mining methodology
Design of experiments	Data mining foundations--Others
Graphs and social networks
Community detection	Graph algorithms
Influence and diffusion	Link prediction
Network analysis	Social phenomena
Graphs and social networks--Others
Knowledge discovery
Causal inference	Exploratory analysis
Interpretable models	Sparse models
Visualization	Knowledge discovery--Others
Methods
Active learning	Bayesian inference
Decision trees	Ensemble methods
Kernel methods	Large-margin methods
Matrix and tensor methods	Model selection
Neural networks and deep learning	Online learning and bandits
Probabilistic methods and graphical models	Relational learning
Similarity-based methods	Methods--Others
Rich data types
Relations and structure	Sequences
Spatial data	Temporal and time-series data
Text	Unstructured data
Mining rich data types--Others
Recommender systems
Cold-start	Collaborative filtering
Content-based methods	Recommender systems--Others
Security
Adversarial data mining	Anomaly detection
Anonymization	Fraud detection
Intrusion detection	Privacy in data mining
Spam detection	Trust and truthfulness
Security--Others
Supervised learning
Classification	Learning to rank
Multi-label learning	Regression
Semi-supervised learning	Structured output prediction
Transfer learning	Supervised learning--Others
Unsupervised learning
Clustering	Dimension reduction
Embeddings	Feature selection
Manifold learning	Matrix/tensor factorization
Rule and pattern mining	Topic and latent variable models
Unsupervised learning--Others