久久综合伊人77777蜜臀,亚洲人成77777在线观看网,午夜国产一区

Deep Learning (Spark, Caffe, GPU)

Wed, 14 Oct 2015 09:25:00 GMT

from http://docs.continuum.io/anaconda-cluster/examples/spark-caffe

Deep Learning (Spark, Caffe, GPU)

Description

To demonstrate the capability of running a distributed job in PySpark using a GPU, this example uses a neural network library, Caffe. Below is a trivial example of using Caffe on a Spark cluster; although this is redundant, it demonstrates the capability of training neural networks with GPUs.

For this example, we recommend the use of the AMI ami-2cbf3e44 and the instance type g2.2xlarge. An example profile (to be placed in ~/.acluster/profiles.d/gpu_profile.yaml) is shown below:

name: gpu_profile
node_id: ami-2cbf3e44 # Ubuntu 14.04 - IS HVM - Cuda 6.5
user: ubuntu
node_type: g2.2xlarge
num_nodes: 3
provider: aws
plugins:
  - spark-yarn
  - notebook

Download

To execute this example, download the: `spark-caffe.py example script` or `spark-caffe.ipynbexample notebook`.

Installation

The Spark + YARN plugin can be installed on the cluster using the following command:

$ acluster install spark-yarn

Once the Spark + YARN plugin is installed, you can view the YARN UI in your browser using the following command:

$ acluster open yarn

Dependencies

First, we need to bootstrap Caffe and its dependencies on all of the nodes. We provide a bash script that will install Caffe from source: bootstrap-caffe.sh. The following command can be used to upload the bootstrap-caffe.sh script to all of the nodes and execute it in parallel:

$ acluster submit bootstrap-caffe.sh --all

After a few minues, Caffe and its dependencies will be installed on the cluster nodes and the job can be started.

Running the Job

Here is the complete script to run the Spark + GPU with Caffe example in PySpark:

# spark-caffe.py from pyspark import SparkConf from pyspark import SparkContext  conf = SparkConf() conf.setMaster('yarn-client') conf.setAppName('spark-caffe') sc = SparkContext(conf=conf)   def noop(x):     import socket     return socket.gethostname()  rdd = sc.parallelize(range(2), 2) hosts = rdd.map(noop).distinct().collect() print hosts   def caffe_process(x):     import os     os.environ['PATH'] = '/usr/local/cuda/bin' + ':' + os.environ['PATH']     os.environ['LD_LIBRARY_PATH'] = '/usr/local/cuda/lib64:/home/ubuntu/pombredanne-https-gitorious.org-mdb-mdb.git-9cc04f604f80/libraries/liblmdb'     import subprocess     proc = subprocess.Popen('cd /home/ubuntu/caffe && bash ./examples/mnist/train_lenet.sh', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)     out, err = proc.communicate()     return proc.returncode, out, err  rdd = sc.parallelize(range(2), 2) ret = rdd.map(caffe_process).distinct().collect() print ret

You can submit the script to the Spark cluster using the submit command.

$ acluster submit spark-caffe.py

After the script completes, the trained Caffe model can be found at/home/ubuntu/caffe/examples/mnist/lenet_iter_10000.caffemodel on all of the compute nodes.

蔡东�?/a> 2015-10-14 17:25 发表评论

状态机-》智�?设想1

Tue, 22 Jan 2013 05:11:00 GMT

昨晚忙完无聊的事情，惛_��了状态机�Q�和��?br />关于低等��q�化的一个体�pȝ��构。可能有点凌乱，先记下来�?br />

我们用类来描�q?br />
Class
{
数据�Q?br />　　状态规则。State map or tree
　　状态机机制保存。Each State �Q�data�Q?nbsp;rule�Q?nbsp;function�Q?br />　　
操作�Q?br />　　
　　SateAction(环境变量)
　　{
Switch�Q�state�Q?br />{
Case state1�Q?br />State1_function();
Break:
Case state2�Q?br />State2_function();
Break:
　　Defualt:
}
　　
　　//记录行�ؓ状�?br />　　//�q�化操作
　　}
　　
　　
　　//输入为：外部视野内或者是感知范围环境驱动整个对象
　　Update()
　　{
　　}
　　
�q�化操作�Q?br />　　//不断吞噬其他对象�?nbsp;状态机接入�q�来�Q�连接点�?nbsp;共同的外部环境变�?/span>
　　Void Eat(other);
　　
　　//自我角色和环�?nbsp;评估
　　Void Evolution(); //自我扩展�Q�各�U�进�?nbsp;方式
　　
　　//状态机自我扩展操作
　　Void EvolutionGo();
　　
}

蔡东�?/a> 2013-01-22 13:11 发表评论

关于�� Z��Z��?语言反馈

Wed, 26 Dec 2012 06:25:00 GMT

关于�� Z��Z��?语言反馈

早上公交车上面，攉��机听到在讲这个词

信息�Q?/div>

“你这�U��h”

假设�l�他一个语�?/span>

联想到的关于��之间的交互�?/div>

语言应激�?/div>

->历史背景产生的定�?-》定义推出出来的贬义

->贬义产生的历史记�?推导-》��n体动物性变�?/div>

->化学物质变化->抑制刺激�Ȁ�?沟通排斥，�w�体器官�z�d��{?包括语言反馈大脑反馈其他内脏反馈

->记忆存储�Q�历史库

蔡东�?/a> 2012-12-26 14:25 发表评论

机器学习相关数据�?备䆾

Wed, 10 Oct 2012 11:53:00 GMT

资料�?/h3>
KDD杯的中心�Q�所有的数据�Q��Q务和�l�果�?/strong>
UCI机器学习和知识发现研�I�中使用的大型数据集KDD数据库存储库�?/li>
UCI机器学习数据�?/a>�?/li>
AWS�Q�亚马逊网�l�服务）公共数据�?/a>�Q�提供了一个集中的资料库，可以无缝集成到基于AWS的云应用�E�序的公共数据集�?/li>
生物��定数据�Q�在虚拟�{�选，生物��定数据�Q�对化学信息学，J.由阿��D��Schierz的，�?1个生物测定数据集�Q�有�?无效的化合物�Q�可供下载�?/li>
加拿大开放数�?/a>�Q�许多政府和地理�I�间数据集的试点��目�?/li>
因果关系工作�q�_��的数据存储库�?/li>
数据源手�?/a>�Q�指南公开数据�Q�由皮特·沃登�Q�奥莱利�Q?011�q?月）�?/li>
Data.gov.uk�Q�英国（伦敦数据存储的公开数据 �Q��?/li>
Data.gov /教育�Q�中央指导教育数据资源，包括高�h值的数据集，数据可视化工��P��译֠�上的资源�Q�创建开放数据和更多的应用程序�?/li>
DataMarket�Q�可视化世界的经��，�C�会�Q�自�Ӟ��与行业，�?00万次�p�d��p��合国�Q�世界银行，�Ƨ盟�l�计局和其他重要的数据提供者�?/li>
Datamob�Q�公共数据善加利用�?/li>
DataSF.org�Q�从旧金山市与县�Q�CA的数据资料交换所�?/li>
DataFerrett�Q�数据挖掘工��P��讉K��和操�U�TheDataWeb�Q�许多美国上�U�的电子政务数据集的集合�?/li>
�ȝ��Q�评估学习有效的实验数据
EconData�Q�成千上万的�l�济旉��序列�Q��生一些美国政府机构�?/li>
安然邮�g数据�?/a>�Q�约150个用��L��数据�Q�主要是安然公司的高�U�管理�h员�?/li>
Europeana的数�?/a>�Q�包�?000万的文本�Q�图像，视频和声音Europeana�?�Ƨ洲文化遗��内容的信��d��全面的资源收集的开攄��元数据�?/li>
FEDSTATS�Q�美国的�l�计数据�Q�更全面的信息来�?/li>
FIMI频繁��w��挖掘�Q�实现和数据�?a style="color: #551a8b; text-decoration: none; ">�?/a>�?/li>
财务数据搜烦在OSU�Q�大的目录的财务数据集�?/li>
全球环境展望�Q�GEO基因表达OMNIBUS�Q?nbsp;�Q�基因表�?分子的丰富存储库支持MIAME兼容的数据提交，�q�策划，�|�络资源的基因表达数据的��览�Q�查询和��索�?/li>
GeoDa中心�Q�地理空间数据�?/li>
的谷歌ngrams数据�?/a>�Q�从��C��百万计的��h��扫描图书的文字�?/li>
�_�食市场调研�Q�胦务数据，包括股票�Q�期货等�?/li>
希拉�?#183;梅森研究质量的大数据�?/a>的集�?许多文本和图像数据集�?/li>
ICWSM-2009�q�的数据�?/a>包含4400�?�?日和2008�q?0�?日的博客文章�?/li>
Infochimps�Q�公开目录和市场数据。您可以�׃�n�Q�出售，牧师和下载�Q何东西，一切有关的数据�?/li>
投资者的链接�Q�包括胦务数�?/li>
凯文湾仔数据集列�?/a>�Q�文本，SNA�Q�和其他领域�?/li>
KONECT�Q�科布��u茨网�l�的攉��Q�与所有类型的大型�|�络数据集，以执行网�l�挖掘领域的研究�?/li>
兌��开放数�?/a>��目�Q�数据免�Ҏ��供给大家�?/li>
万首歌曲数据�?/a>
�ȝ��理工学院癌症基因�l�基因表达数据和出版�?/a>�Q�从�ȝ��理工学院怀牚w��德基因组研究中心�?/li>
ML数据�Q�数据存储库的，�Ƨ盟Pascal2�|�络�?/li>
�U�x��辑օ�Data Store数据存储�pȝ��Q�提供市场数据的讉K��?/li>
国民政府�l�计�|�站�Q�数据，报告�Q�统计年��_��新闻发布�Q�以及来自约70个网站，其中包括来自非洲�Q�欧�zԌ��亚洲和拉丁美�z�的国家�?/li>
国家�I�间�U�学数据中心�Q�NSSDC�Q�，��国航空航天局的数据集从行星探��，�I�间和太阳物理，生命�U�学�Q�天体物理学�Q�和更多�?/li>
OpenData Socrata�Q�访问超�q?0,000的数据集�Q�包括商业，教育�Q�政府和乐趣�?/li>
彼得Skomoroch数据集书�{?/a>
PubGene�Q�TM�Q�基因数据库和工�?/a>�Q�基因组学相关的出版物数据库
�|�伯�?#183;席勒住房�Q�股市，�q�从他的�?�?em>“非理性繁荣的数据�?/li>
SMD�Q�斯坦福微阵列数据库�Q�从微阵列实验的原料和标准化的数据存储�?/li>
SourceForge.net研究资料�Q�包括历史和状态统计，�U?0万的��目和超�q?00万注册用��L��z�d��Q�在��目��理�|�站�?/li>
StatLib�Q�债务工具中央�l�算�pȝ��的数据集存��?/li>
STATOO数据集的�W?部分�?nbsp;STATOO数据集的�W?部分
旉��序列资料�?/a>
可视化分析测试资源库�?/li>
UCR的时间序列数据存�?/a>�Q�提供数据集�Q�文�Ӟ��链接和代码�?/li>
��国人口调查局�?/li>
Wikiposit�Q�（虚拟�Q�合�qӞ��主要是金融）从许多不同的�|�站的数据，使用戯��够合�q�来自不同来源的数据
雅虎沙盒的数据集�Q�语�a��Q�图形，资信评��Q�广告和市场营销�Q�竞�?/li>
Yelp的学术资料集�Q�所有的数据和评论的250企业�Q?0所大学的学生和学者探索和研究�?/li>

蔡东�?/a> 2012-10-10 19:53 发表评论

关于��最初的��x��

Mon, 08 Oct 2012 05:30:00 GMT
排除了专家系�l��?br />
最初没有知识这个东西，最初也没有什么知识体�p�R��h�c�M�品�?br />
最初就是应�Ȁ性，后面看多了，发现了一下小玩意的现象规律，规律让你满��了最初的需求目标。初期智能必��L��单的目标。在�q�个获取��单目标，模仿�?br />初期工具提供。如人手脚眼睛，机器那么��是知识库、网�l�数据采集、分�c�R��目标解��x��案积累等��单工兗��?br />
在满��些需求后�Q�就形成了基��工作能力�Q�基��获取知识能力�Q�基��辑ֈ��单目标的能力�?br />
后面��会拥有一个庞大的现象库。分析这些，抽象��q��概念�Q�在概念兌��里面��L��概念的关�p�R�?br />拥有整个世界的观��能力，完善整个概念关系的�Ş成。可以从��的到大的�?br />�q�个时候需要�h�c�d��与制定目标，或者由最初的目标形成多个子目标。通过�q�些现象推导解决�Ҏ��。过�E�不��，可以是逻辑的、也可以是模�p�的�{�等�?br />
关于概念抽象的工��h��据挖掘的工具聚类分类相关的技术、概念化一�l�现象是可以的�?br />至于概念化出来的�Q�聚�c�d��来的概念�Q�你可以随意标明�Ҏ��你可以表�C�Zؓ“X1234”��L��的唯一定义�Q�你可以让�h�c�读得懂�Q�你通过观察�Q�通过互联�|�数据分析、图像引擎、�h�cȝ��识库。匹配你的特征，抽象出来的东西，然后发现是一��L��机器人知道的x1234 原来��是人类的苹果。。。。�?br />

�q�样的系�l�过于庞大，初期可能要靠巨型的神�l�网�l�遗传算法等用来大规模数据聚�c�d��析，归类�?br />至于关系建立�Q�暂时还没有好的办法�Q�必��d��某一�c�逻辑、成果进行关联处理。这是个挑战�?br />其次实施可以通过�Q�小目标讑֮��Q�逐步架构大型�pȝ��的方式。学习测试归�c�，可以从小领域发展�?br />

蔡东�?/a> 2012-10-08 13:30 发表评论

久久综合伊人77777蜜臀,亚洲人成77777在线观看网,午夜国产一区

Deep Learning (Spark, Caffe, GPU)

from http://docs.continuum.io/anaconda-cluster/examples/spark-caffeDeep Learning (Spark, Caffe, GPU)

Description

Download

To execute this example, download the: spark-caffe.py example script or spark-caffe.ipynbexample notebook.

Installation

The Spark + YARN plugin can be installed on the cluster using the following command:$ acluster install spark-yarn Once the Spark + YARN plugin is installed, you can view the YARN UI in your browser using the following command:$ acluster open yarn

Dependencies

Running the Job

状态机-》智�?设想1

关于����� ��Z����Z���?语言反馈

机器学习相关数据�?备䆾

关于�����最初的��x��

from http://docs.continuum.io/anaconda-cluster/examples/spark-caffe

Deep Learning (Spark, Caffe, GPU)

To execute this example, download the: `spark-caffe.py example script` or `spark-caffe.ipynbexample notebook`.

The Spark + YARN plugin can be installed on the cluster using the following command:
$ acluster install spark-yarn
Once the Spark + YARN plugin is installed, you can view the YARN UI in your browser using the following command:
$ acluster open yarn

关于�� Z��Z��?语言反馈

关于��最初的��x��