国产91久久综合,国产成人精品综合久久久久 ,久久国产精品99精品国产

pandas使用HDF5格式存储需要注意的问题

Tue, 08 Dec 2015 08:38:00 GMT

HDF5格式非常适合保存层次化的�l�构数据集合。python下有pytable和h5py两种接口方式支持存储HDF5文�g�Q�pandas��支持直接读写pytable。保存数据量不太大（一般控制在2GB以内�Q�的日线分钟�U�数据用h5格式�q�是很方便的。pandas在读取h5文�g�Ӟ��可以像数据库一栯��行条件检索。详�l�资料可参考pandas.HDFStore的where参数。要使column可以在where语句中查询，保存数据文�g旉��要增加index或者明��指定data_columns。但是指定过多的column为data_columns��会使得性能下降�?br />�|�上搜烦后找��C��关于pandas存储HDF5文�g性能优化的一些徏议，原文�?a >�q�里

1.不��用index�Q�创建出来的HDF文�g��寸会小一些，速度也快一些�?br />2.通过store.create_table_index() 创徏索引�Q�对data_columns�q�行�{�选时的速度没有什么媄响�?br />3.保存HDF时��用压�~�选项�Ҏ��据的��d��速度影响很小�Q�但是压�~�后�Q�文件尺�怼�显著的变��?br />使用pandas��d��hdf5文�g�C�Z��如下

#write
store=pd.HDFStore("./data/Minutes.h5","a", complevel=9, complib='zlib')
store.put("Year2015", dfMinutes, format="table", append=True, data_columns=['dt','code'])
# read
store=pd.HDFStore("./data/Minutes.h5","r")
store.select("Year2015", where=['dt','code=="000570"'])

胡雨�?/a> 2015-12-08 16:38 发表评论

Sun, 01 Mar 2015 11:57:00 GMT

�l�于搞清楚了为啥我的Ec2108�?etc/init.d/rcS中设�|�的PATH�Q�启动后莫名的被修改了，原来�?etc/init.d/profile中又把PATH重新讄��了，原因记录下来�?br />【本文�ؓOurUnix--Linux's境原创，转蝲��h��明源地址www.ourunix.org�?/div>

�q�两天在做根文�g�pȝ��的时候，注意�?linuxrc�?etc/init.d/rcS�?etc/init.d/rc.local�?etc/init.d/profile�q�几个文件尤光��要，遂把他们记蝲下来了�?/div>

/Linuxrc 执行init �q�程初始化文件。主要工作是把已安装�Ҏ��件系�l�中�?etc 挂蝲为ramfs�Q��ƈ拯��/mnt/etc/目录下所有文件到/etc�Q�这里存攄��l�启动后的许多特�D�文�Ӟ��接着Linuxrc 重新构徏文�g分配表inittab�Q�之后执行系�l�初始化�q�程/sbin/init�?/div>

Linuxrc

#!/bin/sh

echo "mount /etc as ramfs"

/bin/mount -n -t ramfs ramfs /etc

/bin/cp -a /mnt/etc/* /etc

echo "re-create the /etc/mtab entries"

# re-create the /etc/mtab entries

/bin/mount -f -t cramfs -o remount,ro /dev/mtdblock/3 /

/bin/mount -f -t ramfs ramfs /etc

exec /sbin/init

etc/init.d/rcS 完成各个文�g�pȝ��?mount�Q�再执行/usr/etc/rc.local�Q�通过rcS 可以调用 dhcp �E�序配置�|�络。rcS 执行完了以后�Q�init ��׃��在一�?console 上，按照 inittab 的指�C�开一�?shell�Q�或者是开 getty + login�Q�这��L��户就会看到提�C��入用户名的提�C�符�?/div>

rc.local

/usr/etc/

#!/bin/sh

. /usr/etc/profile

echo "HELLO! Embest"

echo "ifconfig eth0 192.168.0.10"

ifconfig eth0 192.168.0.10 #可自行配�|�开发板IP

/usr/etc/rc.local �q�是被init.d/rcS 文�g调用执行的特�D�文�Ӟ��与Linux �pȝ��g�q�_��相关�Q�如安装核心模块、进行网�l�配�|�、运行应用程序、启动图形界面等�?/div>

rcS

/mnt/etc/init.

#!/bin/sh

/bin/mount -a

exec /usr/etc/rc.local

/usr/etc/profile 执行该文仉��|�需要的环境变量�{��?/div>

Profile

/usr/etc/

#!/bin/sh

PATH=/bin:/sbin:/usr/bin:/usr/sbin ?? 讄��命��o工具所在位�|?/div>

胡雨�?/a> 2015-03-01 19:57 发表评论

sqlite下��用Replace命��o和Update更新记录时的差别

Sun, 01 Mar 2015 10:12:00 GMT

最�q�在写sqilte语句更新数据时发��C��问题�Q�那��是Replace into执行时居然会把id主键修改了。google了一下，原来Replace的原理是扑ֈ�待修改的记录后，整条删除�Q�然后插入新记录。所以这个过�E�中�Q�默认的id主键会被修改。有时候这�U�结果�ƈ不是我们所惌��的，应该如何解决呢？

http://stackoverflow.com/questions/2717590/sqlite-upsert-on-duplicate-key-update�q�里有很好的讨论�?br />个�h觉得以下�Ҏ��最好，摘抄如下�?br />

INSERT OR REPLACE INTO page (id, name, title, content, author)

SELECT old.id, new.name, new.title, old.content, new.author

FROM ( SELECT

"about" AS name,

"About this site" AS title,

42 AS author

) AS new

LEFT JOIN (

SELECT id, name, content

FROM page WHERE name= "about"

) AS old ON new.name = old.name;

胡雨�?/a> 2015-03-01 18:12 发表评论

sqlite下��用Replace命��o和Update更新记录时的差别

Sun, 01 Mar 2015 10:11:00 GMT

http://stackoverflow.com/questions/2717590/sqlite-upsert-on-duplicate-key-update�q�里有很好的讨论�?br />个�h觉得以下�Ҏ��最好，摘抄如下�?br />

INSERT OR REPLACE INTO page (id, name, title, content, author)

SELECT old.id, new.name, new.title, old.content, new.author

FROM ( SELECT

"about" AS name,

"About this site" AS title,

42 AS author

) AS new

LEFT JOIN (

SELECT id, name, content

FROM page WHERE name= "about"

) AS old ON new.name = old.name;

胡雨�?/a> 2015-03-01 18:11 发表评论

解决linux虚拟��Z�� VMware Tools安装问题

Sun, 22 Feb 2015 04:28:00 GMT

ubuntu下安装vmware tools问题
VMware Tools installation cannot be started manually while Easy Install is in progress.

vmware-install.pl

我在虚拟机安装Ubuntu�Ӟ��无法自动安装VMware Tools�Q�不能全屏显�C��?br />�|�上搜烦解决办法如下�Q�未成功�?br />在开启虚拟机操作�pȝ��的情况下�Q�在虚拟��|�中更改floppy为auto detect。然后点击菜单中的安装VMWare Tools�Q�虚拟操作系�l�中的光驱里��׃��有VMWare Tools的安装程序了�Q�自行安装即�?br />最�l�解军_��法：
在VMware目录�Q�win7下�ؓC:\Program Files (x86)\VMware\VMware Workstation�Q�下扑ֈ�linux.iso挂接到Ubuntu虚拟机光驱。在Ubuntu虚拟��Z��解压光盘安装包，启动�l�端�E�序�Q�进�?/span>VMware-tools-distrib目录�Q?/span>�q�行sudo perl vmware-install.pl

debian下安装vmware tools问题
debian下按照上面的�Ҏ��安装虚拟机是不能成功的，会显�C�错�?/span>

"The path "usr/bin/gcc" is not a valid path to the gcc binary path"

"The path "" is not a valid path to the 2.6.32-5-686 kernel header"
原因是vmware tools需要搜素gcc�~�译器和linux内核版本。解军_��法是

uname -r

昄��2.6.32-5-686

然后安装头文�?/span>

apt-get install linux-headers-2.6.32-5-686
安装�~�译环境

apt-get install make

apt-get install build-essential

然后再重复上面Ubuntu的安装过�E?br />先用df命��o��定光盘mount位置

我的光盘位置/media/cdrom0

cd /tmp

tar zxpf /mnt/cdrom/VMwareTools-8.8.0-47126.tar.gz
cd vmware-tools-distrib

./vmware-install.pl
然后安装时一路回车，使用默认选项��ok

胡雨�?/a> 2015-02-22 12:28 发表评论

关于inline函数"unresolved external" 错误

Sun, 28 Dec 2014 08:04:00 GMT

内联函数能够提高�E�序性能�q�是大家都知道的。但内联函数应该怎样��x��和定义呢�Q�今天我��遇��C��?unresolved external" 错误。google后找到答案�?br />

t's imperative that the function's definition (the part between the {...}) be placed in a header file, unless the function is used only in a single .cpp file. In particular, if you put the inline function's definition into a .cpp file and you call it from some other .cpp file, you'll get an "unresolved external" error from the linker.

内联函数体必��d��义在头文件中�Q�除非你的程序只有单一cpp文�g。如果你在一个cpp文�g中定义内联函��C��Q�而要从其他cpp文�g讉K��该内联函敎ͼ�你就会在link旉��?span style="font-size: 12px;">"unresolved external" 错误�?/span>原文链接�?a >�q�里�?br />

胡雨�?/a> 2014-12-28 16:04 发表评论

Tue, 04 Feb 2014 00:35:00 GMT

最�q�重新安装系�l�，选择自定义安装office�Q�本意是惛_��量精��掉一些用不上的内容，�l�果不小心给自己添麻烦了�?br />安装完后�Q�用WORD打开文档�Ӟ��L��提示�Q�此文档有宏�Q�该应用�E�序的宏语言支持功能被取消。功能要求的VBA不可用。如果关闭文档退��会提�C�：所做更改会影响��q��模板NORMAL

�|�上查找了一番，解决办法有两个：
1.打开文档�Ӟ��q�入“开�?#8221;-“选项”-“加蝲��?#8221;-“��理COM加蝲��?#8221;�Q�将三个可用加蝲��前的打勑֎�掉�?/div>

2.用office安装盘重新安�?“��d��/删除功能”-“自定义安�?#8221;-“OFFICE �׃�n功能”下，安装“VBA数字工程证书”�?#8220;Visual　Basic　for　Applications”

�Ҏ��1临时用用可以�Q�但解决不了问题。最后还是选修复安装搞定�?/div>

胡雨�?/a> 2014-02-04 08:35 发表评论

解决visual studio 2010下warning LNK4099: PDB 'vc100.pdb' was not found问题

Sat, 06 Oct 2012 15:27:00 GMT

以前用visual studio 2008时也��到�q�类似问题，问题产生的原因就是由于一个Solution下单多个Project是分开�~�译的，主项目和子项目的pdb文�g名相�?默认都是vc90.pdb或vc100.pdb)从而造成冲突。这个问题对�E�序的执行不会��生媄响，但会��D��丢失部分调试信息�?br />在网上搜�?a >解决办法�Q�修改pdb文�g讄��的�\径和名称。�{贴于此�?br />

Project Configuration Properties -> C/C++ -> Output Files
Program Database File

This name, e.g. $(IntDir)\vc90.pdb, is embedded into the object file and it should be the same as the one in

Project Configuration Properties -> Linker -> Debugging
Generate Program Database File

This is, e.g. $(TargetDir)$(TargetName).pdb

Now the object file contain the path where the library is located, too.

由此引出一个话题，那就是对于分开�~�译的多个Project�l�成的一个复杂的Solution如何�l�织目录文档�l�构�Q�既保持各个Project相对独立�Q�同时又保证整个Solution调试信息的完整性。我的解军_��法是�Q�首先肯定要像上面一样修改各单独Project的pdb的�\径和文�g名。其�ơ在复制Project�~�译�l�果到Solution的Lib�Ӟ��要把所有的obj文�g和pdb文�g一起copy�q�来。要注意单独的Project�~�译的obj文�g和pdb文�g路径最好相同，而且使用相对路径"..\"�?#8220;.\"打头。文件复制工作可以写成一个批处理�Q�放入主Solution的Pre-Build Event中去�?br />

胡雨�?/a> 2012-10-06 23:27 发表评论

注意TA-LIB与国内股��Y件的技术指标计��方式的区别

Sun, 08 Apr 2012 03:31:00 GMT

折腾了好久才发现开源库TA-LIB关于很多指标计算都与国内通用股��Y不太一栗��刚开始还以�ؓ是自��q��E�序写错了，汗一个�?br />比如ATR的计��，国内一般是取TR�Q�真实�L�q�）的简单��^均。而TA-LIB则是采取�c�M��EMA�q�_��一��L��Ҏ��求TR的��^均倹{�?br />再如MACD(12,26,9)的计��，TA-LIB对于�?3个初始值是未定义的�Q�国内股软计��初始值时则是�Ҏ��已有的几根bar计算�?br />�q�_��值比照MACD公式�q�行换算的。自己利用TA-LIB库开发股软时一定要�Ҏ��一下指标的计算异同�Q�否则浪�Ҏ��间就划不来了�?

胡雨�?/a> 2012-04-08 11:31 发表评论

国产91久久综合,国产成人精品综合久久久久 ,久久国产精品99精品国产

pandas使用HDF5格式存储需要注意的问题

sqlite下��用Replace命��o和Update更新记录时的差别

sqlite下��用Replace命��o和Update更新记录时的差别

解决linux虚拟��Z�� VMware Tools安装问题

关于inline函数"unresolved external" 错误

推荐一�ƾ轻巧好用的�~�辑软�gMadEdit

解决visual studio 2010下warning LNK4099: PDB 'vc100.pdb' was not found问题

注意TA-LIB与国内股�����Y件的技术指标计���方式的区别

注意TA-LIB与国内股��Y件的技术指标计��方式的区别