轉(zhuǎn)載自:http://blog.nosqlfan.com/html/4144.html
做開發(fā)的同學(xué)都知道,一旦設(shè)計(jì)到底層存儲(chǔ)優(yōu)化,數(shù)據(jù)結(jié)構(gòu)甚至數(shù)據(jù)庫(kù)的變更,通常都會(huì)進(jìn)行數(shù)據(jù)遷移的工作。如果系統(tǒng)運(yùn)行時(shí)間過長(zhǎng),數(shù)據(jù)遷移的數(shù)量可能非常龐大。這時(shí)候,如何進(jìn)行高效的數(shù)據(jù)遷移,實(shí)際也是上線質(zhì)量的直接影響因素之一。
下面內(nèi)容是轉(zhuǎn)載的一個(gè)小技巧(原文),無法適用于各種變化的場(chǎng)景,僅供大家參考。
場(chǎng)景是從MySQL中將數(shù)據(jù)導(dǎo)入到Redis的Hash結(jié)構(gòu)中。當(dāng)然,最直接的做法就是遍歷MySQL數(shù)據(jù),一條一條寫入到Redis中。這樣可能沒什么錯(cuò),但是速度會(huì)非常慢。而如果能夠使MySQL的查詢輸出數(shù)據(jù)直接能夠與Redis命令行的輸入數(shù)據(jù)協(xié)議相吻合,可能就省事多了。
根據(jù)什么都測(cè)試,他800w的數(shù)據(jù)遷移,時(shí)間從90分鐘縮短到2分鐘。
廢話說了一堆,下面是具體案例。
MySQL數(shù)據(jù)表結(jié)構(gòu):
CREATE TABLE events_all_time (
id int(11) unsigned NOT NULL AUTO_INCREMENT,
action varchar(255) NOT NULL,
count int(11) NOT NULL DEFAULT 0,
PRIMARY KEY (id),
UNIQUE KEY uniq_action (action)
);
Redis存儲(chǔ)結(jié)構(gòu):
HSET events_all_time [action] [count]
下面是重點(diǎn),能過下面SQL語句將MySQL輸出直接變更成redis-cli可接收的格式:
-- events_to_redis.sql
SELECT CONCAT(
"*4\r\n",
'$', LENGTH(redis_cmd), '\r\n',
redis_cmd, '\r\n',
'$', LENGTH(redis_key), '\r\n',
redis_key, '\r\n',
'$', LENGTH(hkey), '\r\n',
hkey, '\r\n',
'$', LENGTH(hval), '\r\n',
hval, '\r'
)
FROM (
SELECT
'HSET' as redis_cmd,
'events_all_time' AS redis_key,
action AS hkey,
count AS hval
FROM events_all_time
) AS t
然后用管道符重定向輸出即可:
mysql stats_db
--skip-column-names --raw < events_to_redis.sql | redis-cli --pipe