US3SYNC 是一款將不同源的數(shù)據(jù)同步到 S3 的遷移工具。通過將 US3SYNC 部署在本地或者云主機中，可以便捷地從本地或者其他云環(huán)境中將數(shù)據(jù)遷移到 S3 存儲空間。US3SYNC工具可以創(chuàng)建兩種模式的任務：

普通模式： 普通同步任務可以將源端某個指定前綴或文件夾的文件批量的同步到US3上。

fetch模式： fetch模式的同步任務是通過POST請求（描述需要同步的文件URL和目的位置）將文件同步到指定的位置上?？梢灾该魑募匠晒褪『蟮幕卣{(diào)接口，US3SYNC會在同步任務完成后，發(fā)送相應的通知。

普通任務工作原理

圖中master節(jié)點與worker節(jié)點功能：

master節(jié)點：

單點部署，負責遷移任務的管理。其主要邏輯是從源端拉取文件列表，然后將需要遷移的文件派發(fā)給worker進程遷移。

worker節(jié)點：

支持節(jié)點擴展，負責遷移文件。其主要邏輯是從源端下載文件，然后將文件上傳到目的端。

master節(jié)點與worker節(jié)點可以部署在同一臺機器，也可以部署在多臺機器上，用戶可以根據(jù)需要自行擴展worker節(jié)點，下面分別介紹：

部署在同一臺機器：

master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進行通信。用戶需要確保配置給worker節(jié)點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復。

部署在不同機器：

master節(jié)點和worker節(jié)點通過啟動時配置的內(nèi)部通信監(jiān)聽地址進行通信，確保該地址在worker機器上可以訪問。用戶需要確保配置給worker節(jié)點的路徑是單獨的路徑，不可與master路徑以及其他worker路徑重復。

Fetch任務工作原理

Fetch類型的任務跟普通任務工作原理大致類似，不同的是同步任務的源端需要發(fā)送POST請求來指定，而不是根據(jù)配置的源端的位置自動拉取。

POST請求語法

POST /fetch/ HTTP 1.1Authorization: AuthContent-Type:application/jsonCopy

請求頭部

ErrorSuccess請求頭部

Authorization為必選項，content-type, date等都是可選項

例如： Authorization: UCloud xxxx-xxxx-xxxx-xxxx-xxxx:xxxxxxxxxxxxx 計算方法偽碼如下：

method := "POST" md5 := xxxxxxcontentType := xxxxxxdate := xxxxxprivateKey = xxxxx-xxxx-xxxxx-xxxxpublicKey = xxxx-xxxx-xxxx-xxxxstrToSign = method + "\n" + md5 + "\n" + contentType + "\n" + date + "\n" signature = HmacSHA1(strToSign, privateKey) signature = Base64(signature) Authorization: "UCloud " + publicKey + ":" + signatureCopyErrorSuccess

請求內(nèi)容

此處的JobId可以在界面中獲取

返回內(nèi)容

{ "RetCode":, "ErrMsg":, "TaskId": }CopyErrorSuccess

示例請求

POST /fetch/ HTTP/1.1Authorization:Authorization: UCloud this-is-my-public-key:AAAArandomsignature=Content-Type:application/jsonContent-Length: 159{ "Url": "http://xxx.xxx.xxx/xxx/movie.mp4", "Bucket": "example_bucket", "Key":"movie.mp4", "JobId": "xxxxxxxxxxxxxxxxxxxx", "SuccessCallbackUrl":"http://xxx.xxx.xxx/xxx", "FailureCallbackUrl":"http://xxx.xxx.xxx/xxx"}CopyErrorSuccess

返回

HTTP/1.1 200 OKContent-Type: application/json; charset=utf-8Content-Length: 122Connection: keep-alive{ "RetCode":0, "ErrMsg":"success", "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f"}CopyErrorSuccess

回調(diào)內(nèi)容

您可以在請求中指定任務完成后的回調(diào)地址，US3SYNC會依照任務執(zhí)行結(jié)果給相應的地址放松POST請求，請求內(nèi)容示例如下：

Failure callback

{ "Code":1, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "Message":"We encountered an internal error.", "Resource":"http://xxx.xxx.xxx/xxx/movie.mp4",}CopyErrorSuccess

Success callback

{ "Code": 0, "TaskId": "d4d62b79-b292-411a-a1f2-47369e2b532f", "ETag":"xxxxxxxx", "Key":"xxxxxxxxxxxxxxx.mp4", "SHA1":"0bc51013e87869137a432200f57daf6affdd3d0c", "Size":638304718}CopyErrorSuccess

主要功能

1. 支持從 s3，oss，qiniu，youpai，S3 云存儲遷移數(shù)據(jù)到 S3 中。
2. 支持從 NAS 存儲或者本地目錄將數(shù)據(jù)遷移到 S3 中。
3. 支持指定 URL 資源列表將數(shù)據(jù)遷移到 S3 中。
4. 支持 web 管理，通過 web 管理遷移任務，遷移節(jié)點。
5. 支持源端管理
6. 支持配置任務定期執(zhí)行
7. 支持失敗文件列表導出

注：暫不支持源端為歸檔類型的文件遷移到 S3。

文件結(jié)構(gòu)

US3SYNC├── bin│ |── master # master 可執(zhí)行程序│ └── worker # worker 可執(zhí)行程序├── conf│ └── config.toml # 配置文件├── cert # https證書├── log # master日志文件存放路徑├── pika # 依賴pika└── console.sh # 啟動腳本CopyErrorSuccess

---

當前版本：1.10.4

運行環(huán)境：

Linux：

    CentOS 7.0 及以上 (可通過cat /etc/redhat-release查看)

    Ubuntu 16.04 及以上 (可通過cat /etc/issue查看)

US3SYNC 依賴 telnet，expect，rsync 命令，確保預裝這些命令，使用 yum 源做包管理可以使用以下命令安裝：

yum install -y telnet expect rsyncCopyErrorSuccess

下載并解壓

wget -O US3SYNC.tgz "https://ufile-release.cn-bj.ufileos.com/US3SYNC/v1.10.4/US3SYNC.tgz"tar xzf US3SYNC.tgzcd ./US3SYNCCopyErrorSuccess

啟動master服務

./console.sh start請設置緩存服務監(jiān)聽端口[9000]:請設置緩存服務密碼[user-passwd]:# 云主機一般綁定EIP，建議ip地址使用0.0.0.0請設置web 服務監(jiān)聽地址[0.0.0.0:443]:# 內(nèi)部通信地址不提供外網(wǎng)服務，建議ip地址使用機器內(nèi)網(wǎng)ip請設置內(nèi)部通信監(jiān)聽地址[x.x.x.x:8080]:請設置報錯重試次數(shù)[10]:請設置web 登錄使用的用戶名[root]: 請設置web 登錄使用的密碼[passwd]: US3SYNC start success!# 查看master服務./console.sh show# 結(jié)束master服務./console.sh stop# 驗證# 查看進程是否正常啟動./console.sh showCopyErrorSuccess

添加worker節(jié)點

服務啟動后，在瀏覽器中打開：https://<web服務監(jiān)聽IP>:<web服務監(jiān)聽端口>/

注：使用云主機部署遷移服務時，這里需要使用EIP，而不是0.0.0.0。

頁面登錄，使用啟動時設置的用戶名和密碼。

添加工作節(jié)點，參考 創(chuàng)建節(jié)點界面說明，需要為每個節(jié)點提供唯一工作路徑。 每個工作節(jié)點需要提供唯一工作路徑，如果路徑不存在會自動創(chuàng)建對應目錄。

注：建議使用內(nèi)網(wǎng)ip。