S3 上傳大檔

因為工作的關係, 今天只是想把一個 10G 的檔案丟上 S3 當作備份, 本來都是用 Transmit 來做這件事, 不過今天卻碰到檔案太大的問題, 不給我上傳。

因為檔案超過 5GB 就得切檔案上傳

其實不確定 3hub 有沒有支援 multipart 上傳, 不過懶得裝了。 所以搜尋了一下找到了 github 上的 s3-multipart, 實際試了也還滿方便的, 便來記錄一下。

首先用 pip 裝上 boto

<code class="bash">$ pip install boto  

然後設定 ~/.boto 寫上

[Credentials]
aws_access_key_id = <your_access_key_here>  
aws_secret_access_key = <your_secret_key_here>  

接著把 s3-mp-upload.py 抓下來然後執行

<code class="bash">$ python s3-mp-upload.py foo.bar s3://bucket-name/foo.bar  

接著檔案就會切成小檔案丟上 s3 了, 其實還算是滿方便的, 但是 10GB 的檔案已經傳好幾個小時了啊 …

tzangms

Read more posts by this author.

Subscribe to Oceanic / 海海人生

Get the latest posts delivered right to your inbox.

or subscribe via RSS with Feedly!