跳到主要內容

[野人獻曝] 將Cloudfront的資源加上防外連機制

最近因為 Cloudfront 的流量費用越來越可怕了,
所以牙一咬就決定擋掉圖片的所有外連圖個減少開銷。

Cloudfront 正好有提供 Signed URL 這個玩意可以達成我的要求。

這玩意簡單來說就是在所要求的資源(如:圖片、檔案等)的網址後面多加一串 Query String。
例如:http://www.example.com/a.txt經過改造後會變成http://www.example.com/a.txt?blahblah
而Server只要認那串 Query String 就可以決定是否要出所要求的內容,
就可以控制不必要的外連。

那接著就不提廢話,直接實作吧!

第一步要先到 AWS 的 Security Credentials
然後頁面往下拉找到一個 Key Pairs 的 tab,
接著點擊 Create a new key pair
他會產生一組pem檔並且要求下載,
請把這個檔案下載儲存。
同時頁面上也會顯示一組 Axxxxxxxxxx 的 key ,
請務必把這組字串複製下來。

第二步要寫出一個產生 Signed URL 的 function,
內容大概如下

<?php
/**
  * $resource:要處理的檔案網址  例如http://www.example.com/a.txt
  * $expire:過期的時間,單位是秒,這裡我預設有效時間為一個小時
*/
function create_signed_url ($resource, $expire = 3600)
{
    $aws_key = 'Axxxxxxxx';  // 就是上述所提到的key
    $pem_file = '';   // 剛才下載的pem檔案放置路徑
    $expire_time = time() + $expire;  // 這裡的值是個 Unix timestamp
    // 以下是 Cloudfront 的存取策略,內容基本上是個json string
    // 但是千萬不要用json_encode這個函式去編出內容,因為格式會不一樣
    // 詳細可以參考:
    // 以下是指特定的檔案(即$resource)在$expire_time之後即無法取得內容
    $policy = '{
        "Statement":[{
            "Resource":"' . $resource . '",
            "Condition":{
                "DateLessThan":{
                    "AWS:EpochTime":'. $expire_time . '
                }
            }
        }]
    }';
    // 接下來要利用openssl的相關函式產生所需的簽章內容
    $private_key_content = file_get_contents($pem_file);

    // 先把內容丟到openssl_get_privatekey算出私鑰
    $pkey = openssl_get_privatekey($private_key_content);
    // 接著呼叫openssl_sign取得簽章內容
    // $policy是上面設定的讀取策略,產生的結果會放在$signature中
    openssl_sign($policy, $signature, $pkey);
    // 接著釋放這組key內容
    openssl_free_key($pkey);

    // 然後要真正產生簽章過的URL
    // 請注意:Policy和Signature的內容要用base64_enocde編碼外,還要把特定的三個符號替換掉    // 否則產生的url也會無法取得資源
    return $resource."?".http_build_query(array(
        'Policy'            =>  str_replace(
            array('+', '=', '/'),
            array('-', '_', '~'),
            base64_encode($policy)
        ),
        'Key-Pair-Id'       =>  $aws_key,
        'Signature'         =>  str_replace(
            array('+', '=', '/'),
            array('-', '_', '~'),
            base64_encode($signature)
        ),
    ));

}
?>

然後在網頁上用到該資源的連結/圖片全部用這個function處理後,
輸出的url應該就會有一長串的Query String了。

但是這樣作還不夠,
我們還要進去 Cloudfront 的控制台設定哪些項目需要被限制存取。
所以進入控制台後請選擇目標項目後點擊 Distribution Settings
接著選擇 Behaviors
如果沒意外的話有一組 Path Pattern 為 Default(*) 的項目,
請點擊他後按下Edit。
出現編輯畫面後請往下拉,
找到 Restrict Viewer Access (Use Signed URLs) 並選擇 Yes 後儲存。
這樣這個項目內所有資源就會被限制存取。
(當然也可以設定什麼樣的檔案才要被限制,這個設定可以寫在 Path Pattern 中)

上面的動作做完後,等 Cloudfront 佈署完成後應該就會生效了。
你應該會發現沒加一長串簽章的網址全部都出現 Access Denied 或是其他之類的錯誤訊息,
而有一長串簽章的網址都應該是可以正確讀取,
這樣表示就一切正常了。

留言

這個網誌中的熱門文章

[野人獻曝] AWS Certified Solutions Architect 認證考試心得

大概是去年聖誕節前夕, 不知道被什麼打到, 突然想考一張 AWS 認證考試, 所以就很突然地報了 AWS Certified Solutions Architect - Associate 的考試! 為了那場考試我還買了對岸出的翻譯教科書( 原文版 、 簡體版 )讀。 只是......因為我真的很不會讀書, 外加我上班真的超懶, 那本書我只看了前面幾章, 然後隨便做了書內的練習題和 Google 到的考古題, 就直接上場考試了! 雖然是很有驚無險地通過了啦(720 分通過,我考 761 分)..... 然後今年十一月左右也是因為很突然就離職, 所以也是很突然就決定再去報 AWS Certified Solutions Architect - Professional 的考試! 這次考試比之前稍微認真一點, 除了把那本教科書的後面幾章......的練習題重做外, 也開始狂 K 官方的訓練課程, 外加又多冥想了各種考題方向, 也順便自己開了一些不常用的服務練習(估計帳單也......), 大概是花了一個星期時間專心(?)準備! 這次也依然是很驚險地通過(750 分通過,我考 797 分) ====== 以上都是廢話 ===== 其實我去年考的時候還不知道認證架構師是最難的考試, 不過考完架構師考試後, 其實就會理解到 AWS 認證架構師就某種程度是最了解 AWS 架構的人, 如果一間公司全部使用 AWS 服務的話, 這傢伙應該就是部門的 Center ! 只是有沒有必要考到 Professional 等級就因人而異啦, 畢竟 Professional 級的考題很刁鑽, 遠比 Associate 級更為刁鑽, 除了出現一堆你壓根沒聽過的 AWS 服務外(我看到考題才知道有 EFA 這玩意), 還需要你從安全面、成本面、可維護性去思考架構該怎麼設計(其實 Professional 級這幾個面向的考題遠比 Associate 多), 這就很吃使用經驗和你有沒有想過最佳實踐。 如果是半吊子以為只是比 Associate 難一點點就上場去考的話, 保證很容易就會 GG ! 再次聲明:我真的只是好運考過的 QQ ====== 怎麼準備 ===== 其實不是很建議無謀地只讀教科書就去考! 最好是先有一段時間的 AWS 操作經驗, 至少要理解 VPC / SecurityGroup...

[野人獻曝] 利用 IFTTT Maker 自訂自己的特殊需求(?)

大家應該都知道 IFTTT 是什麼樣的東西, 所以我就不多解釋了。 雖然一般而言, 我們確實只要在某個服務的狀態發生時, 才需要讓 IFTTT 幫我們做些事, (像是我們收藏 Flickr 上某張照片時就自動下載到 Dropbox 之類的。) 但通常可以選的服務就是檯面上有名號的服務。 一旦要做些比較特殊的事時, 嗯......通常直覺下都是自己刻東西來做, 老實說有點麻煩啦...... 所以後來 IFTTT 推出 Maker 這個玩意。 她可以接收來自使用者端的請求, 也可以把請求轉發到另外一個地方, 對某些特殊需求而言, 就不大需要額外刻東西。 以下簡介一下使用流程: 首先先到  https://ifttt.com/maker 找到你的 API Key 並且記下來。 接著你就可以到 Create Recipe 中選擇 Maker 後再選擇 Make a web request 開始新增你的食譜了。 記得 Event Name ,這個東西會在呼叫時用到 另外 Receive Request 只收以下這些參數:v alue1、value2 及 value3   這些參數,其他東西會無視。 發出 request 直接使用 POST https://maker.ifttt.com/trigger/{Event Name}/with/key/{API Key} 然後就看你要讓 IFTTT 接到哪裡即可。 不過要注意一點:因為上面的 Request 只收 value[1-3] 這三個參數,所以你也只能在 Ingridents 選擇這三項東西來用。這個就比較麻煩一點...... 使用大致上應該沒啥問題, 反正就是簡單的 POST 機制, 做些比較沒有敏感性的事情其實還蠻方便的。 不過要拿來控制你家的電氣系統就可能要再三思了(茶

[野人獻曝] 架個 Stable Diffusion WebUI 來生個香香的老婆圖

A.I. 當道後, 什麼以文生文、以文生圖、以文生聲(?)等玩意陸續蹦出來。 別的先不說, 光是以文生圖就有像是 MidJourney 還是 Dall-E 等模型提供相關服務。 而後 NovelAI 自爆自己的以文生圖模型是透過 Danbooru 上收集的圖片所訓練, 外加相關程式碼也不小心外洩後, 你各位紳士們就開始在以文生圖這塊領域中尋找自己的婆了。 不過以上都不是重點, 本文只是想要記錄下 Stable Diffusion WebUI (以下簡稱 SDWebUI)的架設步驟而已。 其實安裝步驟出乎意料的簡單(當然是指在 Google CoLab 上), 只要以下幾個步驟,基本上就能把 SDWebUI 跑起來並且開始生圖: * 確保機器上有 Python 3 以上環境 * 下載 SDWebUI 原始碼,可以直接在 Github 上 clone 下來。 * 下載所需的模型:在產生 ACG 相關圖片的話,目前推薦使用 Anything 或是 Hentai Diffusion 等模型。不過要注意一點:模型檔案越大的話,硬體要求會更高(主要是顯卡的 GPU 和記憶體等級)。如果沒滿足需求的話可能會跑不起來 * 切換到 SDWebUI 目錄,執行以下指令開始跑 SDWebUI 的設定,會在這個步驟安裝其相依的 Python 套件並處理相關設定: COMMANDLINE_ARGS="--exit" REQS_FILE="requirements.txt" python launch.py *  把前面步驟所下載的模型檔案,搬移到 SDWebUI檔案目錄/models,例如 clone 到 /home/user/stable-diffusion-webui 的話,就把模型檔複製到 /home/user/stable-diffusion-webui/models 下。 * 執行以下指令,等待跑完以後,畫面應該會顯示一組 xxx.gradio.xxx 的網址,可以讓自己或朋友連進來玩(網址 72 小時內有效)。如果只是自用的話,也可以用 localhost 的網址開啟服務: COMMANDLINE_ARGS="--share --gradio-debug" REQS_FILE="requirements....