跳到主要內容

[野人獻曝] 設定 AWS Elasticsearch Service

AWS 什麼錢都要賺,
所以他們就拿 Elasticsearch 來賺錢了,
對於不想自己管 Elasticsearch 服務的人,
只要簡單拿出信用卡解決問題就好了。

設定步驟其實很簡單,大概只有以下三個內容要填:

  • 設定這個 ES Instance 的名稱
  • 設定這個 ES Instance 要使用的機器規格及數目 / 空間類型 / 大小
  • 設定這個 ES Instance 要使用的存取規則
前兩點其實沒什麼,
至於第三點的部分就比較需要談了。

關於存取規則這部分,
如果是 AWS 初學使用者的話建議使用「Allow access from specific IPs」,
這樣就會只限定特定機器可以存取 ES,
後續要使用像是 Logstash 之類的東西同步資料會比較方便(因為不用做身份驗證)。

如果使用「Allow or deny access to one or more IAM users / AWS accounts」的話,
用 Logstash 同步的話就可能要用 logstash-output-amazon_es 這個 plugin 才有可能同步。
不過不知道為何我用這玩意就是會出問題,
也因為如此我才使用限定 IP 的方式來做,
這樣我就可以直接用 elasticsearch 這個 plugin 同步資料。

另外 AWS Elasticsearch Service 設定完後也會有設定好 kibana,
有需要可以再針對這部份善加利用。

留言

這個網誌中的熱門文章

[野人獻曝] AWS Certified Solutions Architect 認證考試心得

大概是去年聖誕節前夕, 不知道被什麼打到, 突然想考一張 AWS 認證考試, 所以就很突然地報了 AWS Certified Solutions Architect - Associate 的考試! 為了那場考試我還買了對岸出的翻譯教科書( 原文版 、 簡體版 )讀。 只是......因為我真的很不會讀書, 外加我上班真的超懶, 那本書我只看了前面幾章, 然後隨便做了書內的練習題和 Google 到的考古題, 就直接上場考試了! 雖然是很有驚無險地通過了啦(720 分通過,我考 761 分)..... 然後今年十一月左右也是因為很突然就離職, 所以也是很突然就決定再去報 AWS Certified Solutions Architect - Professional 的考試! 這次考試比之前稍微認真一點, 除了把那本教科書的後面幾章......的練習題重做外, 也開始狂 K 官方的訓練課程, 外加又多冥想了各種考題方向, 也順便自己開了一些不常用的服務練習(估計帳單也......), 大概是花了一個星期時間專心(?)準備! 這次也依然是很驚險地通過(750 分通過,我考 797 分) ====== 以上都是廢話 ===== 其實我去年考的時候還不知道認證架構師是最難的考試, 不過考完架構師考試後, 其實就會理解到 AWS 認證架構師就某種程度是最了解 AWS 架構的人, 如果一間公司全部使用 AWS 服務的話, 這傢伙應該就是部門的 Center ! 只是有沒有必要考到 Professional 等級就因人而異啦, 畢竟 Professional 級的考題很刁鑽, 遠比 Associate 級更為刁鑽, 除了出現一堆你壓根沒聽過的 AWS 服務外(我看到考題才知道有 EFA 這玩意), 還需要你從安全面、成本面、可維護性去思考架構該怎麼設計(其實 Professional 級這幾個面向的考題遠比 Associate 多), 這就很吃使用經驗和你有沒有想過最佳實踐。 如果是半吊子以為只是比 Associate 難一點點就上場去考的話, 保證很容易就會 GG ! 再次聲明:我真的只是好運考過的 QQ ====== 怎麼準備 ===== 其實不是很建議無謀地只讀教科書就去考! 最好是先有一段時間的 AWS 操作經驗, 至少要理解 VPC / SecurityGroup...

[野人獻曝] 架個 Stable Diffusion WebUI 來生個香香的老婆圖

A.I. 當道後, 什麼以文生文、以文生圖、以文生聲(?)等玩意陸續蹦出來。 別的先不說, 光是以文生圖就有像是 MidJourney 還是 Dall-E 等模型提供相關服務。 而後 NovelAI 自爆自己的以文生圖模型是透過 Danbooru 上收集的圖片所訓練, 外加相關程式碼也不小心外洩後, 你各位紳士們就開始在以文生圖這塊領域中尋找自己的婆了。 不過以上都不是重點, 本文只是想要記錄下 Stable Diffusion WebUI (以下簡稱 SDWebUI)的架設步驟而已。 其實安裝步驟出乎意料的簡單(當然是指在 Google CoLab 上), 只要以下幾個步驟,基本上就能把 SDWebUI 跑起來並且開始生圖: * 確保機器上有 Python 3 以上環境 * 下載 SDWebUI 原始碼,可以直接在 Github 上 clone 下來。 * 下載所需的模型:在產生 ACG 相關圖片的話,目前推薦使用 Anything 或是 Hentai Diffusion 等模型。不過要注意一點:模型檔案越大的話,硬體要求會更高(主要是顯卡的 GPU 和記憶體等級)。如果沒滿足需求的話可能會跑不起來 * 切換到 SDWebUI 目錄,執行以下指令開始跑 SDWebUI 的設定,會在這個步驟安裝其相依的 Python 套件並處理相關設定: COMMANDLINE_ARGS="--exit" REQS_FILE="requirements.txt" python launch.py *  把前面步驟所下載的模型檔案,搬移到 SDWebUI檔案目錄/models,例如 clone 到 /home/user/stable-diffusion-webui 的話,就把模型檔複製到 /home/user/stable-diffusion-webui/models 下。 * 執行以下指令,等待跑完以後,畫面應該會顯示一組 xxx.gradio.xxx 的網址,可以讓自己或朋友連進來玩(網址 72 小時內有效)。如果只是自用的話,也可以用 localhost 的網址開啟服務: COMMANDLINE_ARGS="--share --gradio-debug" REQS_FILE="requirements....

[野人獻曝] 開個 Stable Diffusion WebUI 的懶人包

前篇提到 Stable Diffusion WebUI, 這次要利用 Google Colab 服務來跑這玩意。 主要流程其實很簡單: 如果還沒有下載模型檔的話, 請先打開主要作業的區塊執行開啟 Google Drive 的權限, 然後再到第三個大區塊中的下載輸入模型檔下載路徑, 下載完成後就可以開始下載 Stable Diffusion WebUI 並準備執行。 如果已經執行過下載模型的話, 可以直接按下主要作業那個大區塊中的執行即可。 當不想玩了以後,請記得按下第二個大區塊的執行。 這個步驟會把該次產生的圖片存回到 Google Drive 內。 網址: https://colab.research.google.com/drive/1irIstg03GHVtXJLVhYLOtNuUy3z7ELz_?usp=sharing