[野人獻曝]利用python抓網頁內容

程式碼如下：



import urllib2,sys,os
import hashlib

word = sys.argv[1]
content = urllib2.urlopen(word).read()

FILE = open('/home/faryne/python/'+hashlib.sha224(word).hexdigest()+'.html','w')
FILE.write(content)
FILE.close()

留言

這個網誌中的熱門文章

[野人獻曝] 串接 OpenAI 的 Assistant

你就直接把 Assistant 當成你在 ChatGPT 看到的那些 GPT 玩具吧（？），只是你可以透過 Assistant API 透過程式化來建立你的 GPT 並與你的網站功能結合。雖然前面說了「用 Assistant API 」，但實際上其實需要以下三個類型的 API 相互結合才能生出一個 Assistant： Assistants API ：設定給助手（？）的指示內容、要使用的模型等資訊。在絕大部分場合下，你通常只需要呼叫一次 Assistant 的 Create 方法一次，此後就可以把回傳的 id 記錄下來後用在其他地方。 Threads API ：建立對話串，這個對話串會與前述的 Assistant 相互結合，讓 Assistant 知道要在這個 Thread 開始監聽訊息，並針對指示做出相應的回覆。 Messages API ：將使用者輸入的訊息送到 Thread Runs API ：使用者送出訊息後，就要呼叫 Create Run ，讓後端知道有工作要做了以下是其流程：先呼叫 Assistant API 的 Create ，記得要拿到回傳中最重要的 id ，這會在接下來的步驟中使用到。如果沒什麼特殊狀況的話你可以把這個 id 持久化保存，之後就不用再重做一次這個步驟。接著建立一個新的 Thread ，並取回其中回傳的 id。這個步驟你可能會因應不同的使用的而需要頻繁產生。以上兩個步驟完成後，接著就可以：建立一條新的 Message ，並將使用者輸入的內容發送至剛才建立的 Thread 中（透過之前建立 Thread 成功所得到的 id）接著呼叫 Run API 的 Create ，將建立 Assistant 與 Thread 成功時所取得的 id 帶入後，就會開始根據使用者輸入的內容開始做分析處理。若是忘記呼叫這個 API 你會發現怎麼內容輸入了但卻沒有任何回應。然後就可以定期去呼叫取得 Run 資訊的 API ，看看是不是已經處理完畢。只有在 status 是 completed 時，才代表執行完畢。執行完畢後，就可以透過 Message API 取得訊息。看吧，很簡單吧？ㄍㄋㄋ，官網沒寫詳細用法只有提供 endpoint 資訊。害我先按照自己的想法寫出一個雛形發覺怎麼跑不起來一邊確認一邊問 ChatGPT...

閱讀完整內容

[野人獻曝] 利用 IFTTT Maker 自訂自己的特殊需求（？）

大家應該都知道 IFTTT 是什麼樣的東西，所以我就不多解釋了。雖然一般而言，我們確實只要在某個服務的狀態發生時，才需要讓 IFTTT 幫我們做些事，（像是我們收藏 Flickr 上某張照片時就自動下載到 Dropbox 之類的。）但通常可以選的服務就是檯面上有名號的服務。一旦要做些比較特殊的事時，嗯......通常直覺下都是自己刻東西來做，老實說有點麻煩啦...... 所以後來 IFTTT 推出 Maker 這個玩意。她可以接收來自使用者端的請求，也可以把請求轉發到另外一個地方，對某些特殊需求而言，就不大需要額外刻東西。以下簡介一下使用流程：首先先到 https://ifttt.com/maker 找到你的 API Key 並且記下來。接著你就可以到 Create Recipe 中選擇 Maker 後再選擇 Make a web request 開始新增你的食譜了。記得 Event Name ，這個東西會在呼叫時用到另外 Receive Request 只收以下這些參數：v alue1、value2 及 value3 這些參數，其他東西會無視。發出 request 直接使用 POST https://maker.ifttt.com/trigger/{Event Name}/with/key/{API Key} 然後就看你要讓 IFTTT 接到哪裡即可。不過要注意一點：因為上面的 Request 只收 value[1-3] 這三個參數，所以你也只能在 Ingridents 選擇這三項東西來用。這個就比較麻煩一點...... 使用大致上應該沒啥問題，反正就是簡單的 POST 機制，做些比較沒有敏感性的事情其實還蠻方便的。不過要拿來控制你家的電氣系統就可能要再三思了（茶

閱讀完整內容

[野人獻曝] 架個 Stable Diffusion WebUI 來生個香香的老婆圖

A.I. 當道後，什麼以文生文、以文生圖、以文生聲（？）等玩意陸續蹦出來。別的先不說，光是以文生圖就有像是 MidJourney 還是 Dall-E 等模型提供相關服務。而後 NovelAI 自爆自己的以文生圖模型是透過 Danbooru 上收集的圖片所訓練，外加相關程式碼也不小心外洩後，你各位紳士們就開始在以文生圖這塊領域中尋找自己的婆了。不過以上都不是重點，本文只是想要記錄下 Stable Diffusion WebUI （以下簡稱 SDWebUI）的架設步驟而已。其實安裝步驟出乎意料的簡單（當然是指在 Google CoLab 上），只要以下幾個步驟，基本上就能把 SDWebUI 跑起來並且開始生圖： * 確保機器上有 Python 3 以上環境 * 下載 SDWebUI 原始碼，可以直接在 Github 上 clone 下來。 * 下載所需的模型：在產生 ACG 相關圖片的話，目前推薦使用 Anything 或是 Hentai Diffusion 等模型。不過要注意一點：模型檔案越大的話，硬體要求會更高（主要是顯卡的 GPU 和記憶體等級）。如果沒滿足需求的話可能會跑不起來 * 切換到 SDWebUI 目錄，執行以下指令開始跑 SDWebUI 的設定，會在這個步驟安裝其相依的 Python 套件並處理相關設定： COMMANDLINE_ARGS="--exit" REQS_FILE="requirements.txt" python launch.py * 把前面步驟所下載的模型檔案，搬移到 SDWebUI檔案目錄/models，例如 clone 到 /home/user/stable-diffusion-webui 的話，就把模型檔複製到 /home/user/stable-diffusion-webui/models 下。 * 執行以下指令，等待跑完以後，畫面應該會顯示一組 xxx.gradio.xxx 的網址，可以讓自己或朋友連進來玩（網址 72 小時內有效）。如果只是自用的話，也可以用 localhost 的網址開啟服務： COMMANDLINE_ARGS="--share --gradio-debug" REQS_FILE="requirements....

閱讀完整內容

Faryne的程式設計館

搜尋此網誌