模型問題與環境問題

[a22802240]

你好，想請問一下ubuntu的版本與node.js的版本

然後想問一下 我看exec_whisperx_task.py這個程式碼
看到預設使用whisperx的large-v3模型
想請問這個模型跟我自己載入的large-v3模型效果一樣嗎？
請問有對這模型做其他微調嗎 還是在音檔上傳的部份有做什麼前處理或後處理嗎？

想再問一下 目前這東西應該沒辦法做翻譯功能對不對

[ccchungdaw]

你好，想請問一下ubuntu的版本與node.js的版本

然後想問一下 我看exec_whisperx_task.py這個程式碼 看到預設使用whisperx的large-v3模型 想請問這個模型跟我自己載入的large-v3模型效果一樣嗎？ 請問有對這模型做其他微調嗎 還是在音檔上傳的部份有做什麼前處理或後處理嗎？

想再問一下 目前這東西應該沒辦法做翻譯功能對不對

您好，

目前在rocky linux 9、ubuntu 24.04、windows 11 pro跟home幾個OS都佈建過，給您參考；Nodejs使用18.20版本。
模型應該是一樣的，但是速度跟功能上可能會有些差異（可以比較openai-whisper、whisperx、還有敝專案的介紹）。
另外您提到的翻譯功能，目前還沒有這樣的規畫。

CD

[a22802240]

好的 那我想再問關於模型的詳細問題
目前我看起來推論部份是在本地端的exec_whisper_task_v1.0.py上面做的
裡面load的是whisperx_large_v3模型
try: logger.info(f"Load model: {MODEL_SIZE} on {DEVICE} with {COMPUTE_TYPE}") model = whisperx.load_model(MODEL_SIZE, DEVICE, compute_type=COMPUTE_TYPE) except Exception as e: logger.error(f"Error loading model: {e}", exc_info=True) logging.shutdown() raise
並且看起來對音檔的前處理只有將聲道轉成單聲道

try: logger.info(f"Convert the audio to mono (left channel) while keeping the original format: \n" f"{AUDIO_FILE}\n-> {AUDIOLC_FILE}") ( ffmpeg .input(AUDIO_FILE) .output(AUDIOLC_FILE, ac=1, map="0:a:0") .run(overwrite_output=True) )

所以我想確定的是 如果我自行load同樣的模型 並做一樣的前處理
得到的推論輸出結果會是一樣的嗎？
請問我是否有漏掉東西？

[ccchungdaw]

Hi，

whisperx本來就有使用ffmpeg把input playback轉單聲道的處理，但有時不太可靠，於是在這邊先處理掉。

會影響到輸出結果的幾個參數：model_size、compute_type、chunk_size、alignment model、有沒有enable vad
如果上述這些都是相同的話，輸出結果應該是一樣的

CD

好的 那我想再問關於模型的詳細問題 目前我看起來推論部份是在本地端的exec_whisper_task_v1.0.py上面做的 裡面load的是whisperx_large_v3模型 try: logger.info(f"Load model: {MODEL_SIZE} on {DEVICE} with {COMPUTE_TYPE}") model = whisperx.load_model(MODEL_SIZE, DEVICE, compute_type=COMPUTE_TYPE) except Exception as e: logger.error(f"Error loading model: {e}", exc_info=True) logging.shutdown() raise 並且看起來對音檔的前處理只有將聲道轉成單聲道

try: logger.info(f"Convert the audio to mono (left channel) while keeping the original format: \n" f"{AUDIO_FILE}\n-> {AUDIOLC_FILE}") ( ffmpeg .input(AUDIO_FILE) .output(AUDIOLC_FILE, ac=1, map="0:a:0") .run(overwrite_output=True) )

所以我想確定的是 如果我自行load同樣的模型 並做一樣的前處理 得到的推論輸出結果會是一樣的嗎？ 請問我是否有漏掉東西？

[a22802240]

好的 可以的話我一個一個對照一下
model_size = large-v3

compute_type = float16

chunk_size = 10

alignment model我沒在config.json看到 但我對照了一下應該是這兩行
` model_a, metadata = whisperx.load_align_model(language_code=result["language"], device=DEVICE, model_name="WAV2VEC2_ASR_LARGE_LV60K_960H")

align_result = whisperx.align(result["segments"], model_a, metadata, audio, DEVICE, return_char_alignments=RETURN_CHAR_ALIGNMENTS)`

至於enable vad部份我是真的沒看到
有看到一行result = model.transcribe(audio, batch_size=BATCH_SIZE, vad_filter=True, vad_parameters={"threshold": 0.5}, print_progress=PRINT_PROGRESS)
但我看這邊是註解的 想請問一下這個是沒有使用的意思吧

以上應該是全部的有影響推論結果的參數了 想確定一下我按照這樣設定是不是就可行了