AS-AIGVTS

中研院科普演講影音平台現況 [Link]

• ✅ 知識寶庫，主題多元

• ✅ 大師雲集，內容精彩

• ⚠️ 偏好新上架或熱門影片

• ⚠️ 僅能從主題進行搜尋

• ⛔️ 沒有字幕，不夠友善

• ⛔️ 無法吸引國外人士閱聽

• ⛔️ 無法提供快速導覽

• ⛔️ 無法提供友善搜尋

我們的解法

• 使用 OpenAI Whisper 在地端進行語音辨識轉字幕檔

• 使用 Googletrans 進行多國語言翻譯

• 用 ChatGPT API 為影片內容撰寫摘要

• 用 Googletrans 將摘要翻譯成多國語言版本

• Google colab notebook： [colab_notebook_AS_AIGVTS_Transcript.ipynb]

• Python 語言版本

  • 自動產生多國語言字幕：[AS-AIGVTS-Transcript.py]
  • 自動產生影片摘要：[AS-AIGVTS-Summarization.py]

案例分享

• 【生成式 AI】Diffusion Model 原理剖析 (1/4) (optional), by 李宏毅 [原始連結] [加字幕後連結]

開發團隊

• 中央研究院 資訊服務處
• 中央研究院 資訊科學研究所

---

Current Status of the Academia Sinica's Science Popularization Video Platform [Link]

• ✅ Knowledge treasury, diverse topics

• ✅ Gathering of masters, fascinating content

• ⚠️ Preference for newly uploaded or popular videos

• ⚠️ Can only search by topic

• ⛔️ No subtitles, not friendly enough

• ⛔️ Unable to attract foreign audiences

• ⛔️ Unable to provide quick navigation

• ⛔️ Unable to provide user-friendly search

Our Solution

• Use OpenAI Whisper for local speech recognition and subtitle file conversion

• Use Googletrans for multilingual translation

• Use the ChatGPT API to write summaries for video content

• Use Googletrans to translate the summaries into multilingual versions

• Google Colab notebook: [colab_notebook_AS_AIGVTS_Transcript.ipynb]

• Python codes

  • Automatic Generation of Multilingual Video Transcriptions: [AS-AIGVTS-Transcript.py]
  • Automatic Generation of Video Summary: [AS-AIGVTS-Summarization.py]

Case Study

• "Generative AI" Analysis of Diffusion Model principles (1/4) (optional), by Hong-Yi Li [Original Link] [Link After Adding Subtitles]

Development Team

• Department of Information Technology Services, Academia Sinica
• Institute of Information Science, Academia Sinica