我建造了什麼
我開發了 Vocabia,這是一個應用程式,可以幫助小學、初中和高中三個級別的學生豐富三種語言(英語、法語、西班牙語)的詞彙量。
學習者不再被動地閱讀,而是主動逐句重建故事:
每個句子都被分解成單字。
學習者必須按照正確的順序連接單字。
他們可以翻轉任何單字來查看其在其他兩種語言中的翻譯。
如果該單字代表一個物理物件,他們可以查看它的抽認卡式圖像。
計時器增加了挑戰和動力。
故事完成後,Vocabia 會大聲朗讀並產生一幅代表整個敘述的插圖。
Vocabia 將詞彙建構轉變為一種互動、視覺和多語言的旅程。
示範
以下是 Vocabia 的實際操作演示:
選擇難度等級(小學/國中/高中)。
選擇一種語言(英語/法語/西班牙語)。
連接單字節點形成句子。
翻轉單字即可查看其他兩種語言的翻譯。
如果它是一個物體,則查看抽認卡樣式的圖像。
在時間用完之前完成所有句子。
獲得敘述的故事+生成的插圖作為獎勵。
視覺呈現
詞語連結(React 流程圖)
翻頁翻譯功能
物件影像彈出視窗
慶祝成功的五彩紙屑
最終的故事敘述+插圖
我該如何使用 Google AI Studio
我利用 Google AI Studio 將 Gemini 的多模式功能整合到 Vocabia 中:
故事生成(Gemini 2.5 Flash)→以結構化 JSON 格式產生故事(句子→單字→翻譯→物件標誌)。
逐詞翻譯和分類→對於每個單詞,Gemini 提供其他兩種語言的翻譯,並辨識它是否是可可視覺化的物件。
每個單字的圖像(Imagen 4.0)→產生簡單的類似抽認卡的物件圖像(乾淨的白色背景,無文字)。
最終的故事插圖(Imagen 4.0)→產生一個單一的、彩色的插圖來概括整個故事。
程式碼產生與偵錯 → Gemini 協助建立 React 元件、管理狀態轉換並整合 React Flow。
這種人工智慧驅動的結構化輸出和圖像生成的結合使得 Vocabia 既能吸引學習者,也能高效地建構。
多模態特徵
Vocabia 透過多模式增強學習體驗:
文本→結構化 JSON:Gemini 產生逐字分解的連貫故事。
文字+圖像生成:每個物件詞都會獲得一個視覺抽認卡圖像,從而強化記憶。
文字→完整故事插圖:將完成的故事製作成插圖,獎勵學習者。
文字轉語音:大聲朗讀故事以練習發音和聽力。
透過結合語言學習、講故事、視覺效果和敘述,Vocabia 提供了一種身臨其境、有趣且多語言的體驗。