這三個是 Transformer block 裡比較「工程輔助」但非常重要的東西。 ``` 原本的 token vector ↓ LayerNorm ↓ Self-Attention ↓ Residual Connection ↓ LayerNorm ↓...
Claude Code 的產品哲學：當價值觀成為架構 ============================= 前一篇我們討論了關於 TUI 的技術演進。但是一個月前再看 Claude Code 的程式碼，並對比四個 AI Coding 工具的設計和架構時，有個問題一直在我腦海中迴盪...
Flutter 又為 AI 時代添磚加瓦：全新 ComponentLibrary 提議 ============================================== 近日，Flutter 又提出了一個新的提案：**為 Flutter 增加一個標準原語：`ComponentLibra...
# My thoughts by chatgpt 這一段我終於比較理解 LLM 最後「生出下一個 token」的流程了。 模型真正困難的部分，其實是在前面：整段輸入經過 embedding、attention、MLP、很多層 transformer 之後，最後算出一組 output lo...
## My thoughts by chatgpt 今天理解到 GPT 產生下一個 token 的最後階段，叫做 output logit。 一開始我以為 Transformer 裡面既然是 token 彼此互看，那最後應該是整串 token 一起拿去預測下一個 token。可是後來才搞...
# My thoughts by chatgpt 我原本以為 attention 算完關聯分數之後，就差不多可以直接進到下一層了。後來才發現，真正的流程比這更細緻。 在 self-attention 裡，每個 token 會先透過不同的矩陣變成 Q、K、V： ```text X ...
クラ集分析是探索性資料分析（EDA）中最有用的方法之一。 AI 驅動開發下，需求定義有什麼改變？ ----------------------------------------------------------------------------------------------------------...
小米版 Claude Code 正式發布，這次開源真的夠猛。 ============================== 大家好，我是二哥呀。 MiMo Code 0.1 版本正式發布，並採用 MIT 授權協議正式開源。支援： - MiMo Auto（限時免費），想薅 token...
MLP = Multi-Layer Perceptron 多層感知器 # My thoughts by chatgpt 原本我以為 Transformer 裡面，每個 token vector 經過 QKV attention 之後，就會直接變成下一層的 input。現在才發現，事情不是...
今天釐清了一個很容易混淆的地方：GPT-2 small 裡的 12，可能同時指 12 layers，也可能指 12 heads，但這兩個意思完全不同。 Layer 是模型的深度。GPT-2 small 有 12 層 Transformer block，意思是 token vector 會像走流...
# My thoughts by chatgpt 每個 token vector 會被轉成 Q、K、V 三種向量。 Q 可以理解成「我想找什麼」。 K 是「我有什麼特徵可以被匹配」。 V 是「我真正提供的內容」。 那 attention 的下一步，就是讓每個 token 的 Q...
https://poloclub.github.io/transformer-explainer/ 看了一下早期的 gpt tokenier https://github.com/kaisugi/gpt4_vocab_list/tree/main 有關中文的部分也少少的 鳥鳥的 但...
瑞幸 skill 引發的一些思考 =================== 瑞幸也推出 skill 了，引發了我對 AI 時代和網際網路時代的一些思考。 skill 叫 My Coffee Skill，是一個 zip 套件，裝進 Claude Code、Codex、Cursor，你跟 ag...
真多執行緒！Bun 作者要給 JS 動大手術 ====================  Bun 的創始人 Jarred Sumner 最近在社群平台上說了一句話：「我還是想要多執行緒 JavaScript。」 ...
上線只是產品的開始 ============== 最近，我獨立開發並上線了一個微信小程式【發圈九宮格素材小鋪】。 從需求釐清、頁面設計、前後端開發，到伺服器部署、提交審核，再到上線後的推廣和營運，整個流程走下來，我最大的感受是： **開發只能決定一個產品能不能做出來，產品思維決定它...
[](#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)前言 ============================================= 之前在〈[把設計文件用 Markdown 管理，並自動轉換成 PDF 吧！](https://qiita.com/gr...
我把 Claude Code 切到 Fable 5，先別急著興奮 =================================== 大家好，我是孟健。 Anthropic 在 6 月 9 日發布了 Claude Fable 5 和 Claude Mythos 5，我當天就把自己...
[](#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)前言 --------------------------------------------- \**本文重點整理* - 用 Claude Code × GitHub 做出「自己的使用說明書」，並完整交給 AI ...
