# My thoughts by chatgpt 我原本以為 attention 算完關聯分數之後,就差不多可以直接進到下一層了。後來才發現,真正的流程比這更細緻。 在 self-attention 裡,每個 token 會先透過不同的矩陣變成 Q、K、V: ```text X ...
クラ集分析是探索性資料分析(EDA)中最有用的方法之一。 AI 驅動開發下,需求定義有什麼改變? ----------------------------------------------------------------------------------------------------------...
小米版 Claude Code 正式發布,這次開源真的夠猛。 ============================== 大家好,我是二哥呀。 MiMo Code 0.1 版本正式發布,並採用 MIT 授權協議正式開源。支援: - MiMo Auto(限時免費),想薅 token...
MLP = Multi-Layer Perceptron 多層感知器 # My thoughts by chatgpt 原本我以為 Transformer 裡面,每個 token vector 經過 QKV attention 之後,就會直接變成下一層的 input。現在才發現,事情不是...
今天釐清了一個很容易混淆的地方:GPT-2 small 裡的 12,可能同時指 12 layers,也可能指 12 heads,但這兩個意思完全不同。 Layer 是模型的深度。GPT-2 small 有 12 層 Transformer block,意思是 token vector 會像走流...
# My thoughts by chatgpt 每個 token vector 會被轉成 Q、K、V 三種向量。 Q 可以理解成「我想找什麼」。 K 是「我有什麼特徵可以被匹配」。 V 是「我真正提供的內容」。 那 attention 的下一步,就是讓每個 token 的 Q...
# My thoughts by chatgpt 每個 token 都會先被轉成一個向量。這個向量可能有 768 維、4096 維,甚至更大。也就是說,一個 token 本質上就是一串很多很多數字。 進入 self-attention 的時候,這個 token vector 會再被轉成三...
https://poloclub.github.io/transformer-explainer/ 看了一下早期的 gpt tokenier https://github.com/kaisugi/gpt4_vocab_list/tree/main 有關中文的部分也少少的 鳥鳥的 但...
瑞幸 skill 引發的一些思考 =================== 瑞幸也推出 skill 了,引發了我對 AI 時代和網際網路時代的一些思考。 skill 叫 My Coffee Skill,是一個 zip 套件,裝進 Claude Code、Codex、Cursor,你跟 ag...
真多執行緒!Bun 作者要給 JS 動大手術 ====================  Bun 的創始人 Jarred Sumner 最近在社群平台上說了一句話:「我還是想要多執行緒 JavaScript。」 ...
上線只是產品的開始 ============== 最近,我獨立開發並上線了一個微信小程式【發圈九宮格素材小鋪】。 從需求釐清、頁面設計、前後端開發,到伺服器部署、提交審核,再到上線後的推廣和營運,整個流程走下來,我最大的感受是: **開發只能決定一個產品能不能做出來,產品思維決定它...
[](#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)前言 ============================================= 之前在〈[把設計文件用 Markdown 管理,並自動轉換成 PDF 吧!](https://qiita.com/gr...
我把 Claude Code 切到 Fable 5,先別急著興奮 =================================== 大家好,我是孟健。 Anthropic 在 6 月 9 日發布了 Claude Fable 5 和 Claude Mythos 5,我當天就把自己...
[](#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)前言 --------------------------------------------- \**本文重點整理* - 用 Claude Code × GitHub 做出「自己的使用說明書」,並完整交給 AI ...
--- canonical_url: https://bebechien.github.io/cozy-corner-future/posts/how-we-built-aiventure/ cover_image: https://bebechien.github.io/cozy-corner-f...
Fable 5 的系統提示詞被人扒出來了,精彩,太精彩了。 ================================ Anthropic 6 月 9 號發了 Claude Fable 5。 兩天後,它在 claude.ai 上用的系統提示詞全文就掛上了 GitHub。 是那...
本文將精選介紹一些「知道的人都知道,但其實不太常被使用」的實用指令。 我已整理成可直接複製貼上、馬上就能使用的形式,建議你一邊開著終端機一邊閱讀。 [](#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB)前言 -----------------------------...
把 GitNexus 接進 Codex:安裝、索引、Web UI 和專案分析實作 =========================================== AI 編碼工具讀檔案沒問題,但遇到「專案怎麼分層」「這個介面後面呼叫了誰」「改一個類別會影響哪些流程」時,只靠搜尋檔...