今天,我們將介紹 30 個或更多可以使用 AI 建置的專案。
所有專案都是開源的,因此您可以做出貢獻以使其變得更好。
有些專案可能擁有龐大的程式碼庫,但您可以從中獲得靈感並建立一個很酷的副專案。
相信我,如果這個清單沒有讓你感到驚訝,那麼沒有什麼會讓你感到驚訝:)
讓我們開始吧!
將 AI 功能整合到 React 中是很困難的,這就是 Copilot 的用武之地。一個簡單快速的解決方案,可將可投入生產的 Copilot 整合到任何產品中!
您可以使用兩個 React 元件將關鍵 AI 功能整合到 React 應用程式中。它們還提供內建(完全可自訂)Copilot 原生 UX 元件,例如<CopilotKit />
、 <CopilotPopup />
、 <CopilotSidebar />
、 <CopilotTextarea />
。
開始使用以下 npm 指令。
npm i @copilotkit/react-core @copilotkit/react-ui
Copilot Portal 是 CopilotKit 提供的元件之一,CopilotKit 是一個應用程式內人工智慧聊天機器人,可查看目前應用狀態並在應用程式內採取操作。它透過插件與應用程式前端和後端以及第三方服務進行通訊。
這就是整合聊天機器人的方法。
CopilotKit
必須包裝與 CopilotKit 互動的所有元件。建議您也開始使用CopilotSidebar
(您可以稍後切換到不同的 UI 提供者)。
"use client";
import { CopilotKit } from "@copilotkit/react-core";
import { CopilotSidebar } from "@copilotkit/react-ui";
import "@copilotkit/react-ui/styles.css";
export default function RootLayout({children}) {
return (
<CopilotKit url="/path_to_copilotkit_endpoint/see_below">
<CopilotSidebar>
{children}
</CopilotSidebar>
</CopilotKit>
);
}
您可以使用此快速入門指南設定 Copilot 後端端點。
之後,您可以讓 Copilot 採取行動。您可以閱讀如何提供外部上下文。您可以使用useMakeCopilotReadable
和useMakeCopilotDocumentReadable
反應掛鉤來執行此操作。
"use client";
import { useMakeCopilotActionable } from '@copilotkit/react-core';
// Let the copilot take action on behalf of the user.
useMakeCopilotActionable(
{
name: "setEmployeesAsSelected", // no spaces allowed in the function name
description: "Set the given employees as 'selected'",
argumentAnnotations: [
{
name: "employeeIds",
type: "array", items: { type: "string" }
description: "The IDs of employees to set as selected",
required: true
}
],
implementation: async (employeeIds) => setEmployeesAsSelected(employeeIds),
},
[]
);
您可以輕鬆整合 Vercel AI SDK、OpenAI API、Langchain 和其他 LLM 供應商。您可以按照本指南將聊天機器人整合到您的應用程式中。
基本概念是在幾分鐘內建立可用於基於 LLM 的應用程式的 AI 聊天機器人。
用例是巨大的,作為開發人員,我們絕對應該在下一個專案中嘗試使用 CopilotKit。
CopilotKit 在 GitHub 上擁有超過 5700 顆星,發布了 200 多個版本,這意味著它們不斷改進。
https://go.copilotkit.ai/Anmol Star CopilotKit ⭐️
AgentGPT 可讓您設定和部署自主 AI 代理程式。
它將嘗試透過思考要完成的任務、執行任務並從結果中學習來實現目標:)
它是使用以下方式建構的:
引導:create-t3-app + FastAPI-模板。
框架:Nextjs 13 + Typescript + FastAPI
驗證:Next-Auth.js
ORM:Prisma 和 SQLModel。
資料庫:Planetscale。
樣式:TailwindCSS + HeadlessUI。
架構驗證:Zod + Pydantic。
法學碩士工具:Langchain。
開始使用本指南在本地安裝它。
他們在 GitHub 上擁有 29k+ 顆星,並且正在發布v1
版本。
https://github.com/reworkd/AgentGPT 明星 AgentGPT ⭐️
PrivateGPT 是一個可立即投入生產的 AI 專案,即使在沒有網路連線的情況下,您也可以使用大型語言模型 (LLM) 的功能來詢問有關文件的問題。
100% 私有意味著任何時候都沒有資料離開您的執行環境。
API 分為兩個邏輯區塊:
A。高級 API,抽象化了 RAG(檢索增強生成)管道實現的所有複雜性:
文件攝取:內部管理文件解析、分割、元資料擷取、嵌入產生和儲存。
使用所攝取文件中的上下文進行聊天和完成:抽像上下文檢索、提示工程和回應產生。
b.低階 API,允許高階用戶實現複雜的管道:
嵌入生成:基於一段文字。
上下文區塊檢索:給定查詢,從攝取的文件中傳回最相關的文字區塊。
您可以閱讀安裝指南來開始。
PrivateGPT 現在正在發展成為產生 AI 模型和原語的網關,包括補全、文件攝取、RAG 管道和其他低階建置塊。
他們在 GitHub 上擁有超過 51,000 顆星,並且發展迅速。
https://github.com/zylon-ai/private-gpt 明星私人 GPT ⭐️
Instrukt是一個基於終端的AI整合環境。它提供了一個平台,用戶可以:
建立並指導模組化人工智慧代理。
產生問答的文件索引。
建立工具並將其附加到任何代理程式。
用自然語言指導它們,並且為了安全起見,在安全容器(目前使用 Docker 實作)中執行它們,以在其專用的沙盒空間中執行任務。
使用Langchain
、 Textual
和Chroma
建構。
開始使用以下命令。
pip install instrukt[all]
有許多令人興奮的功能,例如:
基於終端的介面,讓強力鍵盤使用者無需離開鍵盤即可指示 AI 代理。
對您的資料建立索引並讓代理程式檢索它以進行問答。您可以使用簡單的 UI 建立和組織索引。
索引建立將自動偵測程式語言並相應地優化拆分/分塊策略。
在安全的 Docker 容器內執行代理程式以確保安全和隱私。
整合的 REPL-Prompt 可實現與代理程式的快速交互,以及用於開發和測試的快速回饋循環。
您可以使用自訂命令自動執行重複任務。它還具有內建的提示/聊天歷史記錄。
您可以閱讀有關所有功能的資訊。
您可以閱讀安裝指南。
您還可以使用內建的 IPython 控制台來除錯和內省代理,這是一個簡潔的小功能。
Instrukt 已獲得 AGPL 許可證,這意味著任何人都可以將其用於任何目的。
可以肯定地說,Instrukt 是您觸手可及的終端人工智慧指揮官。
這是一個新專案,因此他們在 GitHub 上有大約 200 多顆星,但用例非常好。
https://github.com/blob42/Instrukt 舊指令 ⭐️
您的語音控制 Mac 助理。 GPT Automator 可讓您使用語音在 Mac 上執行任務。例如,打開應用程式、尋找餐廳、綜合資訊。太棒了:D
它是在倫敦黑客馬拉松期間建構的。
它有兩個主要部分:
A。語音命令:它使用本地執行的 Whisper(Buzz 的一個分支)來產生命令。
b.命令到行動:您向配備了我們編寫的自訂工具的 LangChain 代理程式發出命令。這些工具包括使用 AppleScript 控制電腦的作業系統以及使用 JavaScript 控制活動瀏覽器。最後,就像任何優秀的人工智慧一樣,我們讓代理商使用 AppleScript 說出最終結果「{Result}」(如果您以前沒有使用過,請嘗試在 Mac 終端機中輸入「Hello World!」)。
我們製作了一個自訂工具,讓法學碩士使用 AppleScript 控制電腦。提示符是文件字串:
@tool
def computer_applescript_action(apple_script):
"""
Use this when you want to execute a command on the computer. The command should be in AppleScript.
Here are some examples of good AppleScript commands:
Command: Create a new page in Notion
AppleScript: tell application "Notion"
activate
delay 0.5
tell application "System Events" to keystroke "n" using {{command down}}
end tell
...
Write the AppleScript for the Command:
Command:
"""
p = subprocess.Popen(['osascript', '-'], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
stdout, stderr = p.communicate(applescript.encode('utf-8'))
if p.returncode != 0:
raise Exception(stderr)
decoded_text = stdout.decode("utf-8")
return decoded_text
如果您想知道它是如何運作的,GPT Automator 使用 OpenAI 的 Whisper 將您的音訊輸入轉換為文字。然後,它使用LangChain Agent 選擇一組操作,包括使用OpenAI 的GPT-3(“text-davinci-003”)從提示符號產生AppleScript(用於桌面自動化)和JavaScript(用於瀏覽器自動化)命令,然後執行產生的腳本。
請記住,這不適用於生產用途。該專案執行從自然語言產生的程式碼,可能容易受到提示注入和類似的攻擊。這項工作是作為概念驗證而進行的。
您可以閱讀安裝指南。
讓我們看看一些提示及其作用:
✅ 求計算結果。
提示:“2 + 2 是什麼?”
它將編寫 AppleScript 開啟計算器並輸入 5 * 5。
✅ 尋找附近的餐廳。
提示:“查找我附近的餐廳”
它將打開 Chrome,谷歌搜尋附近的餐廳,解析頁面,然後返回最上面的結果。有時它很厚顏無恥,反而會打開谷歌地圖結果並說「最好的餐廳是谷歌地圖頁面頂部的餐廳」。其他時候,它會打開 Google 上的頂部連結 - 並卡在 Google 可存取性頁面上...
以下是執行時列印到終端的內容:
Command: Find a great restaurant near Manchester.
> Entering new AgentExecutor chain...
I need to search for a restaurant near Manchester.
Action: chrome_open_url
Action Input: https://www.google.com/search?q=restaurant+near+Manchester
Observation:
Thought: I need to read the page
Action: chrome_read_the_page
Action Input:
Observation: Accessibility links
Skip to main content
... # Shortned for brevity
Dishoom Manchester
4.7
(3.3K) · £££ · Indian
32 Bridge St · Near John Rylands Library
Closes soon ⋅ 11 pm
Stylish eatery for modern Indian fare
San Carlo
4.2
(2.8K) · £££ · Italian
42 King St W · Near John Rylands Library
Closes soon ⋅ 11 pm
Posh, sceney Italian restaurant
Turtle Bay Manchester Northern Quarter
4.7
Thought: I now know the final answer
Final Answer: The 15 best restaurants in Manchester include El Gato Negro, Albert's Schloss, The Refuge, Hawksmoor, On The Hush, Dishoom, Banyan, Zouk Tea Room & Grill, Edison Bar, MyLahore Manchester, Turtle Bay Manchester Northern Quarter, San Carlo, The Black Friar, Mana, and Tast Cuina Catalana.
我不能保證這些餐廳值得,請自行承擔風險。哈哈!
✅ 如果您要求 GPT Automator 擦除您的計算機,它會的。
是的,如果您要求的話,它會擦除您的電腦!
我內心的自我尖叫著要這麼做:)
您可以在這裡查看完整的演示!
https://www.loom.com/share/7bfa82c604f3412fbbb04191ce2ae12f
您可以在Chidi 的部落格上閱讀更多內容。
它更像是一個業餘專案,因此他們在 GitHub 上有大約 200 個 star,但它非常酷。
https://github.com/chidiwilliams/GPT-Automator 明星 GPT Automator ⭐️
Flowise 是一款開源 UI 視覺化工具,用於建立客製化的 LLM 編排流程和 AI 代理程式。
開始使用以下 npm 指令。
npm install -g flowise
npx flowise start
OR
npx flowise start --FLOWISE_USERNAME=user --FLOWISE_PASSWORD=1234
這就是整合 API 的方式。
import requests
url = "/api/v1/prediction/:id"
def query(payload):
response = requests.post(
url,
json = payload
)
return response.json()
output = query({
question: "hello!"
)}
您可以閱讀文件。
雲端主機不可用,因此您必須使用這些說明自行託管。
讓我們探討一些用例:
還有許多其他用例,例如建立 SQL QnA 或與 API 互動。
FlowiseAI 在 GitHub 上擁有超過 27,500 個 Star,並擁有超過 10,000 個分叉,因此具有良好的整體比率。
https://github.com/FlowiseAI/Flowise 明星 Flowise ⭐️
Media Agent 抓取 Twitter 和 Reddit 提交的內容,對其進行總結,並在互動式終端中與它們聊天。這麼酷的概念!
您可以閱讀說明以在本地安裝它。
它是使用以下方式建構的:
Langchain 🦜 用於建構和撰寫法學碩士。
ChromaDB 用於儲存向量(也稱為嵌入)並查詢它們以建立對話機器人。
Tweepy 連接到您的 Twitter API 並提取推文和元資料。
Praw 連接到 Reddit API。
Rich 建造了一個很酷的終端 UX/UI。
管理依賴關係的詩。
一些很棒的功能:
代表您從使用者帳戶清單或關鍵字清單中抓取推文/提交內容。
使用 OpenAI 嵌入推文/提交內容。
建立推文/提交內容的摘要並提供需要回答的潛在問題。
在推文之上打開聊天會話。
儲存對話及其元資料。
豐富的終端使用者介面和日誌記錄功能。
您可以觀看演示!
https://www.loom.com/share/f4954e7d34ef4b7b8491e2bf910e8521
它在 GitHub 上有近 100 顆星,並且不再維護。您可以用它來建造更好的東西。
https://github.com/ahmedbesbes/media-agent 明星 Twitter 代理商 ⭐️
如果您曾經面臨將程式碼庫遷移到新框架或語言的痛苦,那麼這個專案適合您。
我想我們都同意我們在某個時候需要這個。您也可以使用工作流程來完成此操作,據我所知,Stripe 曾經將其整個 JS 程式碼庫轉換為 TS。
遷移是一個成本高、乏味且重要的問題。
不要盲目相信當前版本,請負責任地使用它。另請注意,成本可能會迅速增加,因為 GPT-Migrate 旨在編寫(並可能重寫)整個程式碼庫。
請注意。
GPT-Migrate 目前處於開發 alpha 階段,尚未準備好投入生產使用。例如,在相對簡單的基準測試中,它在約 50% 的時間內順利通過 Python 或 JavaScript 等「簡單」語言,並且在沒有人工幫助的情況下無法通過 C++ 或 Rust 等更複雜的語言。
您可以在這裡觀看演示!
他們在 GitHub 上有 6500+ 顆星,最後一次提交是 6 個月前,所以我認為它不再被維護了!
https://github.com/joshpxyne/gpt-migrate 明星 GPT 遷移 ⭐️
Plandex 使用長時間執行的代理程式來完成跨多個檔案且需要多個步驟的任務。它將大任務分解為更小的子任務,然後實現每個子任務,一直持續到完成工作為止。
它可以幫助您處理積壓的工作,使用不熟悉的技術,擺脫困境,並花更少的時間在無聊的事情上。
您可以在這裡查看演示!
變更會累積在受保護的沙箱中,以便您可以在自動將它們套用到專案文件之前查看它們。內建版本控制可讓您輕鬆返回並嘗試不同的方法。分支允許您嘗試多種方法並比較結果。
您可以在終端機中有效地管理上下文。輕鬆將檔案或整個目錄新增至上下文中,並在工作時自動更新它們,以便模型始終具有專案的最新狀態。
Plandex 依賴 OpenAI API,並且需要OPENAI_API_KEY
環境變數。
Plandex 支援 Mac、Linux、FreeBSD 和 Windows。它從沒有依賴關係的單一二進位檔案執行。
您甚至可以嘗試不同的模型和模型設置,然後比較結果。
您可以閱讀安裝說明。
Plandex Cloud 是使用 Plandex 最簡單、最可靠的方式。當您使用 plandex new 建立第一個計劃時,系統會提示您開始匿名試用(無需電子郵件)。試用帳戶僅限 10 個計劃,每個計劃有 10 個 AI 模型回复。 Plandex Cloud 帳戶目前是免費的,這是一件好事。
Plandex 在 GitHub 上擁有 8k+ 顆星,並使用 Go 建造。
https://github.com/plandex-ai/plandex 明星PLandex ⭐️
我試圖建立一個類似的專案,發現它已經存在。
該工具旨在讓任何人都可以輕鬆地將 SQL(結構化查詢語言)命令轉換為自然語言,反之亦然。
SQL 是一種用於管理和操作關聯式資料庫中的資料的程式語言,雖然它是一個強大的工具,但它也可能非常複雜且難以理解。
另一方面,自然語言是我們在日常生活中說和寫的語言,對於不熟悉技術術語的人來說,它通常是首選的溝通方式。
透過 SQL 和自然語言翻譯器,您無需成為 SQL 專家即可了解資料庫中發生的情況或編寫 SQL 查詢。您只需用自然語言輸入查詢即可取得對應的 SQL 程式碼,反之亦然。
其中一些功能是:
深色模式。
小寫/大寫切換。
複製到剪貼簿。
SQL 語法高亮。
模式意識(測試版)。
查詢歷史記錄。
你可以閱讀 安裝說明,它非常簡單,因為它使用 Nextjs。
此查詢適合您。哈哈!
SQL Translator 在 GitHub 上有 4k star,是使用 TypeScript 建構的。
https://github.com/whoiskatrin/sql-translator 明星 SQL 翻譯機 ⭐️
WingmanAI 是一款功能強大的工具,可與系統和麥克風音訊的即時轉錄進行互動。該工具由 ChatGPT 提供支援,可讓您與腳本即時交互,作為機器人的廣泛記憶體基礎,提供獨特的通訊平台。
當您載入指定人員的記錄時,機器人可以回答有關過去對話的問題。
您可以閱讀安裝說明。
您可以在這裡觀看演示!
一些簡潔的功能是:
WingmanAI 可以轉錄系統輸出和麥克風輸入音頻,讓您以易於閱讀的格式查看即時轉錄。
您可以與 ChatGPT 支援的機器人聊天,該機器人會即時讀取您的文字記錄。
機器人以令牌有效的方式維護對話記錄,因為只有當前的文字區塊會傳遞給機器人。
WingmanAI 讓您可以保存成績單以供將來使用。您可以稍後隨時加載它們,並且對機器人進行的任何查詢都將與保存的轉錄本的向量資料庫交叉引用,從而為機器人提供更豐富的上下文。
您可以繼續附加到已儲存的記錄中,隨著時間的推移建立一個龐大的資料庫供機器人從中提取。
它在 GitHub 上有 420 個星,並且不再維護。
https://github.com/e-johnstonn/wingmanAI 明星 WingmanAI ⭐️
這只是為了好玩,我們可以使用程式碼學到很多關於它是如何完成的。
你可以看看這個影片,看看它看起來有多瘋狂。
他們提供三種類型的壁紙,包括影片/GIF、網頁和應用程式/遊戲。
它基於 C# 和 live 支援的一些很酷的功能建置:
Lively 可以透過終端機的命令列參數進行控制。您可以將其與其他語言(例如 Python 或腳本軟體 AutoHotKey)整合。
一組強大的API ,供開發人員建立互動式壁紙。取得硬體讀數、音訊圖表、音樂資訊等。
當電腦上執行全螢幕應用程式/遊戲時(~0% CPU、GPU 使用率),桌布播放會暫停。
您還可以利用機器學習推理來建立動態壁紙。您可以預測任何 2D 影像與相機的距離並產生類似 3D 的視差效果。酷:D
我見過很多人使用它,其中許多人甚至不知道它是開源的。
您可以使用安裝程式或透過Microsoft Store下載它。
它是 2023 年 Microsoft Store 的獲勝者。
它在 GitHub 上擁有 13k+ Stars,有 60 個版本。
https://github.com/rocksdanister/lively 明星活潑 ⭐️
這項工作旨在建立一個基於大型語言模型的自主代理 RestGPT,以控制現實世界的應用程式,例如電影資料庫和音樂播放器。為了實現這一目標,我們將法學碩士與 RESTful API 連接起來,並解決規劃、API 呼叫和回應解析的實際挑戰。為了全面評估 RestGPT 的效能,我們提出了 RestBench,這是一個高品質的基準測試,由兩個真實場景和具有黃金解決方案路徑的人工註釋指示組成。
RestGPT採用迭代式從粗到精的線上規劃框架,並使用執行器呼叫RESTful API。以下是 RestGPT 的概述。
您可以閱讀文件以使用 RestBench 評估 RestGPT 的效能。
使用 TMDB 電影資料庫搜尋 Sofia Coppola 執導的電影數量的範例。
您可以閱讀康乃爾大學發表的程式碼研究論文: RestGPT - Connecting Large Language Models with Real-World RESTful APIs 。
他們在 GitHub 上有 1.2k Stars,雖然不是很大,但涵蓋了一個很好的用例。
https://github.com/Yifan-Song793/RestGPT 明星 RestGPT ⭐️
文件聊天機器人 — 多個文件,由 GPT / Embedding 提供支援。你可以上傳任何文件並與之對話,考慮到他們使用了另一個著名的開源專案,UI 非常好。
它在底層使用 Langchain 和Chatbot-ui 。使用 Nextjs、TypeScript、Tailwind 和 Supabase(向量 DB)建構。
如果您想了解該方法和技術架構,那麼就在這裡!
此環境僅用於試用,支援最大檔案大小為 10 MB,這是一個缺點,如果您想要更大的大小,則可以在本機安裝。
他們在 GitHub 上有 3k star,並且發布了v0.3
版本。
https://github.com/guangzhengli/ChatFiles 明星 ChatFiles ⭐️
MindsDB 是一個利用企業資料客製化人工智慧的平台。
透過 MindsDB,您可以利用資料庫、向量儲存或應用程式中的資料即時部署、服務和微調模型,以建立人工智慧驅動的應用程式 - 使用開發人員已知的通用工具。
借助 MindsDB 及其與資料來源和 AI/ML 框架的近200 個集成,任何開發人員都可以使用其企業資料更快、更安全地自訂符合其目的的 AI。
目前,他們總共支援3 個使用 Mongo-QL、Python 和 JavaScript 的 SDK 。
MindsDB 有多種應用程式,例如與眾多資料來源和 AI 框架集成,因此您可以輕鬆地將資料和 AI 結合在一起以建立和自動化自訂工作流程。
其他常見用例包括微調模型、聊天機器人、警報系統、內容生成、自然語言處理、分類、回歸和預測。閱讀有關用例的更多訊息,每個用例都有一個包含一些資訊的架構圖。
例如,MindsDB 的聊天機器人架構圖。您可以閱讀提供的所有解決方案及其 SQL 查詢範例。
// SQL Query Example for Chatbot
CREATE CHATBOT slack_bot USING database='slack',agent='customer_support';
只是為了告訴您總體的可能性,您可以查看如何使用 AI + IoT 感測器資料預測氣溫。令人興奮的權利:)
他們在 GitHub 上擁有超過 21k 個 star,並且在v24.4.3.0
上有超過 200 個版本。順便說一句,這是我第一次在任何版本中看到 4 個部分,因為我一直遵循語義版本。
https://github.com/mindsdb/mindsdb 明星 MindsDB ⭐️
Quivr,您的第二個大腦,利用 GenerativeAI 的力量成為您的私人助理!可以將其視為黑曜石,但增強了人工智慧功能。
您可以閱讀安裝指南。
他們可以提供更好的免費套餐,但這足以在您端進行測試。
它在 GitHub 上擁有超過 30k 顆星,發布了 220 多個版本,這意味著它們正在不斷改進。
https://github.com/QuivrHQ/quivr 明星 Quivr ⭐️
我的意思是哇!這麼酷的概念。我不知道你怎麼想,但我真的很興奮。
這是 Facebook 的一個開源專案,主要用於研究目的,包含論文《 A Method for Animating Children's Drawings of the Human Figure》中描述的演算法的實作。
該專案已在 macOS Ventura 13.2.1 和 Ubuntu 18.04 上進行了測試。如果您在其他作業系統上安裝,則可能會遇到問題。
他們強烈建議在安裝 Animated Drawings 之前啟動 Python 虛擬環境。
閱讀有關安裝說明以及如何快速入門的更多資訊。
您可以按照這個完整的指南來為您的繪圖製作動畫,包括如何在場景中加入多個角色、加入背景圖像以及更多令人興奮的事情。
他們在 GitHub 上擁有超過 10k 顆星,並且僅用於具有 MIT 許可的研究目的。
https://github.com/facebookresearch/AnimatedDrawings 明星動畫繪圖 ⭐️
這是一個使用 AI 從圖像和影片中刪除背景的命令列工具。
首先從 pypi 安裝 backgroundremover。
pip install --upgrade pip
pip install backgroundremover
也可以在不透過 pip 安裝的情況下執行它,只需克隆 git 以在本地啟動虛擬環境安裝要求並執行。
您可以使用的一些命令:
backgroundremover -i "/path/to/image.jpeg" -o "output.png"
backgroundremover -i "/path/to/video.mp4" -toi "/path/to/videtobeoverlayed.mp4" -o "output.mov"
您可以檢查可透過 CLI 使用的所有命令。
您甚至可以將它用作圖書館。
from backgroundremover.bg import remove
def remove_bg(src_img_path, out_img_path):
model_choices = ["u2net", "u2net_human_seg", "u2netp"]
f = open(src_img_path, "rb")
data = f.read()
img = remove(data, model_name=model_choices[0],
alpha_matting=True,
alpha_matting_foreground_threshold=240,
alpha_matting_background_threshold=10,
alpha_matting_erode_structure_size=10,
alpha_matting_base_size=1000)
f.close()
f = open(out_img_path, "wb")
f.write(img)
f.close()
輸入與輸出。
他們在 GitHub 上有 6k star,我們絕對可以用它來學習一些重要的概念。
https://github.com/nadermx/backgroundremover 明星背景去除器 ⭐️
一個開源、現代設計的 ChatGPT/LLM UI/框架。
支援語音合成、多模式和可擴展(函數呼叫)插件系統。您可以一鍵部署您的私有 OpenAI。
讓我們來看看 LobeChat 的一些令人興奮的功能:
✅ 多模式服務提供者支援。
他們將我們的支援擴展到多個模型服務提供者,而不是局限於單一服務提供者,為用戶提供更多樣化和豐富的對話選擇。
尋找他們支援的10 多個模型服務提供者的完整清單。
✅ 市場助理。
在LobeChat的助手市場中,創作者可以發現一個充滿活力和創新的社區,匯集了許多精心設計的助手。這些助手不僅在工作場景中發揮著至關重要的作用,而且在學習過程中也提供了極大的便利。在這裡,每個人都可以貢獻自己的智慧,分享自己開發的助手。
那裡有很多很棒的應用程式。哇!
✅ 模型視覺辨識。
LobeChat現在支援OpenAI的gpt-4-vision、Google Gemini Pro Vision、Zhipu GLM-4 Vision等具有視覺辨識能力的大型語言模型,使LobeChat具備多模態互動能力。用戶可以輕鬆地將圖片上傳或拖放到聊天框中,助理將能夠辨識圖片內容並據此進行智慧對話,打造更聰明、更多樣化的聊天場景。
✅ 文字到圖像生成。
LobeChat 支援最新的文字到圖像生成技術,現在允許使用者在與助手對話時直接使用文字到圖像工具。透過利用 DALL-E 3、MidJourney 和 Pollinations 等 AI 工具的功能,助手現在可以將您的想法轉化為圖像。
✅ 本地大語言模型 (LLM) 支援。
借助 Ollama AI 強大的基礎設施和社區的協作努力,現在您可以在 LobeChat 中與本地 LLM(大型語言模型)進行對話!
透過執行以下 Docker 指令,您可以在 LobeChat 中體驗與本機 LLM 的對話。
docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat
✅ 漸進式網頁應用程式 (PWA)。
他們採用了漸進式 Web 應用程式 PWA 技術,這是一種現代 Web 技術,可將 Web 應用程式提升到接近本機應用程式的體驗。透過 PWA,LobeChat 可以在桌面和行動裝置上提供高度優化的使用者體驗,同時保持輕量級和高效能的功能。
✅ 自訂主題。
LobeChat在介面設計上非常注重個人化的使用者體驗,因此引入了靈活多樣的主題模式,包括白天的淺色模式和夜間的深色模式。
除了主題模式切換之外,我們還提供了一系列顏色自訂選項,讓使用者可以根據自己的喜好調整應用程式的主題顏色。
了解所有功能和用例。
您可以自行託管或使用 docker 部署它。 lobe chat 的生態系統提供了 4 個軟體包: lobehub/ui
、 lobehub/icons
、 lobehub/tts
和lobehub/lint
。
他們還提供插件市場,您可以在其中找到許多有用的插件,這些插件可用於引入新的函數呼叫,甚至是呈現訊息結果的新方法。如果你想開發自己的插件,請參考 wiki 中的📘插件開髮指南。
您可以閱讀文件。
您可以查看現場演示。它太酷了!
他們在 GitHub 上擁有超過 28k 顆星,發布了 500 多個版本。
https://github.com/lobehub/lobe-chat 星瓣聊天 ⭐️
它是一個實驗框架,用於動態建立自我改進的代理來回應任務。
微代理代表了一種建立自我改進代理的新方法。小型的微服務大小(因此稱為微代理)代理是根據用戶分配給助手的任務動態生成的,評估其功能,並在成功驗證後存儲以供將來重用。
這使得跨聊天會話的學習成為可能,使系統能夠獨立推斷任務執行的方法。
這是使用Python
、 OpenAI's GPT-4 Turbo
和Text-Embedding-Ada-002
建構的。
您可以閱讀安裝說明。他們提到您應該擁有一個可以存取 gpt-4-turbo 和 text-embedding-ada-002 的 OpenAI 帳戶。
讓我們看一個獲取天氣預報代理的範例。
You are an adept weather informant. Fetch the weather forecast by accessing public API data using this Python code snippet:
``python
import requests
import json
def fetch_weather_forecast(location, date):
response = requests.get(f"https://api.met.no/weatherapi/locationforecast/2.0/compact?lat={location[0]}&lon={location[1]}")
weather_data = response.json()
for day_data in weather_data['properties']['timeseries']:
if date in day_data['time']:
print(day_data['data']['instant']['details'])
break
``
# Example usage: fetch_weather_forecast((47.3769, 8.5417), '2024-01-22T12:00:00Z')
Note: Replace the (47.3769, 8.5417) with the actual latitude and longitude of the location and the date string accordingly.
如果您想知道如何建立代理,那麼此架構圖將對此進行解釋。
您可以看到工作演示。
他們在 GitHub 上有大約 700 顆星,值得一看。
https://github.com/aymenfurter/microagents 明星微代理 ⭐️
這可用於新的 GPT-4 API 來為多個大型 PDF 檔案建立 chatGPT 聊天機器人。
該系統是使用 LangChain、Pinecone、Typescript、OpenAI 和 Next.js 建構的。 LangChain 是一個簡化可擴展 AI/LLM 應用程式和聊天機器人開發的框架。 Pinecone 用作向量存儲,用於以文字格式儲存嵌入和 PDF,以便以後檢索類似文件。
您可以閱讀涉及複製、安裝依賴項和設定環境 API 金鑰的開發指南。
您可以觀看YouTube 影片,了解如何遵循和使用它。
他們在 GitHub 上擁有 14k+ Stars,僅提交了 34 次。在您的下一個人工智慧應用程式中嘗試!
https://github.com/mayooear/gpt4-pdf-chatbot-langchain 明星 GPT-4 和 Langchain ⭐️
使用 OpenAI 的 Whisper 的強大功能在您的個人電腦上離線轉錄和翻譯音訊。
Buzz 甚至出現在App Store 。取得 Buzz 的 Mac 原生版本,具有更簡潔的外觀、音訊播放、拖放匯入、文字記錄編輯、搜尋等功能。
您可以閱讀安裝說明。
令人興奮的功能:
匯入音訊和視訊檔案並將文字記錄匯出為 TXT、SRT 和 VTT(演示)。
從電腦麥克風轉錄和翻譯為文字(資源密集且可能不是即時的。
它可在 Mac、Windows 和 Linux 上使用。
還有一個CLI選項。
在這裡查看演示!
https://www.loom.com/share/564b753eb4d44b55b985b8abd26b55f7
您可以閱讀文件。
它們在 GitHub 上擁有近 10k star,並且自兩週前上次提交以來仍在維護中。
https://github.com/chidiwilliams/buzz 明星嗡嗡聲 ⭐️
從新創公司到 NASA,Deepgram API 每天都用於轉錄和理解數百萬分鐘的音訊。快速、準確、可擴展且經濟高效。
它為開發人員提供語音到文字和音訊智慧模型。
儘管他們有免費增值模式,但免費套餐的限制足以讓您入門。
可視化效果更上一層樓。您可以檢查即時串流媒體回應或音訊檔案並比較音訊的智慧程度。
您可以閱讀文件。
您也可以閱讀 Deepgram 撰寫的關於如何將語音辨識新增至您的 React 和 Node.js 專案的範例部落格。
如果您想嘗試 API 來親自了解模型的靈活性,請查看他們的API Playground 。
https://github.com/deepgram 明星 Deepgram ⭐️
這是一個開源專案,旨在複製 Devin,一名自主人工智慧軟體工程師,能夠執行複雜的工程任務並在軟體開發專案上與用戶積極協作。該計畫致力於透過開源社群的力量複製、增強和創新 Devin。
只是想讓你知道,這是在德文被介紹之前。
您可以閱讀帶有要求的安裝說明。
他們使用 LiteLLM,因此您可以使用任何基礎模型來執行 OpenDevin,包括 OpenAI、Claude 和 Gemini。
如果您想為 OpenDevin 做出貢獻,您可以查看 演示和貢獻指南。
它在 GitHub 上擁有超過 10,700 個 Star,並且正在快速成長。
https://github.com/OpenDevin/OpenDevin 明星 OpenDevin ⭐️
npm/yarn/pnpm copilot 是一個命令列工具,它使用 OpenAI 的 GPT-3 語言模型來提供修復程式碼中錯誤的建議。
CLI 工具可偵測目前目錄中正在使用的專案類型和套件管理器。
然後,它執行適當的開發伺服器命令(例如,npm run dev、yarn run dev、pnpm run dev)並偵聽正在執行的應用程式產生的日誌。
當遇到錯誤時,CLI 工具會即時提供錯誤修復建議。
首先使用以下 npm 指令安裝 npm-copilot 套件。
npm install -g npm-copilot
CLI 工具將開始監視 Next.js 應用程式產生的日誌,並即時提供錯誤修復建議。
您可以透過該命令在專案中使用它。
npm-copilot
他們在 GitHub 上有 338 顆星,支援Next,js
、 React
、 Angular
和Vue.js
https://github.com/whoiskatrin/npm-copilot 明星 NPM Copilot ⭐️
Mentat 是一款人工智慧工具,可直接從命令列幫助您完成任何編碼任務。
與 Copilot 不同,Mentat 協調多個位置和文件的編輯。與 ChatGPT 不同的是,Mentat 已經擁有您專案的上下文 - 無需複製和貼上!
您可以觀看此演示以了解基本概述。
https://www.youtube.com/watch?v=lODjaWclwpY
您可以閱讀文件。
他們在 GitHub 上有 2.3k 顆星,並且正在發布v1
版本。
https://github.com/AbanteAI/mentat Star Mentat ⭐️
FlowGPT是一個用ai(gpt-3.5)產生流程圖的工具。
它是使用 Next.js、Langchain、Mermaid 和 DaisyUI 建構的。
您可以閱讀安裝說明。
你可以查看gif 示範。
它只有 11 次提交,但在 GitHub 上有 238 顆星,並且是使用 TypeScript 建置的。作為一個小專案值得一試。
https://github.com/nilooy/flowgpt Star FlowGPT ⭐️
迄今為止我見過的最令人興奮的專案之一,特別是因為它在本地執行模型。
Reor 是一款基於人工智慧的桌面筆記應用程式:它會自動連結相關筆記、回答筆記上的問題並提供語義搜尋。
所有內容都儲存在本地,您可以使用類似黑曜石的 Markdown 編輯器來編輯筆記。該專案假設人工智慧思維工具預設應該在本地執行模型。
Reor 站在 Ollama、Transformers.js 和 LanceDB 等巨頭的肩膀上,使 LLM 和嵌入模型都可以在本地執行。也支援連接到 OpenAI 或 OpenAI 相容 API(例如 Oobabooga)。
我知道你想知道它怎麼可能是
self-organizing
?
A。您寫的每個筆記都會被分塊並嵌入到內部向量資料庫中。
b.相關筆記透過向量相似度自動連接。
C。 LLM 支援的問答對筆記語料庫進行 RAG。
d.一切都可以進行語義搜尋。
您可以在這裡觀看演示!
將 Reor 視為一個帶有兩個生成器的 RAG 應用程式:LLM 和人類。在問答模式下,法學碩士會從語料庫中取得檢索到的上下文來幫助回答查詢。
類似地,在編輯器模式下,人們可以切換側邊欄以顯示從語料庫「檢索」的相關註釋。這是透過將當前筆記中的想法與語料庫中的相關想法交叉引用來「增強」您的想法的一種非常有效的方法。
您可以閱讀文件並從網站下載。 Mac、Linux 和 Windows 皆支援。
他們還提供了入門指南,以便幫助您入門。
它們在 GitHub 上有 4.2k 顆星,並使用 TypeScript 建置。
https://github.com/reorproject/reor 星標 reor ⭐️
Amica 是一個開源接口,用於透過語音合成和語音辨識與 3D 角色進行互動式通訊。
您可以匯入 VRM 文件,調整聲音以適合角色,並產生包含情緒表達的回應文字。
他們使用 Three.js、OpenAI、Whisper、Bakllava 等進行視覺處理。您可以閱讀Amica 的工作原理及其所涉及的核心概念。
您可以克隆該存儲庫並使用它來開始。
npm i
npm run dev
您可以觀看這段簡短的影片,了解它的功能。
https://www.youtube.com/watch?v=hUxAEnFiXH8
Amica 使用 Tauri 建立桌面應用程式。
他們在 GitHub 上有 400+ Stars,而且看起來非常容易使用。
https://github.com/semperai/amica Star Amica ⭐️
繼續讓開發人員保持流動。我們的開源 VS Code 和 JetBrains 擴充功能可讓您輕鬆建立自己的模組化 AI 軟體開發系統並進行改進。
它們有很多很棒的功能,讓我們看看其中的一些:
輕鬆理解程式碼部分。
選項卡可自動完成程式碼建議。
詢問有關您的程式碼庫的問題。
快速使用文件作為上下文。
立即了解終端錯誤。
使用斜槓指令開始操作。
重構您正在編碼的函數。
了解所有功能。
您可以閱讀文件。
它們在 GitHub 上擁有超過 10k 顆星,並使用 TypeScript 建置。
https://github.com/continuedev/continue 星繼續 ⭐️
我從來沒有如此詳細地介紹過這麼多專案!
我希望這能幫助您創造一些鼓舞人心的東西。
請分享更多專案或任何您想要其他人可以學習的內容!
請關注 Copilotkit 以獲取更多此類內容。
原文出處:https://dev.to/copilotkit/30-ai-libraries-you-can-use-for-your-next-project-ideas-5ded