一鍵將URL轉換為LLM友好輸入的工具
Reader是由Jina AI開發的一項創新開源工具,致力於改善大型語言模型(LLMs)的輸入質量。這個工具不僅免費、穩定,而且可擴充套件,是Jina AI核心產品之一。
開源地址:https://github.com/jina-ai/reader
它透過兩個主要功能簡化了資訊的獲取和處理:
1. URL轉換:透過在任何URL前新增 https://r.jina.ai/ ,Reader可以將網頁內容轉換為LLM友好的格式,自動為缺少 alt 標籤的圖片生成說明,並以特定格式呈現。
2. 網路搜尋:使用 https://s.jina.ai/ 字首,Reader 能夠搜尋網路並返回最相關的五個結果,每個結果都以 LLM 友好的格式呈現。
舉個例子
我在 GPT-4 的百度百科主頁網址前新增 https://r.jina.ai/:
點選回車後,就會輸出如下格式,該格式可以讓 LLM 更好的提取資訊:
2. 用C語言和CUDA訓練大型語言模型
在深度學習領域,PyTorch和TensorFlow等框架幾乎佔據了主導地位。但如果你對底層原理充滿好奇,或者想從頭開始理解模型訓練的每一個細節,那麼 llm.c 專案絕對值得一探。
這個開源專案短短一週,就獲得了 15k 的 Star!
llm.c 是一個用純C和CUDA編寫的大型語言模型(LLM)訓練專案。它的核心目標是提供一個簡單、清晰的實現(僅僅 1000 行程式碼),讓使用者能夠在不需要龐大框架支援的情況下,訓練和理解GPT-2模型。
這個專案不僅是對技術的一次挑戰,也是對教育的貢獻,因為它讓使用者能夠深入到模型訓練的每一個細節。
本專案以簡潔、直觀的方式,將複雜的深度學習模型訓練過程用C語言呈現出來,讓更多人能夠接近並理解這一領域。
開源地址:https://github.com/karpathy/llm.c