Nhóm Privatemode giới thiệu kỹ thuật không cần tinh chỉnh, tận dụng log probability của GLM-5.3-Flash để thực hiện các quyết định có kiểu dữ liệu cụ thể chỉ trong một lần forward pass.
Cùng sự kiện, bài đại diện «Hướng dẫn sử dụng Jev: Kiểm duyệt nội dung với mô hình ra quyết định của TypeSafe trên OpenRouter»Bài viết phân tích lý do các tác vụ AI bị xếp hàng dù GPU có vẻ đang rảnh rỗi, chủ yếu do cơ chế phân bổ độc quyền của Kubernetes và các nút thắt về bộ nhớ hoặc cấu hình hạ tầng.
Phương pháp Dynamic Abliteration sử dụng PyTorch forward hooks để can thiệp vào luồng dư đa tầng, giúp vô hiệu hóa hành vi từ chối của Qwen3-4B mà không cần chỉnh sửa trọng số gốc, đảm bảo hiệu năng mô hình được giữ nguyên vẹn.
@typesafeai@typesafeaiLLMs distilling Jev like
DịchKhám phá kỹ thuật chưng cất tri thức từ các mô hình ngôn ngữ lớn (LLM) áp dụng theo phương pháp Jev, nhằm tối ưu hóa hiệu suất và giảm tài nguyên tính toán.
Jason Liu@jxnlcoWhereas I mostly blame feature flags
DịchGiả thuyết cho rằng cảm giác mô hình bị 'giảm sức mạnh' thực chất đến từ việc sử dụng các loại phần cứng khác nhau (GPU, TPU, Inferentia) để xử lý tải trọng cao, dẫn đến chất lượng đầu ra không đồng nhất.
Bài viết chia sẻ kinh nghiệm thực tiễn và sự phát triển công nghệ của SenseTime trong việc triển khai hệ thống suy luận hỗn hợp không đồng nhất (heterogeneous hybrid inference) nhằm tăng hiệu suất xử lý Token.
Vào ngày 14/10, Simon Willison và Jesse Vincent sẽ tổ chức buổi gặp mặt không chính thức tại San Francisco, nơi các nhà phát triển chia sẻ những thử nghiệm và dự án AI Agent đang dang dở mà không cần thuyết trình hay quảng bá sản phẩm.
Một lập trình viên đã trích xuất thành công môi trường Linux của Meta Muse, tiết lộ cấu trúc hệ thống gồm 68 bộ kỹ năng, 113 tác nhân phụ và hệ thống ghi nhớ Markdown phức tạp bên trong.
Trong cuộc phỏng vấn với Latent Space, CEO Diogo Almeida chia sẻ về Jev, mô hình AI được thiết kế chuyên biệt cho môi trường sản xuất thay vì cố gắng trở thành một AI toàn năng.
Bài phân tích chuyên sâu từ SemiAnalysis chia quy trình suy luận của mô hình MoE thành 4 giai đoạn, làm rõ sự khác biệt về nhu cầu tính toán, bộ nhớ và băng thông mạng.
Hugging Face vừa phát hành Tokenizers v1 với tốc độ xử lý nhanh gấp hàng chục lần phiên bản cũ nhờ kiến trúc workspace mới, kỹ thuật SIMD và tối ưu hóa đa luồng, trong khi vẫn đảm bảo tính tương thích hoàn toàn với các token ID cũ.
Thêm 1 nguồn khác đưa tinX: Clément Delangue (Hugging Face CEO) (@ClementDelangue)
Ethan Mollick@emollickIt is ironic that the thing that is now most annoying about long-running agentic tasks with Large La…
DịchMột nghịch lý trớ trêu khi vận hành AI Agent lâu dài: thay vì lỗi code hay ảo giác, vấn đề lớn nhất lại là chất lượng ngôn ngữ của mô hình bị suy giảm dần theo thời gian, khiến văn phong trở nên kém tự nhiên.
Rohan Paul@rohanpaul_aiIf 1 agent task launches many sandboxes, manage their memory together AgentZip shows that much of t…
DịchAgentZip tối ưu hóa hiệu suất bằng cách nén các dữ liệu trùng lặp trong bộ nhớ giữa các sandbox tác nhân AI. Công nghệ này giúp giảm tới 88,55% dung lượng bộ nhớ dư thừa khi chạy nhiều tác nhân từ cùng một khuôn mẫu, đặc biệt hiệu quả trong thời gian chờ phản hồi từ LLM.
Elvis Saravia@omarsar0Agents can self-improve without retraining. EvoSkill v2 achieves this with persistent agent skills….
DịchEvoSkill v2 cho phép các Agent tự học và lưu trữ kỹ năng mới vào tệp tin sau mỗi lần thất bại. Khi gặp tác vụ tương tự, Agent sẽ tự động tải các kỹ năng này để tối ưu hiệu suất mà không cần thay đổi trọng số mô hình.
AI Notes@AYi_AInotesBài viết giải thích bản chất của RAG thông qua ví dụ thực tế, phân tích kỹ thuật từ khâu xử lý tài liệu, truy xuất kép (BM25 & Vector) đến cách AI trích dẫn nguồn tin cậy.
karminski@karminski3Một giả thuyết mới cho rằng khi chạy ở chế độ đơn luồng (concurrency=1), việc sử dụng GEMV thay vì GEMM trong quá trình lượng tử hóa cực hạn có thể giúp giảm thiểu sai số và cải thiện hiệu suất mô hình. Đây hiện chỉ là suy đoán cá nhân và chưa có dữ liệu thực nghiệm kiểm chứng.
Nút thắt của AI trong trích xuất tài liệu không nằm ở mô hình mà ở cách định nghĩa Schema. Khi dữ liệu có nhiều giá trị cùng loại, việc thiếu quy tắc Schema cụ thể sẽ khiến hệ thống đưa ra các kết quả mâu thuẫn.
AI Notes@AYi_AInotesBản báo cáo kỹ thuật 13 trang đề xuất mô hình bộ nhớ 5 tầng cho AI Agent, bao gồm bộ nhớ làm việc, tình huống, ngữ nghĩa, thủ tục và cơ chế tự xóa dữ liệu thừa, giúp tối ưu hóa hiệu suất và tiết kiệm tài nguyên đáng kể.
Ma Dongxi NLP@dongxi_nlpTốc độ phản hồi của LLM phụ thuộc vào TTFT (thời gian chờ token đầu tiên) và ITL (độ trễ giữa các token). Hiểu rõ hai chỉ số này giúp tối ưu hóa quá trình xử lý Prefill và Decode, mang lại trải nghiệm mượt mà hơn.
Nghiên cứu mô tả quá trình phát triển Sophea, hệ thống nhận diện giọng nói song ngữ Hy Lạp - Anh, tập trung vào việc tối ưu hóa dữ liệu và vượt qua các tiêu chuẩn khắt khe về độ chính xác trong môi trường thực tế.
Ma Dongxi NLP@dongxi_nlpBài viết giải thích hai giai đoạn suy luận của LLM: Prefill xử lý song song đầu vào quyết định tốc độ phản hồi ban đầu (TTFT), trong khi Decode tạo văn bản từng token một và thường bị nghẽn băng thông bộ nhớ.
Thariq@trq212just finished recording on latent space I'm excited about this one- we get very technical about thi…
DịchThariq vừa hoàn thành ghi hình tập podcast mới, nơi anh đi sâu vào các chi tiết kỹ thuật chuyên môn về không gian tiềm ẩn (latent space) mà trước đây ít được đề cập.
Bài viết làm rõ sự khác biệt giữa Agent harness (quản lý vòng lặp, trạng thái, quyền hạn), Agent framework (cung cấp các hook) và MCP (chỉ đóng vai trò truyền tải công cụ).
Tác giả chia sẻ cách tối ưu hóa prompt khổng lồ khi chuyển sang Ollama, giải quyết tình trạng lặp lại lệnh của AI bằng cách chia nhỏ prompt, định nghĩa agent kiểu khai báo và quản lý ngữ cảnh hiệu quả.
Elvis Saravia@omarsar0If you build your own harness, you can drive that cost down even further. Out-of-the-box agent harn…
DịchThay vì dùng các bộ khung (harness) cồng kềnh, việc tự xây dựng hệ thống tối giản giúp giảm đáng kể chi phí token thông qua tối ưu hóa prompt, gọi công cụ thông minh và kiểm soát luồng dữ liệu chặt chẽ.
karminski@karminski3Người dùng tranh luận về việc thiết lập cường độ suy luận trên DeepSeek-V4.1-Flash. Trong khi một số cho rằng cài đặt này không ảnh hưởng hiệu suất, tác giả dẫn chứng nghiên cứu DeepSeek-R1-Zero để khẳng định thời gian suy luận càng dài, năng lực giải quyết vấn đề càng cao.
karminski@karminski3Karminski giải thích rằng trong khi tài liệu truyền thống chỉ là mã hoặc dữ liệu đơn thuần, 'Skill' sử dụng kỹ thuật siêu lập trình (metaprogramming) để đạt được sự đồng cấu, giúp mã nguồn và dữ liệu hòa làm một.
OpenRouter chia sẻ cách sử dụng mô hình AI làm giám khảo để chấm điểm tự động cho các phản hồi của AI Agent, giúp kiểm soát chất lượng các câu trả lời mở mà phương pháp kiểm thử truyền thống không làm được.
Elvis Saravia@omarsar0Should you build an agent harness? I see lots of opinions about it. My thoughts: As an AI enginee…
DịchElvis Saravia từ DAIR.AI khuyên các kỹ sư nên coi 'agent harness' là cốt lõi của hệ thống thay vì chỉ là lớp vỏ bọc. Việc tự xây dựng giúp kiểm soát tốt hơn trong các lĩnh vực chuyên sâu như y tế, tài chính và tránh sự phụ thuộc vào nhà cung cấp mô hình.
Xiaobei@frxiaobeiBài viết của Ma Bo giải thích tường tận mối liên hệ giữa Attention, Prefill, KV Cache và Prefix Caching, giúp bạn nắm vững nền tảng để hiểu sâu hơn về các kỹ thuật nâng cao như Multi-Head Latent Attention.
AI Notes@AYi_AInotesDAIR.AI vừa tổng hợp các tài liệu nền tảng về Harness, tập trung vào Agent, quản lý bộ nhớ và công cụ. Bài viết chia sẻ 3 kinh nghiệm thực chiến: giới hạn quyền hạn, tách biệt ngữ cảnh theo tác vụ và xây dựng bộ đánh giá chuyên biệt.
Ma Dongxi NLP@dongxi_nlpBài viết giải thích cách tối ưu hóa LLM thông qua Prefill, lưu trữ KV cache và cơ chế Prefix Caching. Tác giả sử dụng ví dụ thực tế về truy vấn tài liệu để làm rõ giới hạn của việc tái sử dụng bộ nhớ đệm khi đầu vào thay đổi.
Elvis Saravia@omarsar0Learn to build a harness, folks. It's not surprising to me that so many YC builders want to build d…
DịchElvis Saravia từ DAIR.AI giới thiệu bộ tài liệu về Harness, công cụ thiết yếu giúp xây dựng khung tương tác và tối ưu hóa trải nghiệm cho các AI Agent chuyên biệt trong kỷ nguyên mới.
AI Notes@AYi_AInotesĐồng sáng lập Wafer gợi ý nghiên cứu kỹ chương 7 tài liệu 'How To Scale Your Model' của DeepMind để tối ưu hóa hiệu năng suy luận AI, đồng thời chia sẻ kho tài nguyên kỹ thuật chuyên sâu.
AI Notes@AYi_AInotesKhung đánh giá 5 cấp độ kỹ thuật AI từ Prompt đến Graph giúp xác định vị thế phát triển. Hiện tại, 90% các đội ngũ vẫn đang loay hoay ở giai đoạn 30-50% của thang đo này.
Hongming@hongming731Bản tin tổng hợp cách Uber cắt giảm 52% chi phí hội thoại AI, kỹ thuật quản trị bộ nhớ dài hạn cho Agent của Alibaba và kinh nghiệm ứng dụng AI giúp JD.com rút ngắn 50% thời gian phát triển sản phẩm.
Cùng sự kiện, tinh chọn hiển thị «Anthropic đánh giá khả năng của AI trong tác chiến tình báo và phát triển vũ khí thông thường»Rohan Paul@rohanpaul_aiNew Linkedin paper shows Agent memory is not automatically portable: fixed-schema memory survived …
DịchNghiên cứu chỉ ra rằng khi thay đổi mô hình, bộ nhớ dạng ghi chú tự do và chỉ mục RAG bị suy giảm hiệu suất đáng kể. Do đó, các doanh nghiệp cần thực hiện kiểm thử tính tương thích của bộ nhớ trước khi nâng cấp hệ thống AI.
Andrew Ng (DeepLearning.AI nhà sáng lập)@AndrewYNgWith AI Engineering skills, you actively shape the build: You influence what gets built, and drive t…
DịchAndrew Ng nhấn mạnh việc nắm vững kỹ thuật AI giúp bạn chủ động định hình và dẫn dắt toàn bộ vòng đời phát triển sản phẩm, thay vì chỉ là người thực thi.
Luis Velasco (OpenAI FDE)@luisvelascoYou guys asked for this! This is what means being an FDE at OpenAI
DịchColin Jarvis từ OpenAI chia sẻ về cách vận hành đội ngũ FDE: ưu tiên tính khả thi trước khi mở rộng, tập trung vào chuyên gia lĩnh vực và mục tiêu cuối cùng là giúp khách hàng tự chủ công nghệ.
Nathan Lambert@natolambertBig W for people saying that distillation was mostly an SFT artifact, and how its unclear how it wou…
DịchMột góc nhìn mới khẳng định tầm quan trọng của kỹ thuật chưng cất mô hình trong kỷ nguyên học tăng cường (RL), bác bỏ quan điểm cho rằng đây chỉ là sản phẩm phụ của quá trình tinh chỉnh có giám sát (SFT).