RGBD20K cung cấp 20.000 cặp ảnh RGB-D với 160 lớp chi tiết, vượt xa các bộ dữ liệu cũ như NYUv2 hay SUN RGB-D. Nghiên cứu cũng giới thiệu phương pháp SPF giúp đạt hiệu suất SOTA trong phân đoạn ngữ nghĩa.
AK@_akhaliqOn the Diffusibility of High-Dimensional Latents paper: https://huggingface.co/papers/2609.28473
DịchBài báo khoa học này đi sâu phân tích cơ chế và tính khả thi của việc áp dụng mô hình khuếch tán (diffusion) trên các không gian biến tiềm ẩn có số chiều lớn, mở ra hướng đi mới cho việc tối ưu hóa kiến trúc mô hình tạo sinh.
Rohan Paul@rohanpaul_aiThe paper finds that LLM reasoning has an internal structure beyond the words being generated, openi…
DịchNghiên cứu chỉ ra rằng LLM vận hành các quy trình suy luận riêng biệt như tính toán hay suy diễn bên trong cấu trúc nội tại, ngay cả khi kết quả đầu ra bị sai. Điều này chứng minh mô hình có khả năng biểu diễn ý định tư duy độc lập với ngôn ngữ được tạo ra.
MemoryAthena giới thiệu phương pháp kết hợp truy xuất bộ nhớ truyền thống với khả năng tự tạo nội dung, sử dụng bộ định tuyến thông minh để quyết định khi nào nên dùng dữ liệu gốc và khi nào cần bổ sung thông tin mới, giúp tăng độ chính xác cho mô hình.
GAE là bộ mã hóa tự động mới giúp hợp nhất nhận thức và tạo hình ảnh 3D, cho phép các mô hình tạo sinh duy trì tính nhất quán về hình học, chiều sâu và góc quay thay vì chỉ tập trung vào ngoại hình.
TAPe+ML v3 là hệ thống thị giác máy tính đột phá với chưa đầy 100.000 tham số, sử dụng lý thuyết nhận thức chủ động để xử lý hiệu quả các tác vụ phân loại, phát hiện vật thể và phân đoạn ảnh với độ chính xác ấn tượng.
Nghiên cứu giới thiệu Complex KDA (CKDA), kỹ thuật kết hợp biến đổi delta-rule với cơ chế cổng kênh để đạt được khả năng xoay 2D mà không cần tăng thứ hạng cập nhật, giúp nâng cao hiệu suất mô hình RNN.
Phương pháp mới giúp chưng cất tri thức từ mô hình thế giới vào chính sách VLA, cho phép robot hiểu bối cảnh vật lý mà không cần tải mô hình giáo viên nặng nề khi huấn luyện.
IntBMoE giải quyết bài toán đánh đổi giữa hiệu năng, chi phí tính toán và bộ nhớ trong mô hình MoE bằng cách kết hợp kỹ thuật trộn chuyên gia dày đặc với cơ chế thực thi khối thưa thớt, cho phép kiểm soát độc lập các thông số này.
Nghiên cứu giới thiệu HEAL, một kỹ thuật phân tách và hiệu chỉnh thông tin ở cấp độ đầu chú ý (attention head) để ngăn chặn ảo giác trong MLLM bằng cách can thiệp vào sự lệch lạc phân phối thông tin.
Paint-Anything là mô hình mới cho phép người dùng chỉ định chính xác mã màu hex cho từng đối tượng trong ảnh, giải quyết hạn chế của các phương pháp cũ thông qua tập dữ liệu Paint-500K và cơ chế neo màu sắc.
ZHO@ZHO_ZHO_ZHOMột góc nhìn thú vị về cơ chế vận hành của LLM: Nếu mô hình đã nắm rõ xác suất của các từ tiếp theo, tại sao nó vẫn cần phải thực hiện quá trình tạo văn bản tuần tự thay vì đưa ra kết quả ngay lập tức?
PolaFormer++ cải tiến cơ chế chú ý tuyến tính bằng cách tối ưu hóa ánh xạ đặc trưng thông qua tính toán phân cực và độ nhọn cấp kênh, giúp đạt hiệu suất vượt trội trên nhiều tác vụ thị giác máy tính.
FAMOS là mô hình Transformer tiên phong giúp dự đoán phân đoạn bộ phận và tham số khớp nối của vật thể 3D từ các đám mây điểm rời rạc, hỗ trợ linh hoạt ngay cả với dữ liệu đầu vào từ một góc nhìn duy nhất.
Video DeltaNet (VDN) kết hợp cơ chế chú ý Softmax cục bộ với bộ nhớ tuyến tính hai chiều, giúp tối ưu hóa việc mô hình hóa không gian và duy trì ngữ cảnh video dài cho các ứng dụng livestream.
Nghiên cứu giới thiệu phương pháp mới giúp kiểm soát bốn điểm nghẽn bộ nhớ chính khi huấn luyện mô hình MoE, đảm bảo hiệu suất ổn định ngay cả với ngữ cảnh cực dài và quy mô lớn.
VC-Attention là giải pháp không cần huấn luyện giúp tăng tốc và duy trì độ chính xác cho các mô hình Diffusion bằng cách xử lý nhiễu giá trị (value outliers) và tối ưu hóa hàm Softmax, giải quyết nút thắt chi phí tính toán trong các chuỗi video dài.
PhysStream là mô hình tạo video tự hồi quy sử dụng bộ nhớ cảnh có cấu trúc và tín hiệu vận tốc để kiểm soát chuyển động chính xác, vượt trội hơn các mô hình hiện tại về độ chính xác quỹ đạo và sự ưa thích của người dùng.
Nghiên cứu phân tích cách các lớp Transformer thay đổi biểu diễn dữ liệu bằng cách tách biệt các cập nhật thành thành phần song song và vuông góc, từ đó làm rõ cơ chế xử lý thông tin và lỗi nén trong mô hình.
Sakana AI ra mắt PC-ALM, phương pháp sử dụng động lực học cục bộ thay thế lan truyền ngược để huấn luyện mạng MLP 1000 lớp, đạt hiệu suất tương đương với các kỹ thuật truyền thống.
Omni-Streaming Thinking (OST) giúp mô hình AI phân tách dữ liệu thành bằng chứng và dự đoán, cho phép kiểm chứng thông tin theo thời gian thực để tránh sai sót khi xử lý dữ liệu đa phương thức.
AK@_akhaliqSAS Simple Attention Sparsification via End-to-End Optimization of Context Ranking paper: https://...
DịchNghiên cứu giới thiệu SAS, một phương pháp mới giúp tối ưu hóa hiệu quả tính toán của cơ chế chú ý (attention) thông qua việc xếp hạng ngữ cảnh end-to-end, giúp mô hình xử lý dữ liệu nhanh và tinh gọn hơn.
SAS là phương pháp mới giúp tinh giản cơ chế Attention bằng cách tối ưu hóa trực tiếp việc chọn lọc token quan trọng, thay vì chỉ bắt chước phân phối trọng số của mô hình gốc, giúp sử dụng hiệu quả hơn ngân sách tính toán hạn chế.
Hướng dẫn chi tiết cách xây dựng mô hình NeRF phân tầng bằng JAX3D, bao gồm kỹ thuật lấy mẫu quan trọng, tối ưu hóa huấn luyện và các phương pháp đánh giá chất lượng hình ảnh 3D chuyên sâu.
Các nhà nghiên cứu tại Princeton đề xuất RLT, kiến trúc Transformer mới cho phép truyền trạng thái ẩn của bộ giải mã qua từng token mà không cần thiết lập lại ở biên, giúp tối ưu hóa hiệu suất xử lý với 96 khối mỗi token.
Nghiên cứu kinh điển này thiết lập khung toán học để phân tích cơ chế bên trong của Transformer, giúp giải mã cách các đầu chú ý (attention heads) và luồng dư (residual streams) vận hành. Đây là tài liệu nền tảng quan trọng cho lĩnh vực nghiên cứu khả năng diễn giải mô hình AI.
Nghiên cứu này đề xuất phương pháp đánh giá mới cho Image Tokenizer thông qua việc theo dõi tổn thất (loss) trong quá trình huấn luyện đa phương thức, giúp hiểu rõ cách các token thị giác và văn bản tương tác để tối ưu hóa hiệu suất mô hình.
Yoshua Bengio cảnh báo các AI thông minh có thể vượt tầm kiểm soát vì quy trình huấn luyện hiện nay vô tình thúc đẩy AI học cách lừa dối, lách luật và che giấu hành vi xấu để đạt mục tiêu tối ưu hóa.
Nhóm nghiên cứu từ ĐH Quốc gia Moscow giới thiệu FreeFlow, kiến trúc Transformer tinh gọn không cần các thành phần chuyên dụng như warping hay volume tương quan, đạt hiệu suất dẫn đầu trên các bộ dữ liệu Sintel, KITTI-2015 và Spring.
Nhóm nghiên cứu từ Beihang và Tsinghua giới thiệu UniH3, khung làm việc đột phá giúp tối ưu hóa phục hồi ảnh y tế bằng cách cân bằng các đặc trưng đồng nhất và dị biệt. Mô hình đạt hiệu suất SOTA trên các bộ dữ liệu lớn và đã được mã nguồn mở.
X-AuT sử dụng kỹ thuật cắt tỉa dần dần và chưng cất đa quy mô để nén bộ mã hóa âm thanh của LLM, giúp giảm số lớp Transformer mà vẫn cải thiện độ chính xác trên các bài kiểm tra tiếng Anh và tiếng Trung.
SpatialBlock-15k là tập dữ liệu tổng hợp mới giúp mô hình LVLM cải thiện khả năng hiểu cấu trúc 3D từ ảnh 2D thông qua các bài tập xếp khối, thay thế cho việc gán nhãn hình học thủ công tốn kém.
NCP-ArchPreview giới thiệu phương pháp huấn luyện mới, kết hợp dự đoán token truyền thống với dự đoán khái niệm (NCP) để mô hình hiểu sâu hơn về cấu trúc ngôn ngữ. Với 8,9 tỷ tham số, mô hình này cho thấy tiềm năng lớn trong việc cải thiện khả năng suy luận và tạo văn bản.
OracleZoom giải quyết thách thức thiếu dữ liệu gốc ở các cấp độ phóng đại cực lớn bằng cách sử dụng cơ chế tự chưng cất và ràng buộc tham chiếu, giúp mô hình duy trì độ chính xác khi thực hiện siêu phân giải đệ quy.
Bài tổng quan hệ thống hóa các phương pháp tối ưu hóa suy luận cho Video LLM qua bốn giai đoạn: lấy mẫu khung hình, mã hóa đa phương thức, nén token và xử lý LLM, đồng thời chỉ ra những khoảng trống trong tiêu chuẩn đánh giá hiệu năng hiện nay.
Nghiên cứu đề xuất phương pháp Action Map Policy, áp dụng cơ chế Cross-Entropy từ mô hình ngôn ngữ lớn vào điều khiển robot, giúp giải quyết bài toán không gian hành động đa chiều phức tạp thông qua phân loại thay vì hồi quy truyền thống.
Nghiên cứu giới thiệu phương pháp chỉnh sửa 3D trực tiếp mà không cần dữ liệu cặp, bằng cách chưng cất tri thức thị giác và hình học từ các mô hình nền tảng thông qua quy trình render vi phân.
SQS là khung làm việc thống nhất kết hợp cắt tỉa và lượng tử hóa bit thấp thông qua học biến phân Bayes, giúp nén mô hình hiệu quả hơn mà vẫn duy trì độ chính xác cao.
ReactVAU giải quyết bài toán giám sát thời gian thực bằng cách kết hợp mô-đun phát hiện nhanh để lọc dữ liệu và mô-đun suy luận chuyên sâu chỉ kích hoạt khi có sự kiện nghi vấn, giúp tối ưu hóa hiệu suất mà vẫn đảm bảo tính chính xác.
CoVeR là bộ chọn token thị giác không cần huấn luyện, giúp tối ưu hóa suy luận 3D đa góc nhìn bằng cách loại bỏ token dư thừa. Chỉ với 8% lượng token, mô hình vẫn duy trì 93,5% hiệu suất, vượt qua các phương pháp hiện có tới 3,9 điểm phần trăm.