SemiAnalysis@SemiAnalysis_NgànhĐiểm AI 32/100
GPT-6 Astra được cho là dùng kiến trúc Loop Transformer: Tăng chiều sâu thay vì tăng tham số
GPT-6 Astra reportedly gets deeper without getting bigger. The labs already know what that means for…
DịchGPT-6 Astra được đồn đoán sẽ sử dụng kiến trúc Loop Transformer, cho phép mô hình tái sử dụng các lớp thay vì mở rộng số lượng tham số. Điều này cho thấy OpenAI có thể đang thay đổi chiến lược, ưu tiên tối ưu hóa tính toán thay vì chạy đua quy mô mô hình như trước.
