Epoch AI cảnh báo về độ chính xác của thống kê sử dụng AI trong nghiên cứu toán học

Ghi nhận AI/phân loại trường hợp sử dụng

Các ghi nhận về AI và phân loại trường hợp sử dụng được thực hiện bởi một mô hình AI có tên là GPT-5.6 Sol, do đó có thể chứa sai sót. Chúng tôi ước tính mức độ sai sót trong phân loại tại phần ghi nhận AI và phân loại trường hợp sử dụng. Việc đánh giá mức độ đóng góp của AI vào nghiên cứu chỉ dựa trên các công bố sử dụng AI là rất khó khăn và thiếu chính xác, ngay cả đối với các chuyên gia là con người. Mọi thẻ (tag) được gán đều có thể được kiểm chứng công khai thông qua kho lưu trữ GitHub liên kết với trình khám phá dữ liệu này. Các lỗi phân loại có thể được báo cáo tại [email protected].

Công bố tự nguyện

Chúng tôi theo dõi các ghi nhận về AI được công bố tự nguyện trong phần văn bản chính của các bản in trước (preprint) trên arXiv. Vì chúng tôi chỉ đo lường các công bố tự nguyện, nên các xu hướng này có thể phản ánh sự thay đổi trong hành vi công bố bên cạnh những thay đổi trong việc sử dụng AI. Chúng tôi không sử dụng bất kỳ thước đo nào khác về việc sử dụng AI, chẳng hạn như các tín hiệu gián tiếp hoặc các mẫu văn bản có tương quan với việc sử dụng AI. Một số tín hiệu sử dụng AI, như các câu lệnh (prompt) AI và các công bố sử dụng AI, chỉ xuất hiện trong phần bình luận của tệp nguồn chứ không có trong văn bản chính. Chúng tôi loại trừ các tín hiệu này khỏi dữ liệu của mình.

Nhận diện tác giả

Việc nhận diện tác giả có thể không chính xác hoặc không đầy đủ. Đặc biệt, những tác giả có tên phổ biến, những người mới bắt đầu sự nghiệp và/hoặc những người không có mã arXiv ID hoặc ORCID sẽ khó xác định danh tính duy nhất hơn bằng phương pháp của chúng tôi. Các lỗi về tác giả có thể được báo cáo tại [email protected].

Bài gốc còn tiếp — xem tiếp tại bài gốc ↗