GigaPath-Flash và GigaTIME-Flash: Đột phá mô hình nền tảng bệnh học với hiệu suất tối ưu

Sơ lược

GigaPath (mở trong tab mới) và GigaTIME (mở trong tab mới) đã chứng minh cách các mô hình nền tảng (foundation models) có thể hỗ trợ phân tích toàn bộ tiêu bản (whole-slide analysis) và mô hình hóa vi môi trường khối u từ dữ liệu bệnh học được thu thập định kỳ. GigaPath-Flash và GigaTIME-Flash giúp các khả năng này trở nên hiệu quả hơn đáng kể, cho phép các nhà nghiên cứu phân tích các nhóm đối tượng lớn hơn, thực hiện nhiều thí nghiệm hơn và tiến tới các khám phá ở quy mô quần thể. GigaPath-Flash và GigaTIME-Flash là các mô hình nghiên cứu. Chúng không được thiết kế hoặc xác thực cho mục đích sử dụng lâm sàng, bao gồm chẩn đoán, tiên lượng, lựa chọn phương pháp điều trị hoặc các quyết định chăm sóc bệnh nhân khác. Hiệu suất có thể thay đổi tùy theo tập dữ liệu, máy quét, cơ sở y tế, quần thể và trường hợp sử dụng.

Cơ hội về quy mô trong bệnh học tính toán

Mô bệnh học là một trong những nguồn thông tin phong phú và phổ biến nhất trong nghiên cứu ung thư. Mỗi mẫu sinh thiết mô tạo ra một hình ảnh toàn bộ tiêu bản (whole-slide image) ghi lại hình thái tế bào ở độ phân giải dưới tế bào — và các bệnh viện tạo ra hàng triệu tiêu bản như vậy mỗi năm. Dữ liệu này chứa thông tin liên quan đến chẩn đoán, tiên lượng, lựa chọn điều trị và sinh học của vi môi trường khối u.

Các mô hình nền tảng đã bắt đầu khai thác thông tin này ở quy mô lớn. Tuy nhiên, hình ảnh toàn bộ tiêu bản rất lớn — thường vượt quá một gigapixel — và việc áp dụng một mô hình nền tảng cho dù chỉ một tiêu bản cũng đòi hỏi phải xử lý hàng nghìn ô ảnh (image tiles). Khi một câu hỏi nghiên cứu liên quan đến hàng chục nghìn bệnh nhân, chi phí tính toán sẽ tăng lên nhanh chóng. Hơn nữa, khám phá ở quy mô quần thể không chỉ là một lần chạy mô hình: nó đòi hỏi các chu kỳ lặp đi lặp lại của việc trích xuất đặc trưng, phân tích thống kê, kiểm định giả thuyết và xác thực trên các nhóm phụ bệnh nhân, dấu ấn sinh học và các điểm cuối lâm sàng.

Chi phí tính toán hạn chế số lượng bệnh nhân, tập dữ liệu, tác vụ và giả thuyết mà các nhà nghiên cứu có thể nghiên cứu. Để hiện thực hóa toàn bộ tiềm năng của các mô hình nền tảng bệnh học, chúng ta cần những mô hình có thể được áp dụng lặp đi lặp lại và với chi phí hợp lý trên các quần thể bệnh nhân lớn.

Từ GigaPath và GigaTIME đến dòng mô hình -Flash

GigaPath (Nature, 2024) (mở trong tab mới) là một mô hình nền tảng toàn bộ tiêu bản được huấn luyện trước trên dữ liệu mô bệnh học thực tế quy mô lớn từ Providence. Không giống như các mô hình chỉ hoạt động ở cấp độ ô ảnh, GigaPath học các biểu diễn có ngữ cảnh của toàn bộ tiêu bản, nắm bắt cả các mô hình tế bào cục bộ và cấu trúc mô tổng thể.

GigaTIME (Cell, 2026) (mở trong tab mới) mở rộng hướng nghiên cứu này sang vi môi trường khối u. Được huấn luyện trên 40 triệu tế bào với dữ liệu H&E và miễn dịch huỳnh quang đa kênh (mIF) ghép cặp, GigaTIME chuyển đổi hình ảnh H&E thông thường thành các bản đồ proteomics không gian ảo trên 21 kênh protein. Khi áp dụng cho hơn 14.000 bệnh nhân ung thư, nó đã tạo ra một quần thể ảo giúp khám phá hơn 1.200 mối liên hệ có ý nghĩa thống kê giữa trạng thái tế bào miễn dịch và các dấu ấn sinh học lâm sàng.

GigaPath và GigaTIME đã giải quyết được quy mô dữ liệu bệnh học và khám phá sinh học. Và giờ đây, dòng mô hình Flash giải quyết quy mô của việc thử nghiệm.

Dòng mô hình Flash chia sẻ một mục tiêu thiết kế cốt lõi: bảo tồn các biểu diễn bệnh học hữu ích trong khi giảm đáng kể tài nguyên tính toán cần thiết để tạo và sử dụng chúng. Cả hai mô hình đều được xây dựng trên một nền tảng hiệu quả chung — một bộ mã hóa ô ảnh ViT-S nhỏ gọn được chưng cất từ bộ mã hóa GigaPath gốc với hàng tỷ tham số — và cả hai đều được phát hành theo giấy phép Apache 2.0.

GigaPath-Flash

GigaPath-Flash là một mô hình nền tảng hiệu quả cho việc học biểu diễn toàn bộ tiêu bản. Nó kết hợp một bộ mã hóa ô ảnh ViT-S 22 triệu tham số với một bộ mã hóa tiêu bản LongNet 21 triệu tham số. Bộ mã hóa ô ảnh được chưng cất từ mô hình giáo viên GigaPath ViT-g gốc, chuyển giao khả năng biểu diễn của một mô hình hàng tỷ tham số vào một nền tảng nhỏ hơn gấp mười lần. Bộ mã hóa tiêu bản tạo ngữ cảnh cho tất cả các nhúng ô ảnh thông qua cơ chế dilated attention, mở rộng quy mô tuyến tính theo số lượng ô ảnh.

Trên các tiêu chuẩn phân loại cấp độ tiêu bản (phân loại độ ác tính tuyến tiền liệt PANDA và phân loại phụ u não EBRAINS), GigaPath-Flash đạt chi phí suy luận thấp nhất trong số các mô hình được huấn luyện trước trên toàn bộ tiêu bản trong khi vẫn duy trì hiệu suất cạnh tranh — đạt điểm số trong phạm vi 3% so với GigaPath gốc với chi phí tính toán ít hơn khoảng 50 lần.

GigaTIME-Flash

GigaTIME-Flash thay thế nền tảng CNN của GigaTIME gốc bằng bộ mã hóa GigaPath-Flash ViT-S, kết hợp với một bộ giải mã tích chập nhẹ để chuyển đổi H&E sang mIF. Mô hình được tinh chỉnh bằng các bộ điều hợp LoRA, giữ cho trọng số của bộ mã hóa đã huấn luyện trước hầu như không thay đổi.

Trên cả các nhóm đối tượng trong phân phối và ngoài phân phối bao gồm ung thư não, vú, đại tràng và phổi, GigaTIME-Flash đạt được hoặc cải thiện so với GigaTIME gốc về chất lượng dự đoán protein không gian. Những cải thiện này đặc biệt đáng chú ý trên dữ liệu ngoài phân phối, cho thấy rằng nền tảng mô hình nền tảng giúp cải thiện khả năng tổng quát hóa đối với các loại mô chưa từng thấy trước đây.

Hiệu quả mà không từ bỏ nền tảng

Những cải thiện về hiệu quả của các mô hình Flash là rất đáng kể:

Đối với một tiêu bản đơn lẻ, những khác biệt này giúp giảm thời gian chạy và yêu cầu phần cứng. Trên hàng chục nghìn tiêu bản, chúng có thể quyết định liệu một thí nghiệm có khả thi hay không. Để minh họa, chúng tôi ước tính thời gian thực tế để tạo mIF ảo trên các nhóm đối tượng có quy mô khác nhau trên một GPU A100 duy nhất, giả định khoảng 10.000 ô ảnh mỗi tiêu bản:

Phát hành mô hình mở

Cả GigaPath-Flash và GigaTIME-Flash đều được phát hành dưới dạng các mô hình mở trọng số theo giấy phép Apache 2.0. Trọng số mô hình và mã nguồn có sẵn trên HuggingFace:

Đây là bản phát hành nghiên cứu sớm. Các đánh giá hiện tại của chúng tôi bao gồm một tập hợp hạn chế các tiêu chuẩn và nhóm đối tượng, và vẫn cần sự xác thực rộng rãi hơn trên các tác vụ, máy quét và quần thể bệnh nhân khác nhau. Chúng tôi kỳ vọng các ứng dụng giá trị nhất của các mô hình này sẽ bao gồm các câu hỏi khoa học, các nhóm đối tượng và các trường hợp sử dụng ngoài những gì có trong các thí nghiệm ban đầu của chúng tôi. Chúng tôi hoan nghênh sự đánh giá từ cộng đồng và chúng tôi cũng quan tâm đến các báo cáo về nơi các mô hình này hoạt động tốt và nơi chúng còn hạn chế.

Các ứng dụng lâm sàng hạ nguồn sẽ yêu cầu xác thực bổ sung từ nhiều cơ sở và xác thực tiền cứu.

Azure AI Foundry Labs

Khám phá các hướng đi tiềm năng trong tương lai của AI với các công nghệ thử nghiệm này từ Microsoft Research.

Hiệu quả là yếu tố thúc đẩy khám phá

GigaPath và GigaTIME đã chứng minh những gì các mô hình nền tảng bệnh học có thể học được từ toàn bộ tiêu bản và mô khối u. GigaPath-Flash và GigaTIME-Flash là một bước tiến nhằm làm cho các khả năng đó có thể sử dụng được trên các quần thể lớn hơn, nhiều thí nghiệm hơn và một cộng đồng nghiên cứu rộng lớn hơn.

Bằng cách làm cho các mô hình nền tảng bệnh học trở nên hiệu quả hơn, chúng tôi hy vọng sẽ mở rộng quy mô của các câu hỏi khoa học mà các nhà nghiên cứu có thể đặt ra.

Lời cảm ơn

GigaPath-Flash và GigaTIME-Flash là công trình hợp tác giữa Microsoft Research, Đại học Washington và Providence. Để biết chi tiết kỹ thuật, vui lòng xem bài báo.

Đồng tác giả bài báo: Naoto Usuyama, Jeya Maria Jose Valanarasu, Sicong Yao, Hanwen Xu, Jaspreet Bagga, Guanghui Qin, Robert E. Kramer, Cliff Wong, Soohee Lee, Hao Qiu, Theodore Zhengde Zhao, Racheli Ben Shimol, Angela Crabtree, Kevin Matlock, Eduardo Alejandro Lozano Garcia, Naiteek Sangani, Alberto Santamaria-Pang, Maximilian Rokuss, Yashna Hasija, Naisargi Manishkumar Patel, Jason Entenmann, Alexandra Q. Bartlett, Bill J. Wright, Bernard A. Fox, Brian Piening, Sheng Zhang, Sheng Wang, Tristan Naumann, Carlo Bifulco, Hoifung Poon