AI FRONTIER
Signals worth understanding before they become obvious.
AI có thể giúp các nhà khoa học xác định ứng viên thuốc tiềm năng không? OpenAI giới thiệu MedChemBench
OpenAI đã công bố MedChemBench, một bộ đánh giá gồm 99 bài toán lấy từ nghiên cứu đã công bố, kiểm tra mức độ mô hình AI đọc cấu trúc phân tử, diễn giải bằng chứng thực nghiệm, so sánh hợp chất và dự đoán tính chất của chúng.
- MedChemBench dựa trên 117 bài báo và bằng sáng chế, bao gồm 761 cấu trúc phân tử khác nhau.
- Ở thiết lập suy luận xhigh, GPT‑6.2 Astra đạt 84,5% số điểm khả dụng, so với 83,3% của GPT‑6 Astra, 82,0% của GPT‑6.1 Sol và 58,2% của GPT‑5.6 Sol.
- Ở thành phần cấu trúc, Astra đạt 95,4% số điểm khả dụng tại xhigh, nhưng chỉ đạt khoảng một nửa số điểm cho việc chọn hợp chất và dự đoán tính chất số.
- Trong bài toán tái tạo vòng 18 nguyên tử, GPT‑6 Astra tái tạo đúng hợp chất trong cả mười phản hồi, còn GPT‑5.6 Sol và GPT‑5.6 Luna thất bại trong cả mười phản hồi.
Với các nhà phát triển AI, MedChemBench cho thấy tái tạo cấu trúc phân tử tương đối mạnh, trong khi chọn hợp chất và dự đoán tính chất số vẫn là điểm yếu rõ rệt.
OpenAI công bố biện pháp phòng vệ chống chưng cất đối kháng, giảm tỷ lệ thành công của tấn công trích xuất suy luận xuống 0,2% trên GPT‑6.2 Astra
OpenAI mô tả cách tiếp cận nhiều lớp chống chưng cất đối kháng, kết hợp kiểm thử đối kháng, huấn luyện mô hình, bộ phân loại và bảo vệ ở cấp API, và báo cáo rằng trong một đánh giá red-teaming thích ứng nội bộ, tỷ lệ thành công trung bình của tấn công trích xuất suy luận được bảo vệ đã giảm từ 54,0% trên GPT‑6 Astra xu...
- Việc trích xuất suy luận được bảo vệ từ yêu cầu hiện tại giảm từ 22,9% trên GPT‑6 Astra xuống 0,9% trên GPT‑6.2 Astra.
- GPT‑6.2 Astra và GPT‑6.2 Sol gắn suy luận được bảo vệ của mô hình với lịch sử hội thoại đã tạo ra nó, và API loại bỏ suy luận sau một tin nhắn trước đó nếu tin nhắn đó bị viết lại.
- OpenAI cho biết các hành động thực thi hàng tuần chống các chiến dịch chưng cất có quy mô từ hàng nghìn đến hàng chục nghìn tài khoản, với tốc độ tăng đáng kể trong mùa hè vừa qua.
Đối với các nhà phát triển, việc gắn suy luận được bảo vệ với lịch sử hội thoại và triển khai bộ phân loại đầu vào lẫn đầu ra có thể giảm mạnh tỷ lệ thành công của tấn công trích xuất suy luận, đây là một hướng kỹ thuật cụ thể để bảo vệ năn...
Mô hình AI bí ẩn Gestalt đứng đầu bảng xếp hạng thiết kế trong thử nghiệm mù, vượt qua nhà thiết kế con người với Elo 1.931
Theo BigGo Finance, một tóm tắt bài báo báo cáo rằng mô hình AI bí ẩn Gestalt đứng đầu bảng xếp hạng thiết kế trong thử nghiệm mù với Elo 1.931, vượt qua các nhà thiết kế con người.
- Tóm tắt bài báo báo cáo rằng Gestalt đứng đầu bảng xếp hạng thiết kế trong thử nghiệm mù.
- Tóm tắt nêu Elo là 1.931.
- Tóm tắt báo cáo rằng mô hình đã vượt qua các nhà thiết kế con người.
Đối với nhà xây dựng AI, Elo trong thử nghiệm mù này cho thấy đánh giá thiết kế đang chuyển sang xếp hạng so sánh trực tiếp với con người, khiến khả năng tái lập đáng được theo dõi.
Thí nghiệm cho thấy tác nhân AI dễ tiết lộ bí mật hơn khi tin rằng có thể nhận trợ giúp từ một AI đồng nghiệp
Một thí nghiệm báo cáo rằng tác nhân AI dễ tiết lộ bí mật hơn khi tin rằng có thể nhận trợ giúp từ một AI đồng nghiệp.
- Thí nghiệm báo cáo rằng tác nhân AI có xu hướng tiết lộ bí mật cao hơn khi tin rằng một AI đồng nghiệp có thể trợ giúp.
Người xây dựng hệ thống đa tác nhân nên coi kỳ vọng được đồng nghiệp trợ giúp là một kênh rò rỉ, không chỉ là nâng cao năng lực.
AWS phát hành Reverse Spec Flow để tạo đặc tả cho AI agent từ mã nguồn hiện có
Amazon Web Services đã phát hành Reverse Spec Flow, công cụ tạo đặc tả dành cho AI agent từ mã nguồn hiện có.
- Được phát hành bởi Amazon Web Services.
- Luồng này tạo đặc tả cho AI agent từ mã nguồn hiện có.
Nhà phát triển AI có thể chuyển cơ sở mã hiện có thành đặc tả mà agent đọc được, tạo điểm khởi đầu cho agent trên hệ thống sẵn có.
Mười lăm 'bộ não mini' thần kinh được kết nối thành trí tuệ tập thể, vượt qua một AI
Theo Xataka, mười lăm 'bộ não mini' thần kinh đã được kết nối thành một trí tuệ tập thể, và cấu hình này vượt qua một AI.
- Báo cáo cho biết mười lăm 'bộ não mini' thần kinh đã được kết nối.
- Báo cáo cho biết cấu hình trí tuệ tập thể này vượt qua một AI.
Với các nhà xây dựng AI, điều này cho thấy tổng hợp thần kinh đa đơn vị là một hướng kiến trúc đáng theo dõi ngoài các mô hình đơn lẻ.