Cảnh báo: Google Gemini có thể trở thành công cụ lừa đảo của hacker

Theo đó, các hacker có thể sử dụng Google Gemini để tạo ra các bản tóm tắt email chứa hướng dẫn hoặc cảnh báo giả nhằm dẫn người dùng đến các trang lừa đảo mà không cần đính kèm file hay liên kết trực tiếp.

Kiểu tấn công này tận dụng kỹ thuật chèn lệnh gián tiếp, ẩn bên trong nội dung email và được mô hình trí tuệ nhân tạo Google Gemini tuân theo khi tạo ra bản tóm tắt.

Được biết, chèn lệnh gián tiếp là kỹ thuật tấn công vào mô hình AI bằng cách ẩn các lệnh bên trong nội dung do người dùng cung cấp để đánh lừa mô hình làm theo mà không ai nhận ra.

Dù các cuộc tấn công tương tự đã được báo cáo từ năm 2024 và Google đã triển khai một số biện pháp bảo vệ để ngăn phản hồi sai lệch, ký thuật này vẫn cho thấy tính hiệu quả.

Cụ thể nhà nghiên cứu Marco Figueroa tiết lộ cuộc tấn công chèn lệnh vào Google Gemini với quy trình như sau: hacker tạo ra một email có chứa lệnh ẩn cho Gemini. Sau đó, kẻ tấn công sẽ giấu hướng dẫn độc hại ở cuối nội dung email bằng cách sử dụng HTML cùng CSS để đặt kích thước phông chữ về 0 và màu chữ thành trắng.

Lệnh độc hại này sẽ không hiển thị trong Gmail và vì không có liên kết hay file đính kèm nào nên email gần như chắc chắn sẽ lọt vào hộp thư đến của người nhận. Nếu như người nhận mở email và yêu cầu Gemini tạo bản tóm tắt, mô hình AI của Google sẽ phân tích nội dung, gồm cả lệnh ẩn và thực thi nó. Nhiều người dùng tin tưởng vào kết quả của Gemini như một phần thuộc bộ công cụ Google Workspace nên khả năng họ xem cảnh báo giả này là thật là rất cao.

Marco Figueroa đã đề xuất một cách phát hiện và giảm thiểu mà đội ngũ an ninh mạng có thể áp dụng để ngăn chặn các cuộc tấn công kiểu này. Một phương án là loại bỏ, vô hiệu hóa hoặc bỏ qua nội dung được định dạng để ẩn trong văn bản.

Bên cạnh đó là triển khai bộ lọc hậu xử lý để quét kết quả đầu ra của Gemini nhằm phát hiện các thông điệp mang tính khẩn cấp, URL hoặc số điện thoại, sau đó gắn cờ để rà soát thêm.

Người dùng cũng cần lưu ý rằng các bản tóm tắt của Gemini không nên được xem là nguồn thông tin đáng tin cậy tuyệt đối, đặc biệt trong các cảnh báo bảo mật.

Người phát ngôn Google cho biết: công ty liên tục củng cố các biện pháp bảo mật bằng các bài tập kiểm tra thâm nhập nhằm huấn luyện mô hình AI chống lại những cuộc tấn công mang tính đối kháng như vậy.

Người này cũng cho biết: một số biện pháp phòng ngừa đang trong quá trình triển khai hoặc sắp được áp dụng. Google cũng nói rằng hiện chưa có bằng chứng nào cho thấy Gemini đã bị khai thác theo cách được mô tả trong báo cáo của Marco Figueroa.