AI & AUTOMATION

Pinky: Cho AI agent điều khiển điện thoại an toàn qua MCP

Bạn muốn nhờ Claude Code hay Codex tự mở app trên điện thoại Android hoặc iPhone để test giao diện giúp mình, nhưng lại sợ AI bấm nhầm nút “Thanh toán” hay tự ý mở app ngân hàng? Pinky sinh ra để giải quyết đúng nỗi lo đó. Thay vì cho AI toàn quyền chạm trực tiếp vào điện thoại, dự án này đặt một cổng kiểm duyệt ngay trên máy tính: mọi thao tác đều bị soi nội dung dưới ngón tay, tự chặn ở màn hình nhạy cảm và dừng lại chờ bạn bấm duyệt khi đụng giao dịch tiền bạc.

Một cú chạm của AI đi qua những bước nào?

Khi bạn ra lệnh cho AI bấm vào một nút trên màn hình, lệnh đó không chạy thẳng xuống điện thoại mà đi qua 4 lớp bảo vệ liên tiếp:

  1. Cổng tiếp nhận riêng cho AI (pinky mcp) chỉ mở đúng 27 lệnh thao tác màn hình và quản lý tác vụ (như xem màn hình, chạm, vuốt, gõ chữ, mở app). Phía AI hoàn toàn không có lệnh tự duyệt yêu cầu hay tắt chế độ giám sát của người dùng.
  2. Cổng điều phối lấy cây giao diện hiện tại của điện thoại. Nếu màn hình là game hoặc webview không có nhãn nút rõ ràng, hệ thống tự chạy thêm bước nhận diện chữ (OCR) ngay vùng chuẩn bị bấm để chắc chắn không bỏ sót nút nguy hiểm.
  3. Bộ lọc chính sách (rules.yaml và apps.yaml) mặc định chạy ở mức bảo vệ số 2. Nó tự động chặn thẳng các app ngân hàng, ví tiền, trình quản lý mật khẩu, ô nhập OTP và màn hình cài đặt của chính Pinky. Nếu phát hiện nút xác nhận thanh toán (hỗ trợ từ khóa ở 10 ngôn ngữ), hệ thống chuyển sang trạng thái hỏi ý kiến bạn.
  4. Trung tâm phê duyệt bật một hộp thoại xác nhận trên ứng dụng Pinky, khóa chặt vào đúng thiết bị, đúng lệnh và đúng tham số vừa gửi. Bạn có 60 giây để bấm đồng ý hoặc từ chối; hết giờ thì lệnh tự hủy, còn AI chỉ có thể tự bỏ qua quyền duyệt trong trường hợp bạn chạy chế độ giả lập không màn hình.

Lưu ý quan trọng trước khi cài đặt

Trước khi kéo mã nguồn về máy, bạn nên kiểm tra kỹ khả năng hỗ trợ thiết bị và các giới hạn bảo mật sau.

Trên Android, Pinky kết hợp adb, trình chiếu scrcpy và một ứng dụng phụ cài trên điện thoại. Ứng dụng chỉ bật quyền trợ năng khi AI đang chạy rồi tự tắt sau 5 giây xong việc (hoặc 60 giây rảnh) để tránh làm app ngân hàng báo lỗi. Trên iPhone, máy dùng iOS 27 trở lên kết nối trực tiếp qua dịch vụ hệ thống không cần app phụ; iOS 17.4 đến 26 cần chạy qua WebDriverAgent (cổng 8100 và 9100); iOS thấp hơn 17.4 chưa được hỗ trợ, và bản Linux hiện chưa được kiểm thử với iPhone.

Về lưu trữ mật khẩu mở khóa điện thoại, nếu bạn lưu mã PIN, Pinky cất vào Keychain của hệ điều hành và chỉ giải mã khi có xác thực sinh trắc học hoặc mật khẩu máy tính. AI không bao giờ đọc được mã PIN này.

Bản phát hành chính thức có gửi bộ đếm sử dụng và báo cáo crash mỗi 24 giờ về một Cloudflare Worker (không lưu IP hay header). Bạn có thể tắt hoàn toàn bằng biến môi trường DO_NOT_TRACK=1, tắt trong Settings, hoặc tự build bản phát triển.

Cuối cùng là ranh giới an toàn thật sự. Nếu bạn cấp quyền cho AI tự chạy lệnh terminal trực tiếp trên cùng tài khoản máy tính, AI vẫn có thể tự gọi adb đi vòng qua Pinky. Muốn cách ly chặt chẽ, bạn nên chạy AI trong user hoặc container tách biệt.

Chuẩn bị và hướng dẫn build / chạy từng bước

Để tự build Pinky từ mã nguồn (giấy phép Apache-2.0), máy bạn cần cài sẵn Go (phiên bản hỗ trợ trong go.mod là Go 1.27.3). Nếu muốn đóng gói cả ứng dụng phụ cho Android, bạn cần thêm Android SDK và JDK.

1/ Build bộ lệnh Go thuần (không cần CGO):

git clone https://github.com/diygod/pinky.git
cd pinky
CGO_ENABLED=0 go build ./...

2/ Nếu muốn đóng gói ứng dụng desktop hoàn chỉnh kèm FFmpeg và ứng dụng phụ Android:

make app

3/ Kết nối với ứng dụng AI qua chế độ chuẩn (giao tiếp local):

pinky mcp

Khi chạy lệnh này trên máy tính có giao diện đồ họa, Pinky tự mở cửa sổ ứng dụng để bạn theo dõi và bấm duyệt thao tác. Nếu chạy trên server không có màn hình, hệ thống tự chuyển sang chế độ nền.

4/ Nếu bạn muốn kết nối AI từ xa qua HTTP (ví dụ qua Tailscale hoặc mạng nội bộ), bật daemon ở cổng 7465:

pinky daemon --http 127.0.0.1:7465

Kết nối qua HTTP tự động yêu cầu Bearer token ngẫu nhiên và gắn thêm hậu tố (remote) vào tên agent để bạn dễ phân biệt với agent chạy trực tiếp trên máy. Phiên HTTP không hoạt động sẽ tự hết hạn sau 1 giờ.

Một số lỗi hay gặp và command nên biết

Trong quá trình thiết lập ban đầu, mọi người dễ vướng vài điểm sau:

Tình huốngNguyên nhânCách xử lý
App ngân hàng trên Android từ chối mở hoặc báo lỗi bảo mậtMột số dòng máy (như vivo OriginOS 6) không tự tắt dịch vụ trợ năngKiểm tra và tắt thủ công dịch vụ trợ năng của Pinky trong Settings điện thoại
Giả lập vị trí GPS không chạy trên Android thậtTính năng giả lập vị trí chỉ hỗ trợ trên Android Emulator và iPhoneChuyển sang dùng máy ảo Emulator nếu cần test GPS
AI báo hết giờ chờ khi bạn chưa kịp bấm duyệtCổng kiểm duyệt giới hạn thời gian chờ tối đa 45 giây mỗi lần gọiBấm duyệt sớm trong 45–60 giây hoặc cho AI gọi kiểm tra lại

Một vài lệnh CLI hữu ích bạn nên ghi nhớ khi dùng hằng ngày:

  • pinky devices để kiểm tra danh sách điện thoại đang kết nối.
  • pinky task để xem trạng thái các tác vụ AI đang chạy.
  • pinky version để kiểm tra phiên bản đang cài.
  • make check để chạy kiểm tra build và test cơ bản sau khi chỉnh sửa cấu hình hoặc mã nguồn.

Ngoài ra, tính năng soi traffic mạng trên điện thoại được thiết kế theo hướng bảo mật: tự động che token, cookie, mật khẩu trong header và giữ nguyên mã hóa với các app ngân hàng hoặc ứng dụng có certificate pinning. Toàn bộ lịch sử phiên chạy, ảnh chụp màn hình và nhật ký kiểm duyệt được lưu cục bộ trong SQLite (những app nằm trong danh sách chặn sẽ không bị ghi lại).

Nếu bạn đang tìm một cách an toàn và trực quan để cho AI hỗ trợ test app di động mà vẫn giữ nút phanh trong tay mình, Pinky có thiết kế rất hợp lý và dễ làm quen. Ngược lại, nếu bạn cần tự động hóa hàng loạt trên Linux với iPhone hoặc chạy agent chung quyền terminal không cách ly, bạn nên cân nhắc kỹ giới hạn môi trường trước khi áp dụng.

Duy Nghiện
Hãy làm khán giả, đừng làm nhân vật chính :)

You may also like

Nhận thông báo qua email
Nhận thông báo cho
guest

0 Bình luận
Mới nhất
Cũ nhất Nhiều like nhất