AI-generated with SlideGen

Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt

Hệ thống trí tuệ nhân tạo nhận diện ký hiệu thời gian thực cho cộng đồng khiếm thính

16 slides77 views
Remix this deck Make your own — free
Share on XShare on LinkedIn
Nghiên cứu và phát triển mô hình trí tuệ nhân tạo nhận diện ngôn ngữ ký hiệu tiếng Việt
Add subtitle or presenter details...
1 / 16
Nghiên cứu và phát triển mô hình trí tuệ nhân tạo nhận diện ngôn ngữ ký hiệu tiếng Việt
Add subtitle or presenter details...
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt1 / 16
Bối cảnh và vấn đề
Slide subtitle or context (optional)...
  • ●
    Rào cản giao tiếp giữa người khiếm thính và cộng đồng
  • ●
    Thiếu công cụ dịch tự động chuẩn hóa cho ngôn ngữ ký hiệu Việt Nam
  • ●
    Cần hệ thống AI nhận diện ký hiệu thời gian thực
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt2 / 16
Mục tiêu dự án
Slide subtitle or context (optional)...
4 thẻ trực quan: AI Recognition (icon robot), Pose/Keypoint (icon khung xương), Signer-independent (icon người khác nhau), Real-time (icon đồng hồ)
4 thẻ trực quan: AI Recognition (icon robot), Pose/Keypoint (icon khung xương), Signer-independent (icon người khác nhau), Real-time (icon đồng hồ)
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt3 / 16
Tổng quan giải pháp
Từ video đến dự đoán ký hiệu
  • ●
    Video 3 góc camera (chính diện, trái, phải)
  • ●
    Trích xuất khung xương bằng MediaPipe
  • ●
    Chuẩn hóa và tăng cường dữ liệu
  • ●
    Mô hình phân loại: SPOTER / SL-GCN
  • ●
    Kết hợp (Fusion) → 1 trong 400 ký hiệu
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt4 / 16
Bộ dữ liệu VSL-400
Slide subtitle or context (optional)...
Thẻ thống kê trung tâm: 400 ký hiệu. Các thẻ phụ: 26 người ký, 3 góc camera, 74.259 video, 24.753 video/góc, 25 fps, 2.6 giây/đoạn
Thẻ thống kê trung tâm: 400 ký hiệu. Các thẻ phụ: 26 người ký, 3 góc camera, 74.259 video, 24.753 video/góc, 25 fps, 2.6 giây/đoạn
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt5 / 16
Từ video đến khung xương
Quá trình trích xuất đặc trưng
  • ●
    MediaPipe Holistic trích 54 điểm khớp (thân, tay, mặt)
  • ●
    Chuẩn hóa theo độ rộng vai và kích thước bàn tay
  • ●
    SPOTER: 70 khung hình/đoạn
  • ●
    SL-GCN: 150 khung hình/đoạn
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt6 / 16
Đánh giá độc lập người ký
Signer-independent evaluation
  • ●
    Chia dữ liệu theo người, không ngẫu nhiên theo video
  • ●
    Người kiểm thử không xuất hiện trong tập huấn luyện
  • ●
    Train: 57.243 đoạn
  • ●
    Validation: 7.089 đoạn
  • ●
    Test: 9.927 đoạn
  • ●
    Mọi mô hình giảm ~8% từ validation sang test
  • ●
    Đo khả năng tổng quát hóa thật
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt7 / 16
SPOTER: Cách học của mô hình
Sign Pose-based TransformER
  • ●
    Transformer trên chuỗi khung xương
  • ●
    54 khớp = 12 thân trên + 2×21 bàn tay
  • ●
    70 khung hình/đoạn
  • ●
    Không giữ quan hệ giữa các khớp
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt8 / 16
SL-GCN: Cách học của mô hình
Giữ cấu trúc xương để học quan hệ
  • ●
    Khớp = đỉnh, xương = cạnh
  • ●
    27 khớp với confidence
  • ●
    150 khung hình/đoạn
  • ●
    4 luồng: khớp, xương, chuyển động khớp, chuyển động xương
  • ●
    Giữ cấu trúc đồ thị và học quan hệ không gian + thời gian
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt9 / 16
Fusion: Kết hợp hai cách nhìn
Slide subtitle or context (optional)...
Sơ đồ hai luồng: SPOTER (xanh) → P_SPOTER, SL-GCN (cam) → P_SLGCN, Fusion → 400 classes. Công thức: P = 0.75·P_SLGCN + 0.25·P_SPOTER
Sơ đồ hai luồng: SPOTER (xanh) → P_SPOTER, SL-GCN (cam) → P_SLGCN, Fusion → 400 classes. Công thức: P = 0.75·P_SLGCN + 0.25·P_SPOTER
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt10 / 16
Kết quả: So sánh mô hình đơn
Độ chính xác trên tập test (người chưa từng thấy)
Biểu đồ cột nhóm: SPOTER (85.7% Top-1, 95.4% Top-5, 96.9% Top-10), SL-GCN 1 luồng (84.4%, 95.3%, 96.8%), SL-GCN ensemble (87.4%, 97.1%, 98.4%)
Biểu đồ cột nhóm: SPOTER (85.7% Top-1, 95.4% Top-5, 96.9% Top-10), SL-GCN 1 luồng (84.4%, 95.3%, 96.8%), SL-GCN ensemble (87.4%, 97.1%, 98.4%)
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt11 / 16
“
90,09%
— Speaker or Source Name
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt12 / 16
Kiến trúc triển khai real-time
Từ mô hình nghiên cứu đến hệ thống thực tế
  • ●
    Xuất model sang ONNX, self-contained
  • ●
    MediaPipe trích xuất landmarks ở frontend
  • ●
    SPOTER ONNX và SL-GCN ONNX chạy song song ở backend
  • ●
    Fusion kết quả → ký hiệu
  • ●
    Độ trễ: max(t_SPOTER, t_SL-GCN)
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt13 / 16
Hạn chế hiện tại
Slide subtitle or context (optional)...
  • ●
    Phụ thuộc chất lượng ước lượng tư thế (bàn tay nhoè/che khuất)
  • ●
    Chưa dùng biểu cảm khuôn mặt và tín hiệu phi thủ công
  • ●
    Chỉ nhận dạng ký hiệu đơn lẻ, chưa xử lý câu liên tục
  • ●
    Từ vựng hạn chế (400 ký hiệu cố định)
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt14 / 16
Hướng phát triển
Slide subtitle or context (optional)...
  • ●
    Kết hợp khung xương + ảnh RGB cho vùng bàn tay
  • ●
    Thêm biểu cảm khuôn mặt và tín hiệu phi thủ công
  • ●
    Chưng cất tri thức để nén 4 mô hình về 1
  • ●
    Mở rộng sang nhận dạng câu ký hiệu liên tục
  • ●
    Kiểm chứng trong điều kiện thực tế đa dạng
Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt15 / 16
Kết luận
Cảm ơn đã lắng nghe

SPOTER: 85,7% - Lựa chọn nhẹ, tiết kiệm • SL-GCN ensemble: 87,4% - Chính xác cao • Fusion: 90,09% - Tốt nhất, sẵn sàng triển khai real-time

Nghiên cứu phát triển AI nhận diện ngôn ngữ ký hiệu tiếng Việt16 / 16

Like this deck? Make your own in 60 seconds.

SlideGen is the free AI PPT maker. No login, no watermark, unlimited generations — supported by a few discreet ads instead of the $20/month subscription everyone else charges.

Try SlideGen — Free