Nghiên cứu để người khiếm thị nhận biết xung quanh bằng hỏi đáp

0:00 / 0:00
0:00
SVVN - Bằng hỏi đáp dựa trên hình ảnh (VQA), qua ứng dụng thị giác máy tính và xử lý ngôn ngữ tự nhiên, nhóm sinh viên trường ĐH CNTT (ĐHQG TP. HCM) đã nghiên cứu giải pháp giúp những người khiếm thị có thể nhận biết được những thông tin xung quanh mình qua việc đặt các câu hỏi và nhận về đáp án cụ thể từ hệ thống.

“ViVQA: A modern Vietnamese Visual Question Answering for SOTA solutions” là công trình khoa học do nhóm sinh viên: Trần Quốc Khánh, Nguyễn Trọng Ân, Dương Văn Bình và Lê Trần Hoài Ân, ngành Khoa học Dữ liệu, khoa Khoa học & Kỹ thuật thông tin, trường ĐH CNTT (ĐHQG TP. HCM) thực hiện. Bài báo của nhóm đã được đăng tại Hội nghị quốc tế về Xử lý ngôn ngữ tự nhiên PACLIC.

Theo nhóm, hỏi đáp dựa trên hình ảnh (Visual Questions Answering) là một lĩnh vực khá mới mẻ, là một trong những lĩnh vực nghiên cứu tiềm năng với sự kết hợp của xử lý ngôn ngữ tự nhiên và thị giác máy tính. Việc đưa ra một hình ảnh cùng với câu hỏi về nó, một hệ thống hỏi đáp có thể trích xuất được các thông tin cơ bản về ảnh và trả lời các câu hỏi liên quan, công việc đơn giản đối với con người nhưng lại là thách thức lớn đối với máy tính.

Nghiên cứu để người khiếm thị nhận biết xung quanh bằng hỏi đáp ảnh 1

Nhóm nghiên cứu nhận giải thưởng tại Liên hoan Tuổi trẻ sáng tạo TP. HCM năm 2021.

Nguyễn Trọng Ân cho biết: “Các công trình nghiên cứu hiện nay đã có trên tiếng Anh, tiếng Nhật và một vài ngôn ngữ khác, nhưng trên tiếng Việt vẫn chưa có vì hạn chế về dữ liệu. Chính vì lý do đó, nhóm quyết định thực hiện đề tài này với mục tiêu xây dựng một bộ dữ liệu để góp phần phát triển các hệ thống hỏi đáp trên ảnh tự động cho tiếng Việt. Chúng mình là một nhóm bạn thân. Có nhiều ý tưởng và sở thích nghiên cứu giống nhau nên khi nhận được gợi ý từ ThS Nguyễn Văn Kiệt về Visual Questions Answering, cả nhóm bắt tay vào làm luôn. Nhóm cảm thấy đề tài này rất thú vị và có tính ứng dụng cao nên cả nhóm bắt đầu nghiên cứu thực hiện đề tài này cho ngôn ngữ tiếng Việt”.

Dự án này được thực hiện trong vòng 12 tháng, gồm nhiều công đoạn có thể như xác định hướng đi cho đề tài, tìm hiểu các công trình nghiên cứu liên quan, xây dựng bộ dữ liệu, sau đó tiến hành thực nghiệm và huấn luyện các mô hình trên bộ dữ liệu đã được xây dựng, và cuối cùng là quá trình kiểm định, đánh giá và phát triển mô hình.

Bộ dữ liệu được nhóm xây dựng trên miền dữ liệu các hình ảnh từ MS COCO, cùng với đó là việc triển khai mô hình VisualQA sử dụng các phương pháp khác nhau như LSTM, CNN và Hierarchical Co-Attention để đánh giá hiệu suất trên bộ dữ liệu cũng như trình bày về các tinh chỉnh trong các mô hình mà nhằm tìm ra mô hình cho kết quả tốt nhất với bộ dữ liệu này. Một thách thức lớn nhất đối với nhóm là mất nhiều thời gian để hiện thực bộ dữ liệu bởi vì muốn hệ thống hỏi đáp đạt độ chính xác cao.

Bên cạnh đó, tính mới của dự án cũng là một thử thách lớn. Hỏi đáp tự động trên ảnh (VQA) là một lĩnh vực vẫn còn mới ở Việt Nam. Chính vì vậy, tài liệu tham khảo cũng như tài nguyên các bộ dữ liệu về lĩnh vực này chủ yếu trên tiếng Anh. Tìm kiếm và nghiên cứu tài liệu bằng tiếng Việt đã “ngốn” không ít thời gian của nhóm.

Khi phát triển thành công, hệ thống do nhóm thực hiện có thể giúp những người khiếm thị có thể nhận biết được những thông tin xung quanh mình qua việc đặt các câu hỏi và nhận về đáp án cụ thể từ hệ thống. Đây đều là các cuộc thi và giải thưởng nhằm tìm kiếm, tuyên dương các tác giả, sản phẩm có tính ứng dụng cao về khoa học kỹ thuật và tuyển chọn các sản phẩm tiêu biểu tham gia Liên hoan Tuổi trẻ sáng tạo toàn quốc năm 2021.

Ngoài được đăng trên kỷ yếu hội thảo khoa học quốc tế, nghiên cứu của nhóm còn giành giải Ba cuộc thi Makerthon và Huy chương Đồng, Giải thưởng Thiết kế - Chế tạo - Ứng dụng năm 2021.

MỚI - NÓNG

Có thể bạn quan tâm

Dự án Trung Thu Cùng Bé Vùng Cao của cô bạn 'Bống Chè Bưởi'

Dự án Trung Thu Cùng Bé Vùng Cao của cô bạn 'Bống Chè Bưởi'

SVVN - “Bống Chè Bưởi” là biệt danh của cô bạn Nguyễn Hoàng Bảo Ngọc, đang là học sinh lớp 11 tại Hà Nội. Năm 10 tuổi, Bảo Ngọc được nhiều khán giả yêu mến qua chương trình “Mặt trời bé con” với hình ảnh cô bé đến từ Tuyên Quang biết kinh doanh món chè bưởi như người lớn. Đến nay, Bảo Ngọc đã nấu chè và bán chè được gần 9 năm, dự án “Chè bưởi Bống nấu” của cô bạn còn gọi vốn thành công ở chương trình Shark Tank Việt Nam năm 2018.
Kỳ công phục dựng lồng đèn truyền thống trăm tuổi

Kỳ công phục dựng lồng đèn truyền thống trăm tuổi

SVVN - Trong khi nhiều người trẻ chọn con đường đi tìm cái mới, cái hiện đại để nâng cao đời sống tinh thần của người dân, thì vẫn có những người trẻ chọn hướng quay về với những giá trị xưa cũ của dân tộc: Chị Nguyễn Thị Kim Thủy và anh Nguyễn Hoàng Sơn (cựu sinh viên trường ĐH Kiến trúc TP. HCM), đồng sáng lập cửa hàng quà tặng văn hóa Khởi Đăng Tác Khí (KĐTK).
Chàng trai Hải Phòng kiên trì làm nội dung giáo dục trên TikTok: Không có đường tắt trong dạy và học

Chàng trai Hải Phòng kiên trì làm nội dung giáo dục trên TikTok: Không có đường tắt trong dạy và học

SVVN - Tốt nghiệp trường Đại học Ngoại ngữ - ĐHQG Hà Nội, Đặng Quốc Dũng (sinh năm 2000) hiện đang học Thạc sĩ ngành Giảng dạy Ngôn ngữ Anh tại trường Southern New Hampshire. Chàng trai gốc Hải Phòng còn được cộng đồng giáo viên, học sinh biết đến qua kênh TikTok “Dũng Đi Dạy” với những nội dung mang tính giáo dục cao liên quan đến việc dạy và học tiếng Anh.
Hành trình biến ‘giấc mơ nghệ thuật’ trở thành hiện thực của chàng trai từng nặng 100kg

Hành trình biến ‘giấc mơ nghệ thuật’ trở thành hiện thực của chàng trai từng nặng 100kg

SVVN - Từng là nạn nhân của body shaming, bị bạn bè “chê bai, dè bỉu”, chàng trai Nolan với thân hình quá khổ, mang trong mình ước mơ nghệ thuật đã quyết tâm thay đổi, “lột xác” để theo đuổi ước mơ. Bên cạnh đó là những khó khăn vô cùng khác, nhưng cũng không thể “dập tắt” niềm đam mê nghệ thuật của bản thân Nolan.
Áp lực tạo nên kim cương - Hành trình trở mình từ ‘viên ngọc thô’ của nam MC gốc Huế

Áp lực tạo nên kim cương - Hành trình trở mình từ ‘viên ngọc thô’ của nam MC gốc Huế

SVVN - Nguyễn Minh Hiếu - cựu sinh viên điển trai trường ĐH Công nghiệp Hà Nội - là gương mặt MC sự kiện quen thuộc trong cộng đồng MC Hà thành. Ít ai biết rằng, để đạt được những thành công như ngày hôm nay, Minh Hiếu đã phải đối mặt với muôn vàn áp lực, từ đó nỗ lực thay đổi và ghi dấu ấn trong lòng khán giả, trở thành MC/BTV của VTC News.