Tìm kiếm ngữ nghĩa: AI hiểu đúng ý định của người dùng

Tìm kiếm ngữ nghĩa thay đổi cách tiếp cận này. Thay vì chỉ đối chiếu từ ngữ, hệ thống cố gắng hiểu ý nghĩa của truy vấn và tìm những nội dung có liên quan về mặt khái niệm, ngay cả khi tài liệu không dùng cùng vốn từ với bạn.

Vì sao tìm kiếm từ khóa không còn đủ?

Tìm kiếm từ khóa dựa trên sự trùng khớp mang tính từ vựng. Nếu bạn tìm “bảo hiểm xe”, hệ thống thường ưu tiên các tài liệu có đúng cụm từ đó. Một tài liệu chỉ dùng cách diễn đạt như “bảo vệ ô tô” hoặc “gói bảo hiểm phương tiện” có thể không xuất hiện, dù nội dung thực sự phù hợp.

Đây là khác biệt nền tảng giữa việc tìm từ giống nhau và tìm ý nghĩa tương đồng. Trong môi trường doanh nghiệp, vấn đề này càng rõ rệt vì mỗi phòng ban có thể dùng một bộ thuật ngữ riêng cho cùng một quy trình, sản phẩm hoặc chính sách.

Tìm kiếm ngữ nghĩa xử lý tốt các trường hợp như:

• Từ đồng nghĩa và cách diễn đạt thay thế.
• Câu hỏi được viết lại theo nhiều cấu trúc khác nhau.
• Ý định tìm kiếm không trùng trực tiếp với tiêu đề tài liệu.
• Nội dung đa ngôn ngữ diễn đạt cùng một khái niệm.
• Truy vấn tự nhiên, gần với cách nhân viên hoặc khách hàng đặt câu hỏi hằng ngày.

Nền tảng của tìm kiếm ngữ nghĩa: Biến ý nghĩa thành vector

Cốt lõi của tìm kiếm ngữ nghĩa là embedding, tức cách biểu diễn một đoạn văn bản dưới dạng vector số. Cả truy vấn lẫn tài liệu đều được mã hóa thành các vector trong cùng một không gian nhiều chiều.

Mô hình embedding, thường dựa trên kiến trúc Transformer và được huấn luyện từ lượng lớn văn bản, học cách đưa những nội dung có ý nghĩa gần nhau đến gần nhau trong không gian vector. Nhờ đó, hệ thống không cần đếm số từ trùng khớp mà có thể đo khoảng cách về mặt ngữ nghĩa.

Nói đơn giản, thay vì hỏi “tài liệu này có chứa từ tôi vừa gõ không?”, hệ thống hỏi “tài liệu này có nói về cùng vấn đề tôi đang cần không?”. Đây là lý do tìm kiếm ngữ nghĩa phù hợp với các hệ thống AI cần hiểu ngôn ngữ tự nhiên.

Đo mức độ liên quan bằng cosine similarity

Khi truy vấn và tài liệu đã được biểu diễn bằng vector, hệ thống cần một cách để đánh giá chúng giống nhau đến đâu. Một chỉ số phổ biến là cosine similarity, đo góc giữa hai vector thay vì chỉ nhìn vào độ lớn của chúng.

Giá trị cosine similarity càng gần 1, hai vector càng cùng hướng và hai đoạn văn bản càng tương đồng về ngữ nghĩa. Nếu giá trị gần 0, mối liên hệ ngữ nghĩa giữa chúng rất thấp hoặc gần như không có.

Điểm số này cho phép cơ sở dữ liệu vector xếp hạng hàng nghìn, thậm chí hàng triệu đoạn nội dung theo mức độ liên quan chỉ trong một thao tác tìm kiếm hiệu quả. Đó là nền móng để bạn xây dựng hệ thống hỏi đáp, tra cứu tri thức nội bộ hoặc gợi ý nội dung dựa trên ý định.

Kiến trúc hai tầng giúp tìm nhanh mà vẫn chính xác

Trong thực tế, một hệ thống tìm kiếm ngữ nghĩa thường không xử lý toàn bộ dữ liệu bằng một mô hình nặng ngay từ đầu. Cách triển khai phổ biến là quy trình hai tầng, nhằm cân bằng giữa tốc độ truy xuất và độ chính xác của kết quả cuối cùng.

1. Truy xuất tập ứng viên bằng bi-encoder

Bi-encoder là mô hình làm việc chính ở giai đoạn truy xuất quy mô lớn. Nó mã hóa truy vấn và từng tài liệu một cách độc lập, tạo ra các embedding riêng biệt.

Vì embedding của tài liệu có thể được tạo sẵn và lưu trong cơ sở dữ liệu trước khi có truy vấn, hệ thống chỉ cần mã hóa câu hỏi mới rồi tìm các vector gần nhất. Cách này rất nhanh, phù hợp khi bạn cần tìm trong hàng triệu tài liệu bằng kỹ thuật tìm láng giềng gần gần đúng.

Đổi lại, bi-encoder không thấy được sự tương tác chi tiết giữa từng từ trong truy vấn và từng đoạn của tài liệu. Vì vậy, kết quả ban đầu có độ bao phủ tốt nhưng chưa phải lúc nào cũng có thứ hạng chính xác nhất.

2. Sắp xếp lại bằng cross-encoder

Cross-encoder xử lý truy vấn và một tài liệu ứng viên cùng lúc như một đầu vào kết hợp. Cách xử lý này giúp mô hình chú ý đến những liên hệ rất cụ thể giữa câu hỏi và từng phần trong nội dung tài liệu.

Nhờ vậy, cross-encoder thường cho điểm liên quan chính xác hơn bi-encoder. Tuy nhiên, chi phí tính toán cũng cao hơn vì mô hình phải chạy riêng cho từng cặp truy vấn và tài liệu.

Do đó, cross-encoder chỉ nên được dùng sau khi bi-encoder đã chọn ra một tập ứng viên nhỏ, chẳng hạn một trăm kết quả phù hợp nhất. Quy trình này đem lại tốc độ của truy xuất vector và độ chính xác của đánh giá ngữ nghĩa sâu.

Dense retrieval và reranking là gì?

Khái niệm	Vai trò trong hệ thống
Dense retrieval	Truy xuất tài liệu bằng vector dày đặc, nơi mọi chiều vector đều mang thông tin về ý nghĩa.
Bi-encoder	Mã hóa độc lập truy vấn và tài liệu để tìm nhanh tập ứng viên lớn.
Cross-encoder	Đánh giá chung truy vấn và tài liệu để hiểu các tương tác chi tiết hơn.
Reranking	Sắp xếp lại tập ứng viên bằng điểm số chính xác hơn, có thể kết hợp thêm độ mới, độ uy tín hoặc lịch sử nhấp.

Dense retrieval khác với các hệ thống từ khóa truyền thống như BM25. Trong tìm kiếm từ khóa, tài liệu được thể hiện bằng vector thưa, với mỗi chiều tương ứng một thuật ngữ và phần lớn giá trị bằng 0. Trong tìm kiếm ngữ nghĩa, vector dày đặc mang tín hiệu về ngữ cảnh và ý nghĩa, không chỉ tần suất xuất hiện của từ.

Khả năng tìm kiếm đa ngôn ngữ

Khi mô hình embedding được huấn luyện trên dữ liệu gồm nhiều ngôn ngữ, nó có thể đưa các câu tương đương về ý nghĩa vào những vùng gần nhau trong không gian vector. Điều này tạo ra tìm kiếm ngữ nghĩa đa ngôn ngữ.

Bạn có thể đặt câu hỏi bằng tiếng Việt hoặc tiếng Anh và vẫn tìm được tài liệu liên quan viết bằng tiếng Pháp, tiếng Tây Ban Nha, tiếng Đức hoặc tiếng Ả Rập, mà không nhất thiết cần một bước dịch riêng trước đó. Với doanh nghiệp đa quốc gia có kho tri thức nhiều ngôn ngữ, khả năng này giúp giảm đáng kể rào cản truy xuất thông tin.

Ứng dụng thực tế của tìm kiếm ngữ nghĩa

Tìm kiếm ngữ nghĩa có giá trị ở bất cứ đâu việc không tìm thấy thông tin phù hợp tạo ra ma sát trong vận hành, bán hàng hoặc chăm sóc khách hàng. Bốn ứng dụng dưới đây cho thấy rõ giá trị thực tiễn của công nghệ này.

Quản trị tri thức trong doanh nghiệp

Doanh nghiệp lớn thường tích lũy khối lượng lớn tài liệu, báo cáo, chính sách và kinh nghiệm nội bộ. Những tài sản này chỉ có giá trị khi nhân viên tìm được đúng thông tin lúc cần thiết.

Khi bạn không biết chính xác thuật ngữ được sử dụng trong tài liệu gốc, tìm kiếm từ khóa dễ thất bại. Tìm kiếm ngữ nghĩa cho phép nhân viên mô tả nhu cầu bằng ngôn ngữ tự nhiên, từ đó cải thiện khả năng khám phá tri thức và giảm thời gian tìm kiếm những câu trả lời vốn đã tồn tại.

Khám phá sản phẩm thương mại điện tử

Khách hàng hiếm khi tìm sản phẩm bằng đúng tên sản phẩm trong danh mục. Một người có thể tìm “đồ mặc thoải mái cho chuyến bay dài”, trong khi tiêu đề sản phẩm chỉ mô tả chất liệu, kiểu dáng hoặc dòng sản phẩm.

Hệ thống ngữ nghĩa có thể hiểu rằng nhu cầu nằm ở trang phục nhẹ, thoải mái và phù hợp cho việc di chuyển. Khi hiểu ý định thay vì chỉ đối chiếu từ khóa, website có thể giảm tình trạng bỏ tìm kiếm, tăng khả năng khám phá sản phẩm và hỗ trợ tỷ lệ chuyển đổi tốt hơn.

Nghiên cứu pháp lý

Nghiên cứu pháp lý đòi hỏi tìm kiếm án lệ, quy định và tiền lệ từ kho dữ liệu có thể chứa hàng triệu tài liệu. Người làm pháp lý thường cần mô tả vấn đề bằng ngôn ngữ tự nhiên, thay vì luôn biết chính xác thuật ngữ pháp lý xuất hiện trong hồ sơ liên quan.

Tìm kiếm ngữ nghĩa có thể trả về những vụ việc tương đồng về nguyên tắc pháp lý, ngay cả khi cách diễn đạt hoàn toàn khác. Điều này giúp rút ngắn thời gian nghiên cứu và hạn chế nguy cơ bỏ sót tiền lệ phù hợp.

Chăm sóc khách hàng và hỗ trợ tự phục vụ

Nhiều yêu cầu hỗ trợ thực chất là các biến thể của những vấn đề đã được giải quyết trước đó. Khách hàng có thể dùng từ khác nhau, nhưng nguyên nhân gốc lại giống nhau.

Tìm kiếm ngữ nghĩa có thể ghép yêu cầu mới với các phiếu hỗ trợ đã xử lý có nội dung tương đương. Bạn có thể dùng kết quả này để định tuyến phiếu thông minh hơn, gợi ý phương án xử lý nhất quán cho nhân viên hoặc xây dựng hệ thống tự phục vụ cho các câu hỏi phổ biến.

FAQ

Tìm kiếm ngữ nghĩa có thay thế hoàn toàn tìm kiếm từ khóa không?

Không nhất thiết. Tìm kiếm từ khóa vẫn hữu ích khi bạn cần truy vấn chính xác theo mã sản phẩm, tên riêng hoặc cụm thuật ngữ cụ thể. Tìm kiếm ngữ nghĩa đặc biệt mạnh khi người dùng diễn đạt nhu cầu tự nhiên và không dùng đúng từ trong tài liệu.

Vì sao không dùng cross-encoder cho toàn bộ tài liệu?

Cross-encoder cho kết quả chính xác hơn nhưng cần xử lý từng cặp truy vấn và tài liệu, nên chi phí tính toán cao. Vì thế, nó phù hợp nhất để sắp xếp lại một tập ứng viên nhỏ đã được bi-encoder truy xuất nhanh.

Tìm kiếm ngữ nghĩa có hữu ích cho kho tài liệu nội bộ không?

Có. Nó đặc biệt hữu ích khi tài liệu nằm ở nhiều phòng ban, dùng thuật ngữ không thống nhất hoặc được viết bằng nhiều ngôn ngữ. Nhân viên có thể tìm bằng mô tả vấn đề thay vì phải nhớ chính xác tên tài liệu hay cụm từ chuyên môn.

Nếu bạn muốn biến kho nội dung, website hoặc hệ thống hỗ trợ thành trải nghiệm tra cứu theo ý định, đội ngũ thiết kế website và SEO của MintStack có thể hỗ trợ bạn xây dựng nền tảng phù hợp với nhu cầu vận hành.