Internet không đủ cho AI nữa: Anthropic bí mật chi hàng chục triệu USD mua hàng triệu cuốn sách, cắt gáy để huấn luyện Claude

Trong hơn hai năm qua, các cuộc tranh luận về AI chủ yếu xoay quanh sức mạnh của GPU, những khoản đầu tư hàng chục tỷ USD và cuộc chiến giành nhân tài giữa OpenAI, Google, Meta hay Anthropic. Thế nhưng, phía sau cuộc đua đó lại tồn tại một chiến trường khác ít được biết đến hơn: cuộc săn lùng những cuốn sách giấy.

Tờ Washington Post cho hay các tài liệu nội bộ vừa được công bố trong một vụ kiện bản quyền tại Mỹ cho thấy Anthropic (startup đứng sau chatbot Claude với định giá khoảng 183 tỷ USD) từng triển khai một dự án nội bộ mang tên Project Panama với mục tiêu đầy tham vọng: mua, cắt gáy và số hóa hàng triệu cuốn sách để huấn luyện AI.

Trong một tài liệu lập kế hoạch từ đầu năm 2024, Anthropic mô tả đây là "nỗ lực quét toàn bộ sách trên thế giới bằng phương pháp số hóa và tiêu hủy" (destructive scanning).

Những chi tiết này được hé lộ sau khi hơn 4.000 trang tài liệu trong vụ kiện bản quyền giữa Anthropic và các tác giả được tòa án liên bang Mỹ cho phép công khai. Đây là lần đầu tiên công chúng có cái nhìn đầy đủ về cách một công ty AI tìm kiếm nguồn dữ liệu ở quy mô công nghiệp.

Khi Internet không còn là mỏ dữ liệu lý tưởng

Nếu những năm đầu của AI tạo sinh, Internet được xem là kho dữ liệu gần như vô tận thì hiện nay, nhiều công ty công nghệ đã bắt đầu nhìn nhận khác. Lý do rất đơn giản: Internet ngày càng bị lấp đầy bởi chính nội dung do AI tạo ra.

Điều này khiến dữ liệu trực tuyến trở nên "kém sạch" hơn. Nếu một mô hình AI tiếp tục học từ văn bản được tạo bởi AI khác, chất lượng đầu ra có nguy cơ suy giảm theo thời gian, hiện tượng mà giới nghiên cứu gọi là model collapse.

Đó là lý do sách trở thành tài sản chiến lược.

Một tài liệu nội bộ của Anthropic từ tháng 1/2023 cho thấy một trong những đồng sáng lập công ty tin rằng sách có thể giúp AI "học cách viết tốt" thay vì bắt chước "lối viết chất lượng thấp trên Internet".

Meta cũng có cùng quan điểm. Một email nội bộ năm 2024 mô tả việc tiếp cận kho sách số là "điều thiết yếu" nếu muốn cạnh tranh với các đối thủ trong cuộc đua AI.

Nói cách khác, khi Internet ngày càng nhiễu loạn bởi nội dung do AI tạo ra, những cuốn sách được con người biên soạn trước kỷ nguyên ChatGPT lại trở thành nguồn dữ liệu có giá trị hơn bao giờ hết.

Theo hồ sơ vụ kiện, Anthropic ban đầu cân nhắc nhiều phương án khác nhau để thu thập sách.

Công ty từng xem xét mua sách từ các thư viện, tiếp cận hệ thống Thư viện Công cộng New York (New York Public Library), thậm chí tìm kiếm các thư viện đang thiếu kinh phí để hợp tác.

Anthropic cũng liên hệ với các hiệu sách cũ nổi tiếng như Strand Book Store tại New York, nhưng phía Strand xác nhận cuối cùng không bán sách cho công ty.

Sau đó, Anthropic chuyển sang mua sách với quy mô rất lớn thông qua các nhà bán sách cũ như Better World Books và World of Books.

Theo hồ sơ dự án, công ty tìm kiếm đơn vị có khả năng số hóa từ 500.000 đến 2 triệu cuốn sách chỉ trong vòng sáu tháng.

Quy trình được mô tả khá chi tiết.

Đầu tiên, sách được đưa qua một máy cắt thủy lực để cắt rời phần gáy. Sau đó từng trang giấy được quét bằng hệ thống scanner công nghiệp tốc độ cao. Khi việc số hóa hoàn tất, phần sách giấy sẽ được chuyển cho đơn vị tái chế.

Đây là quy trình được gọi là destructive scanning, hay số hóa bằng cách phá hủy bản gốc.

Về mặt kỹ thuật, đây là phương pháp nhanh và rẻ hơn rất nhiều so với việc lật từng trang để quét, đồng thời cho chất lượng hình ảnh ổn định hơn.

Nhưng chính quy trình này đã làm dấy lên tranh cãi khi hàng triệu cuốn sách vật lý không còn tồn tại sau khi hoàn thành nhiệm vụ trở thành dữ liệu cho AI.

Project Panama còn cho thấy một sự thay đổi đáng chú ý trong chiến lược dữ liệu của Anthropic.

Trước khi bắt đầu mua sách giấy, công ty từng tải xuống hàng triệu đầu sách từ các "shadow library" như LibGen, hay những kho lưu trữ sách vi phạm bản quyền nổi tiếng trên Internet.

Theo tài liệu được công bố, đồng sáng lập Ben Mann đã trực tiếp tải dữ liệu từ LibGen trong nhiều ngày liên tiếp vào năm 2021. Đến năm 2022, ông tiếp tục chia sẻ với đồng nghiệp liên kết tới Pirate Library Mirror, một website công khai tuyên bố cố ý vi phạm luật bản quyền ở nhiều quốc gia.

Anthropic sau đó khẳng định trước tòa rằng các mô hình AI thương mại tạo doanh thu của hãng không được huấn luyện từ dữ liệu LibGen và công ty cũng không sử dụng Pirate Library Mirror để huấn luyện bất kỳ mô hình hoàn chỉnh nào.

Tuy nhiên, chính việc từng sử dụng các nguồn dữ liệu lậu đã khiến Anthropic trở thành mục tiêu của các vụ kiện bản quyền.

Theo phán quyết của Thẩm phán William Alsup, việc huấn luyện AI bằng sách có thể được xem là hành vi vi phạm luật bản quyền Mỹ. Ông ví quá trình này giống như giáo viên dạy học sinh viết văn, tức sử dụng tác phẩm để tạo ra một năng lực mới chứ không sao chép nguyên bản.

Tuy nhiên, vấn đề không nằm ở việc huấn luyện AI mà nằm ở cách công ty thu thập dữ liệu.

Tòa án cho rằng Anthropic có thể đã vi phạm bản quyền khi tải hàng triệu cuốn sách lậu trước khi triển khai Project Panama. Cuối cùng, công ty đồng ý chi 1,5 tỷ USD để dàn xếp vụ kiện với các tác giả và nhà xuất bản mà không thừa nhận hành vi sai phạm. Theo ước tính trong hồ sơ, mỗi đầu sách thuộc diện bồi thường có thể nhận khoảng 3.000 USD.

Không chỉ Anthropic

Các tài liệu tòa án cũng cho thấy Anthropic không phải công ty duy nhất lao vào cuộc đua dữ liệu.

Meta bị cáo buộc từng cân nhắc mua bản quyền sách nhưng sau đó lựa chọn tải hàng triệu cuốn sách từ LibGen thông qua giao thức torrent.

Trong các email nội bộ được công bố, một kỹ sư Meta thừa nhận việc tải torrent từ máy tính công ty "không đem lại cảm giác đúng đắn". Một email khác cho biết việc sử dụng LibGen đã được phê duyệt sau khi báo cáo lên "MZ", được cho là CEO Mark Zuckerberg.

Một cuộc trao đổi khác còn cho thấy nhân viên Meta lựa chọn sử dụng máy chủ thuê từ Amazon thay vì hạ tầng của Facebook để tải dữ liệu nhằm "tránh bị truy ngược" về công ty.

OpenAI và Microsoft cũng đang đối mặt với các vụ kiện bản quyền tương tự liên quan đến việc sử dụng sách để huấn luyện AI. OpenAI xác nhận từng tải dữ liệu từ LibGen nhưng cho biết đã xóa trước khi phát hành ChatGPT.

Theo James Grimmelmann, giáo sư luật thông tin tại Cornell Tech, các công ty AI đã rơi vào một "ngụy biện" khi áp dụng cách làm vốn được chấp nhận trong nghiên cứu học thuật vào một ngành công nghiệp thương mại trị giá hàng trăm tỷ USD. Khi nhận ra rủi ro pháp lý, họ đã đầu tư quá sâu vào các quy trình phụ thuộc dữ liệu có bản quyền và không dễ thay đổi.

Ông cũng nhận định rằng việc Anthropic chuyển từ tải sách lậu sang mua sách giấy để số hóa là một bước đi thận trọng hơn về mặt pháp lý.

Ở một khía cạnh khác, Project Panama phản ánh một thực tế ít được nhắc đến: khi sức mạnh tính toán ngày càng dễ mua bằng tiền, lợi thế cạnh tranh của AI đang chuyển sang chất lượng dữ liệu.

Điều trớ trêu là trong khi thế giới nói nhiều về dữ liệu số, thứ mà các hãng AI săn lùng quyết liệt nhất lại là những cuốn sách in đã tồn tại hàng chục năm, thậm chí hàng thế kỷ.

Chúng không chỉ chứa tri thức được biên tập cẩn thận, mà còn đại diện cho thời kỳ trước khi Internet bị bao phủ bởi nội dung do AI tạo ra.

Cuộc tranh cãi vì thế không còn đơn thuần là bản quyền. Nó đặt ra một câu hỏi lớn hơn cho ngành công nghệ: khi AI ngày càng cần nhiều tri thức để tiếp tục phát triển, đâu là ranh giới giữa việc khai thác dữ liệu phục vụ đổi mới công nghệ và trách nhiệm bảo tồn những di sản tri thức dưới dạng vật thể?

*Nguồn: Washington Post, 404 Media, NL Times

Lâm Mộc