thư viện đọc Mục lục Thực ra chẳng ai dạy bạn nghiên cứu cả. Bạn được trao một chỗ ngồi, một vấn đề do người khác chọn sẵn, và một chỉ dẫn mơ hồ rằng hãy tạo ra điều gì đó mới mẻ. Thế nên đa số mọi người lắp ghép ngược lại bản chất công việc từ những gì họ nhìn thấy — tức các bài báo, các dòng tweet, và các thông báo — và cuối cùng thứ họ học được là cách trông giống một nhà nghiên cứu chứ không phải cách trở thành một người như vậy. Kỹ năng thực sự là một chồng gồm nhiều kỹ năng nhỏ hơn, và gần như kỹ năng nào cũng có thể được rèn luyện một cách có chủ đích. Tự chọn vấn đề cho mình Richard Hamming có một thói quen ở Bell Labs khiến ông trở nên kém được yêu mến trong giờ ăn trưa. Ông sẽ hỏi bất cứ ai ngồi cạnh rằng đâu là những vấn đề quan trọng nhất trong lĩnh vực của họ, rồi hỏi tại sao họ lại không làm việc với chúng. Mọi người đổi bàn. Câu hỏi ấy nhức nhối vì đa số chúng ta chẳng có câu trả lời nào hay ho. Chúng ta không chọn vấn đề, chúng ta tiếp thu chúng — từ một người hướng dẫn, từ điều mà một phòng thí nghiệm lớn công bố quý vừa rồi, từ bài báo mà ai cũng trích dẫn trên mạng tuần này. Vấn đề của một vấn đề được tiếp thu là bạn nắm giữ kết luận mà không có phần lập luận. Bạn biết một phòng thí nghiệm nổi tiếng quan tâm đến một hướng đi, nhưng không biết vì sao, không biết họ kỳ vọng tìm ra điều gì, cũng không biết điều gì sẽ khiến họ bỏ cuộc. Và khi họ đổi hướng, bạn biết được điều đó sau cả một năm. Còn với một vấn đề đã trở nên thời thượng, bạn đang đua với hàng nghìn người khởi đầu sớm hơn và có nhiều sức mạnh tính toán hơn bạn. Cẩm nang nghiên cứu ML của John Schulman chia công việc thành hai chế độ. Ở chế độ đầu, bạn đọc tài liệu và lùng sục những thứ có thể cải thiện. Ở chế độ kia, bạn chọn một kết quả mà bạn thực sự mong muốn nó tồn tại và lập luận ngược trở lại tới các thí nghiệm. Ông ủng hộ cách thứ hai, và lý do thầm lặng là nó tạo ra tính nguyên bản. Một mục tiêu mà bạn thực sự quan tâm sẽ kéo bạn vào những vùng lãnh thổ mà không bài tổng quan nào chạm tới. Trong khi đó, "gu" thường được bàn luận như một món quà bẩm sinh. Nó hành xử giống một cơ bắp hơn. Hãy dự đoán kết quả của mọi thí nghiệm trước khi bạn chạy nó. Che phần kết quả của một bài báo lại và đoán các con số chỉ từ phương pháp. Ghi chú lại xem trong số các công bố tháng này, ấn phẩm nào sẽ còn ý nghĩa sau hai năm và kiểm tra tỷ lệ đúng của bạn sau đó. Một dự đoán cộng với một hiệu chỉnh, lặp đi lặp lại vài trăm lần — đó là cách mọi mô hình tốt được huấn luyện, kể cả mô hình trong đầu bạn. Một mục tiêu mà bạn thực sự quan tâm sẽ kéo bạn vào những vùng lãnh thổ mà không bài tổng quan nào chạm tới. Nâng cấp nguồn tiếp nhận của bạn Những danh sách đọc chung sẽ tạo ra những ý tưởng chung. Nếu khẩu phần thông tin của bạn là trang trending của arXiv cộng với những gì còn sót lại qua bộ lọc của nhóm chat, bạn sẽ một cách đáng tin cậy đi tới cùng kết luận với tất cả mọi người, vào cùng lúc — điều khiến những kết luận đó đáng giá xấp xỉ không. Tài liệu cũ bị định giá thấp một cách có tội. Lĩnh vực này tự chạy lại chính quá khứ của nó với một độ trễ: mixture of experts có từ năm 1991, LSTM từ 1997, backprop trở nên phổ biến vào 1986. Rich Sutton chỉ cần khoảng một nghìn từ vào năm 2019 để viết The Bitter Lesson (Bài học đắng cay), và nó dự đoán hình thù của lĩnh vực này tốt hơn những bài tổng quan dài gấp mười lần. Claude Shannon có một bài nói về tư duy sáng tạo năm 1952, nước đi mở màn của ông là thu nhỏ một vấn đề cho đến khi nó gần như tầm thường, phá vỡ phiên bản nhỏ ấy, rồi trả lại độ khó từng mảnh một. Riêng chiêu đó sẽ đưa bạn xuyên qua nhiều bức tường hơn bất kỳ lời khuyên năng suất hiện đại nào. Độ rộng cũng quan trọng ngang chiều sâu. Lĩnh vực diễn giải (interpretability) mượn không biết xấu hổ từ khoa học thần kinh. Thiết kế đánh giá (eval design) chính là thiết kế cơ chế (mechanism design) khoác áo lab. Một trực giác thực tế về cách GPU thực sự di chuyển bộ nhớ sẽ nói cho bạn biết bài báo kiến trúc nào sẽ thất bại trước cả khi benchmark lên tiếng. Và thống kê trung thực có lẽ là kỹ năng hiếm nhất trong ML, nơi rất nhiều sự chặt chẽ được công bố thực ra chỉ là "cảm giác" đội lốt thanh sai số. Một điều nữa. Hãy đọc chính bài báo, chứ không phải dòng tweet tóm tắt nó. Phụ lục là nơi giấu xác chết, và phần giới hạn (limitations) thường là đoạn trung thực nhất trong toàn bộ tài liệu. Viết mọi thứ ra Paul Graham chỉ ra rằng một ý tưởng có thể cảm giác như đã hoàn chỉnh cho đến khi bạn cố gắng diễn đạt nó thành lời. Trang giấy tìm ra những khoảng trống mà đầu bạn lấp liếm: giả định bạn chưa từng kiểm tra, bước luận mà thực ra không nối tiếp, hai tuyên bố âm thầm mâu thuẫn nhau. Quy tắc của Feynman là người đầu tiên bạn phải tránh lừa dối chính là bản thân bạn, vì bạn là mục tiêu dễ nhất. Viết lách là thứ phòng vệ rẻ nhất từng được phát minh. Darwin đi xa hơn và biến nó thành một quy trình. Bất kỳ sự thật nào đi ngược lại thuyết của ông đều được ghi chú ngay tại chỗ, vì ông đã bắt được trí nhớ của chính mình xóa bỏ bằng chứng bất tiện nhanh hơn bằng chứng tiện lợi. Trí nhớ của bạn cũng làm điều tương tự với những lần chạy thất bại của bạn. Hãy giữ một nhật ký: giả thuyết, thiết lập, kỳ vọng, kết quả, niềm tin cập nhật. Đọc lại các mục của tháng trước là một trải nghiệm khiêm nhường mà không reviewer nào sánh nổi. Rồi hãy đưa một phần ra công khai. Bài luận về "nợ nghiên cứu" (research debt) của Olah và Carter lập luận rằng các lĩnh vực bị nghẹn bởi những ý tưởng chưa tiêu hóa, và một lời giải thích rõ ràng là một đóng góp đích thực chứ không phải công việc phục vụ. Rất nhiều người làm interpretability ngày nay tìm thấy lĩnh vực này qua các bài viết dễ đọc, chứ không phải qua các bài báo hội nghị. Một khối lượng bài viết công khai cũng đóng vai trò như chứng nhận mạnh mẽ nhất mà bạn có thể nắm giữ, vì đó là mẫu thử không thể làm giả về cách bạn tư duy. Siết chặt vòng lặp Những câu chuyện về Alec Radford hiếm khi liên quan đến một khoảnh khắc thiên tài đơn lẻ. Chúng liên quan đến khối lượng. Nhiều lần chạy hơn mỗi ngày, nhiều ý tưởng sai bị loại bỏ hơn mỗi tuần, một mô hình về thực tại cập nhật nhanh hơn của bất kỳ ai khác. Đó mới là ván cược thực sự. Tốc độ nghiên cứu phần lớn là tốc độ mà bạn phát hiện ra mình sai. Điều này biến công cụ (tooling) thành một hoạt động nghiên cứu hạng nhất. Khởi chạy một lần chạy nên là một câu lệnh duy nhất. Vẽ đồ thị nó nên là thêm một lệnh nữa. Mọi thí nghiệm đều phải tái lập được từ config, và so sánh hai lần chạy phải mất vài giây, chứ không phải một buổi chiều "khảo cổ học". Công thức huấn luyện mạng nơ-ron của Karpathy có một bước tự trả lời được chi phí gấp trăm lần: overfit một batch duy nhất trước khi huấn luyện quy mô lớn. Ba mươi giây, một nửa bug của bạn biến mất. Thu nhỏ mọi thứ cho đến khi nó rẻ, làm cho đúng, rồi mới tiêu tài nguyên tính toán. Và hãy nghỉ cái ý tưởng rằng engineering là đối tác cấp dưới ở đây. Ở vùng biên giới, hai công việc đã hòa vào nhau. Nhà nghiên cứu có thể tự xây harness, eval, và pipeline dữ liệu chính là người mà các giả thuyết thực sự được kiểm chứng. Những người khác đều đang xếp hàng chờ. Tốc độ nghiên cứu phần lớn là tốc độ mà bạn phát hiện ra mình sai. Chăm chú vào đầu ra Một đường loss đi xuống không phải là phân tích, nó là sự an ủi. Các thí nghiệm của bạn vứt ra nhiều thông tin hơn mức bạn tiêu thụ: bản ghi (transcript), các trường hợp thất bại, phần đuôi kỳ lạ của phân phối. Phần lớn chúng chết yểu không ai đọc trong một thư mục log. Công thức của Karpathy bắt đầu trước khi bất kỳ dòng code huấn luyện nào được viết, với hàng giờ dành cho dữ liệu thô bằng tay. Đa số bug ML sống trong dữ liệu, và chúng thất bại một cách âm thầm. Chẳng có gì crash cả. Bạn chỉ nhận được một mô hình tầm thường và một lý thuyết sai về lý do tại sao. Andrew Ng đã dạy cùng một nước đi không hào nhoáng này suốt hơn một thập kỷ vì không gì đánh bại được nó. Lấy ra một trăm thất bại, đọc hết tất cả, phân thành từng đống, tấn công đống lớn nhất. Nó có tác dụng với mô hình và với eval, nơi một benchmark mà bạn chưa từng đọc transcript là một benchmark mà bạn thực ra không hiểu. Một transcript về hành vi thực sự kỳ lạ sẽ dạy bạn nhiều hơn bất kỳ con số thập phân chính xác kế tiếp nào. Cố tình lang thang Lĩnh vực phụ đầu tiên của bạn là một tai nạn về thời điểm, nên hãy đối xử với nó như vậy. Dành thời gian thực sự ở interpretability, ở evals, ở RL, ở systems, trước khi quyết định bạn định cư ở đâu. Nơi nào đó trong lĩnh vực này có một góc mà sự kỳ quặc riêng của bạn là một lợi thế không công bằng, và cách duy nhất để định vị nó là đóng học phí ở vài nơi. Chẳng ai miễn học phí cho bạn cả. Hãy chạy phiên bản dùng một lần của mọi ý tưởng trước và để phần lớn chúng chết yểu khi còn trẻ. Tune baseline của bạn cho đến khi đau điếng, vì nghĩa địa của ML đầy ắp những cải thiện đã bốc hơi trước một baseline được tune đúng cách, và reviewer là người tệ nhất để học bài học đó. Ablate cho đến khi bạn biết thành phần nào mang lại kết quả. Thường chỉ là một, và thường không phải thành phần ở trong tiêu đề. Độ rộng cũng là bảo hiểm. Các lĩnh vực phụ bão hòa, tất cả đều vậy, thường ngay sau khi chúng đạt đỉnh trên Twitter. Những người tiếp tục sản xuất xuyên qua những chuyển giao đó là những người đã rành đường quanh lãnh thổ lân cận. Tìm những người của bạn Hamming nhận ra một quy luật ở những người cuối cùng làm được công việc quan trọng. Những đồng nghiệp đóng kín cửa văn phòng làm được nhiều hơn trong bất kỳ năm nào, còn những đồng nghiệp mở cửa lại làm công việc có ý nghĩa — vì những gián đoạn mang theo thông tin về những gì thế giới thực sự cần. Cánh cửa mở của bạn có lẽ là một hộp thư đến. Hãy giữ nó như vậy. Sự hào phóng sinh lãi trong nghiên cứu như không gì khác. Tái lập một kết quả và công bố những gì bạn tìm thấy. Phát hành công cụ bạn xây cho chính mình. Giải thích điều gì đó khó bằng ngôn ngữ bình dị. Những khoản thu về đến chệch hướng, hàng tháng sau, dưới hình thức sự hợp tác, lời giới thiệu, hay vai trò mà bạn đã không thể ứng tuyển. Hãy thả những ý tưởng chưa thành hình của bạn ra nơi công cộng, vì sai trên timeline rẻ hơn nhiều so với sai trên bản in. Và người cộng sự nói với bạn rằng một ý tưởng tồi trước khi bạn chìm vào nó ba tháng thì đáng giá hơn cả tài nguyên tính toán. Mối quan hệ đó không thể mua được, chỉ có thể kiếm lấy. Trò chơi dài hạn Pasteur nói vận may mỉm cười với tâm trí được chuẩn bị, và Hamming xây dựng cả một triết lý sự nghiệp trên nền nó: tri thức và năng suất sinh lãi như tiền lãi. Những lợi thế hàng ngày trông tầm thường khi đứng riêng lẻ. Bạn đọc gì, bạn ghi lại gì, vòng lặp của bạn chạy nhanh thế nào, bạn cãi nhau với ai. Cho chúng vài năm và chúng tạo ra những sự nghiệp trông như may mắn từ bên ngoài. Hãy bắt đầu sinh lãi sớm hơn mức cảm thấy cần thiết. Bản thân tương lai của bạn đã biết đây là phần rẻ nhất. Hết Đọc bài