12/08/2023
CodeTF: One-stop Transformer Library for State-of-the-art Code LLM
Code intelligence đóng một vai trò quan trọng trong việc chuyển đổi công nghệ phần mềm hiện đại. Gần đây, các mô hình dựa trên học sâu (Deep Learning) đặc biệt là các mô hình ngôn ngữ lớn (LLM) dựa trên Transformer đã chứng tỏ tiềm năng vượt trội trong việc giải quyết các nhiệm vụ này bằng cách tận dụng dữ liệu mã nguồn mở khổng lồ và các tính năng của ngôn ngữ lập trình.
CodeTF - một thư viện dựa trên Transformer mã nguồn mở dành cho state-of-the-art Code LLMs và code intelligence. Theo các nguyên tắc của thiết kế mô-đun và framework mở rộng, CodeTF được thiết kế với giao diện thống nhất cho phép truy cập và phát triển nhanh chóng trên các loại model, bộ dữ liệu và tác vụ khác nhau.
Thư viện hỗ trợ một bộ sưu tập các pretrained code LLM model và các code benchmarks phổ biến, bao gồm giao diện được tiêu chuẩn hóa để đào tạo và phục vụ các code LLM hiệu quả cũng như các tính năng dữ liệu như trình phân tích cú pháp theo ngôn ngữ cụ thể và các chức năng tiện ích để trích xuất các thuộc tính của code. Paper này cũng mô tả các nguyên tắc thiết kế, kiến trúc, các mô-đun và thành phần chính, đồng thời so sánh với các library tool khác.
CodeTF có thể thu hẹp khoảng cách giữa machine learning/generative AI và software engineering, cung cấp giải pháp nguồn mở toàn diện cho các nhà phát triển phần mềm, nhà nghiên cứu và người thực hành.
Paper:https://arxiv.org/pdf/2306.00029v1.pdf
Code: https://github.com/salesforce/codetf