Salary.com · Hiện tại
Job Data Pipeline
Thu thập dữ liệu việc làm và xử lý bằng AI
- Vai trò
- Software developer
- Công nghệ
Tổng quan
Bộ công cụ C#/.NET thu thập và chuẩn hóa tin tuyển dụng từ nhiều nguồn, cùng pipeline LLM biến hàng nghìn bản ghi mỗi ngày thành dữ liệu có cấu trúc đã được kiểm chứng.
Dự án công ty: chi tiết chỉ ở mức có thể chia sẻ công khai.
Những gì tôi làm
- Công cụ C#/.NET thu thập và chuẩn hóa tin tuyển dụng từ nhiều nguồn, có giới hạn tốc độ, retry và loại trùng.
- Pipeline prompt LLM tự động trích xuất các trường có cấu trúc từ hàng nghìn tin mỗi ngày, có batching, kiểm tra schema và xử lý dự phòng.
- Unit test, prompt regression trên golden dataset và integration test, cùng theo dõi chất lượng và chi phí pipeline.
Thiết kế hệ thống
Crawler lịch sự và bền bỉ
Giới hạn tốc độ và retry theo từng nguồn giữ việc thu thập ổn định, chuẩn hóa và loại trùng biến nhiều định dạng thành một bản ghi sạch.
Trích xuất LLM theo batch
Bản ghi được gửi theo batch để giữ thông lượng cao và chi phí dễ dự đoán.
Kiểm tra schema và dự phòng
Mọi phản hồi của model đều được kiểm tra theo schema. Kết quả không hợp lệ đi qua luồng dự phòng thay vì làm bẩn dữ liệu.
Prompt cũng phải có test
Golden dataset bắt các lỗi hồi quy của prompt trước khi ship, bên cạnh unit test và integration test cho phần code xung quanh.
Hình ảnh
