Dịch vụ làm sạch và chuẩn hóa dữ liệu Excel, CRM, ERP
Hai khách hàng trùng tên chưa chắc là cùng một người. Làm sạch dữ liệu cần giữ được quan hệ nghiệp vụ và khả năng truy lại dữ liệu gốc, nhất là trước khi chuyển hệ thống.
Phạm vi, nguồn lực, chi phí và lịch phục vụ được xác định sau khảo sát.
Điều cần biết trước khi bắt đầu
Làm sạch dữ liệu là phát hiện và xử lý định dạng sai, trường thiếu, giá trị không hợp lệ hoặc bản ghi trùng theo quy tắc được duyệt. Uptech tiếp nhận khảo sát dữ liệu Excel, CRM và ERP, đề xuất quy tắc chuẩn hóa, xử lý lô thử và bàn giao kết quả kèm danh sách cần khách hàng xác minh.
Những lỗi dữ liệu cần xử lý trước
Dữ liệu thường hỏng ở quy tắc sử dụng: ngày tháng không cùng định dạng, mã hàng bị mất số 0 đầu, đơn vị tính viết khác nhau hoặc liên hệ bị tạo lặp ở nhiều phòng ban. Việc sửa cần dựa vào cách hệ thống đích dùng trường đó.
Khảo sát bắt đầu bằng danh sách cột, dữ liệu mẫu và mục đích sử dụng. Từ đó mới phân loại lỗi có thể sửa tự động, lỗi cần đối chiếu và lỗi cần chủ dữ liệu quyết định.
| Vấn đề | Cách xử lý đề xuất | Điểm cần quyết định |
|---|---|---|
| Mã có số 0 đầu | Giữ trường dạng chuỗi ký tự | Độ dài và danh mục mã hợp lệ |
| Tên hoặc số điện thoại giống nhau | Tạo danh sách nghi trùng | Điều kiện đủ để gộp và bản ghi giữ lại |
| Ngày không rõ tháng/ngày | Đánh dấu cần xác minh | Nguồn xác nhận; không tự đảo ngày |
| Đơn vị tính không thống nhất | Đối chiếu danh mục chuẩn | Có phải quy đổi số lượng hay chỉ đổi tên |
Phát hiện trùng khác với xóa trùng
Hai bản ghi giống một vài trường có thể đang gắn với các đơn hàng, chi nhánh hoặc hợp đồng khác nhau. Bước phát hiện nên tạo danh sách ứng viên và mức độ khớp để chủ dữ liệu duyệt, thay vì xóa ngay.
Khi được phép gộp, phải xác định bản ghi gốc, cách giữ lịch sử và cập nhật mã tham chiếu ở bảng liên quan. Những trường hợp không đủ bằng chứng được đưa vào danh sách xác minh riêng.
- Sao lưu và lưu mã bản ghi gốc trước xử lý.
- Duyệt quy tắc so khớp và quy tắc ưu tiên giá trị.
- Kiểm tra quan hệ với đơn hàng, công nợ hoặc giao dịch nếu có.
- Lưu bảng thay đổi để có thể đối chiếu hoặc phục hồi.
Bàn giao để dữ liệu nhập được vào hệ thống
Bộ dữ liệu đã chỉnh sửa cần được kiểm tra trên đúng mẫu nhập hoặc môi trường thử của CRM/ERP. Một file nhìn gọn trong Excel vẫn có thể lỗi khi gặp giới hạn trường, mã danh mục hoặc yêu cầu quan hệ của phần mềm.
Bàn giao gồm dữ liệu đầu ra, quy tắc đã dùng, số lượng theo từng nhóm xử lý và ngoại lệ chưa giải quyết. Phần phát sinh ngoài quy tắc đã duyệt cần được thống nhất trước khi sửa.
Làm một lần hay duy trì chất lượng theo tháng?
Xử lý một lần phù hợp khi chuyển hệ thống hoặc chuẩn bị một chiến dịch. Nếu dữ liệu tiếp tục phát sinh từ nhiều nguồn, cần thêm quy tắc kiểm tra lúc nhập, phân công chủ dữ liệu và rà định kỳ để tránh lặp lại lỗi cũ.
Uptech có thể khảo sát phần chuẩn hóa, quy trình kiểm tra và tích hợp cùng nhau. Phạm vi phần mềm và phần vận hành được tách trong đề xuất để doanh nghiệp biết đang trả phí cho công cụ, công xử lý hay cả hai.
Mẫu trước–sau phải giữ lý do và quyền quyết định
Bảng sau là dữ liệu minh họa tự tạo. Mỗi thay đổi gắn với mã quy tắc để giải thích được kết quả, còn trường hợp cần gộp vẫn nằm ở danh sách đề xuất. Chỉ giống tên chưa đủ để khẳng định hai khách hàng hay hai doanh nghiệp là một.
| Mã / quy tắc | Trước xử lý | Sau hoặc đề xuất | Điều kiện áp dụng |
|---|---|---|---|
| R001 · WS-01 | Khoảng trắng thừa | Bỏ khoảng trắng ngoài | Trường đã được duyệt quy tắc |
| R002 · CODE-02 | ab-017 | AB-017 | Mã không phân biệt hoa/thường |
| R003/R004 · MATCH-03 | Tên giống, mã doanh nghiệp khác | Giữ hai bản ghi | Chưa có căn cứ đồng nhất |
| R005/R006 · MERGE-04 | Cùng mã, thông tin liên hệ khác | Đề xuất bản ưu tiên | Chờ chủ dữ liệu duyệt |
| R005 · AUDIT-01 | Phiên bản nguồn S1 | Lưu giá trị cũ, mới và quyết định | Chỉ áp dụng sau phê duyệt |
Tách chuẩn hóa, bổ sung và gộp thành ba phạm vi
Chuẩn hóa là đổi cách biểu diễn theo quy tắc đã biết. Bổ sung là tìm hoặc xác nhận dữ kiện thiếu từ nguồn được phép. Gộp là thay đổi quan hệ giữa các bản ghi, có thể tác động lịch sử đơn hàng hoặc quyền tài khoản. Ba việc này cần công kiểm tra và thẩm quyền khác nhau, không nên được gộp vào một lời hứa “làm sạch toàn bộ”.
Nếu cần kiểm chứng thông tin ngoài file, doanh nghiệp phải chỉ định nguồn tham chiếu, quyền sử dụng và trường nào được cập nhật. Giá trị không xác minh được cần giữ trạng thái chưa xác nhận; không đưa vào đầu ra như dữ kiện đúng chỉ vì nó hợp định dạng.
Bảo toàn liên kết và phạm vi có thể hoàn tác
Trước khi sửa, giữ bản chụp nguồn cùng sơ đồ liên kết giữa khách hàng, đơn, hợp đồng hoặc tài khoản. Khi duyệt gộp, xác định mã còn lại, mã cũ ánh xạ sang đâu và lịch sử nào phải giữ riêng. Đối chiếu số lượng, mã ngoại và các tổng kiểm phù hợp sau chuyển đổi.
Khả năng hoàn tác phụ thuộc quyền hệ thống và các thay đổi phát sinh sau đó. Một file trước–sau không tự bảo đảm khôi phục được mọi giao dịch đã chạy. Vì vậy, cần thỏa thuận điểm dừng, cách sao lưu và chủ thể quyết định trước khi cập nhật dữ liệu vận hành.
Lô thử cần chứa cả ca dễ và ca dễ gộp nhầm
Mẫu đánh giá nên gồm định dạng phổ biến, trường hợp thiếu và cặp giống nhau nhưng phải giữ riêng. Người mua duyệt quy tắc rồi đối chiếu kết quả trên các nhóm đó; báo cáo cần tách lỗi chuẩn hóa, đề xuất không chắc chắn và quyết định của khách chưa nhận được.
Báo giá nên nói rõ số nguồn, số trường, mức tra cứu, công duyệt cặp và việc có cập nhật vào hệ thống hay chỉ giao file. Đơn giá theo dòng không thể hiện đầy đủ một danh mục có nhiều liên kết hoặc phải nghiên cứu thủ công từng cặp.
Câu hỏi thường gặp
Có tự động xóa các dòng trùng không?
Chỉ xử lý theo quy tắc khách hàng đã duyệt. Bản ghi nghi trùng cần được xem xét cùng mã định danh và quan hệ nghiệp vụ; không mặc định xóa chỉ vì trùng tên hoặc số điện thoại.
Có điền được thông tin đang thiếu không?
Chỉ bổ sung từ nguồn được thống nhất và có thể đối chiếu. Thông tin chưa có nguồn xác nhận phải được đánh dấu, không tự tạo email, số điện thoại hay giá trị nghiệp vụ.
Giá tính theo số dòng hay số lỗi?
Mô hình tính phí phụ thuộc số trường, quy tắc đối chiếu, quan hệ dữ liệu và tỷ lệ ngoại lệ. Cần kiểm tra mẫu đại diện trước khi thống nhất đơn vị tính và khối lượng.
Hai bản ghi trùng tên có nên tự gộp không?
Không. Cần khóa nhận diện đáng tin và quy tắc đã duyệt; cặp thiếu căn cứ phải giữ tách hoặc chuyển người có quyền xác nhận.
Lịch sử giao dịch liên quan được giữ thế nào?
Cần sơ đồ ánh xạ mã cũ–mới và danh sách quan hệ phải bảo toàn. Kiểm tra khả năng của hệ thống trước khi cho phép gộp hoặc xóa bản ghi.
Uptech có tự tìm dữ kiện thiếu trên Internet không?
Chỉ khi phạm vi đã chỉ rõ nguồn tham chiếu được phép dùng, loại trường, cách xác minh và tiêu chí chấp nhận. Thu thập bổ sung không mặc định nằm trong chuẩn hóa file.
Đầu việc nào đang cần giảm tải?
Mô tả công việc, khối lượng và đầu ra doanh nghiệp cần nhận. Uptech sẽ trao đổi để xác định phạm vi, cách kiểm tra và nguồn lực phù hợp.
- Một đầu việc hoặc lô xử lý để bắt đầu
- Giá và lịch làm thử được thỏa thuận trước
- SLA theo quy trình và kết quả khảo sát
Ở bước này, chỉ cần mô tả nhu cầu. Dữ liệu mẫu cần bảo vệ sẽ được trao đổi qua kênh thống nhất sau khi làm rõ quyền truy cập.