Từ phi công AI đến sản xuất: Một phương pháp triển khai AI
Khi tôi nói chuyện với những người sáng lập và giám đốc điều hành, câu chuyện giống nhau cứ tiếp tục xuất hiện: chúng tôi có một phi công AI tuyệt vời, nhưng nó không bao giờ thành công trong việc sản xuất. Mảnh còn thiếu là một hệ thốngPhương pháp triển khai AIĐiều đó đối với phi công không phải là một thí nghiệm riêng biệt mà là giai đoạn đầu của một đường ống sản xuất. Không có phương pháp này, các đội lãng phí hàng tháng trời cho các phi công chứng minh khái niệm nhưng không thể quy mô hóa tiềm năng tự động hóa. Theo IDC, chi tiêu trên toàn cầu vào năm 2026 sẽ vượt qua 300 tỷ đô la, nhưng một phần gây sửng sốt của khoản đầu tư đó lại tan biến trong những bằng chứng bị bỏ hoang. Tôi đã thấy qua hàng chục cuộc đính hôn: các nhà khoa học về dữ liệu đưa ra một mô hình ngôi sao trong một cuốn sổ ghi chép Jupyter, nhưng đường dẫn đến giao thông sống thì đầy những đường ống dữ liệu bị vỡ, cơ sở hạ tầng brittle và những giả định chưa được kiểm tra. Một người cố ýPhương pháp triển khai AIlà cách duy nhất để ngăn chặn xuất huyết.
Tại Cơ quan DG10, chúng tôi đã giúp hàng chục công ty vượt qua khoảng cách đó. Hướng dẫn viên này đưa ra khuôn khổ chính xác mà chúng tôi sử dụng: một cuộc thử nghiệm lặp đi lặp lạiPhương pháp triển khai AIđược thiết kế để di chuyển từ phi công AI đến sản xuất với sự tự tin, tốc độ và ma sát tối thiểu. Chúng ta sẽ xem xét các trường hợp nghiên cứu thực tế, số lượng khó và số lượng công cụ giữ cho các mô hình của khách hàng cung cấp giá trị tuần này qua tuần khác.
Name
Theo một cuộc khảo sát 2023 Gartner, chỉ 54% các dự án AI làm nó từ phi công đến sản xuất. Đó là tỉ lệ thất bại gần 50%. “ Bản báo cáo của McKinsey năm 2023 cho thấy những con số tương tự: các tổ chức thành công trong việc quy mô AI là ngoại lệ, không phải quy tắc, và những tổ chức báo cáo tăng thu nhập 3–15%. Độ chính xác của mô hình không phải là khoảng cách hoạt động. Một nghiên cứu khác từ BCG cho thấy chỉ có 11% các công ty đã triển khai AI ở mức độ quy mô, kể ra các nút cổ chai và thiếu các quá trình có hệ thống.
Tại sao? Bởi vì hầu hết các đội tiếp cận một phi công AI như một bằng chứng của sự kết hợp (PoC) mà không suy nghĩ về những hạn chế. Họ sử dụng các bộ dữ liệu đồ chơi, bỏ qua các yêu cầu về tính hiệu quả, không bao giờ thử nghiệm áp lực dưới những gánh nặng hiện thời, và không có kế hoạch giám sát. Khi đến lúc thực hiện, mô hình sẽ bị phá vỡ dưới gánh nặng của thế giới thực, các đường ống dữ liệu thất bại trên các bản thiết kế cũ, và các nhà đầu tư mất niềm tin. Mô hình trông giống nhà vô địch 98% trong phòng thí nghiệm đột nhiên xuất ra rác vì dữ liệu sản xuất bị trôi dạt bởi một phần trăm.
Giải pháp không phải là ngừng điều hành phi công mà là nhận mộtPhương pháp triển khai AIĐiều đó buộc bạn phải nghĩ về sản xuất ngay từ đầu. Tôi đã thấy các đội cắt giảm thời gian triển khai của 60 phần trăm và tỉ lệ thất bại chỉ bằng cách coi phi công như lần lặp lại đầu tiên của dịch vụ sản xuất, chứ không phải thử nghiệm ném bóng.
Điều gì giúp một phương pháp phối hợp ngôn ngữ?
Một phương pháp hữu hiệu phải bao gồm ba giai đoạn:
- Định nghĩa&Kiểm tra- Chính tay phi công AI, nhưng có ý định trong đầu.
- Xây dựng để tỷ lệ- Phục hồi mã phi công, cơ sở hạ tầng và đường ống dữ liệu.
- Triển khai&Theo dõi- Giao hàng liên tục, không hiệu quả, và các vòng phản hồi.
Chúng tôi gọi nó làKhung triển khai DG10 AI. Nó không phải là một cuốn sách kịch cứng nhắc, nó thích nghi với chồng (đám mây, trên đường phố, cạnh) và lĩnh vực kinh doanh ( dịch vụ khách hàng, hoạt động, tài chính). Qua nhiều năm, chúng tôi áp dụng khuôn khổ này cho động cơ giới thiệu điện tử, mô hình phát hiện gian lận, hệ thống giá trị năng động, và thậm chí cả hệ thống phân loại hình ảnh. Cái lõi thì vẫn như cũ, nhưng các công cụ và ngưỡng thì cong.
Dưới đây tôi phân tích từng giai đoạn với các bước thực tiễn, các công cụ và các ví dụ thế giới thực. Tôi cũng sẽ chia sẻ những thước đo mà chúng tôi theo dõi và sai sót thường gặp nhất.
Giai đoạn 1: Định nghĩa&Kiểm tra người lái
Phi công AI là nơi hầu hết các đội bị trật đường ray. Họ xem đó là “một dự án khoa học và lờ đi những hạn chế về kỹ thuật. Để tránh điều đó, chúng tôi yêu cầu ba cánh cửa:
Cổng 1: Vấn đề kinh doanh
Trước khi viết một dòng mã, trả lời:Mô hình này sẽ cải thiện quyết định nào?Không phải “chúng tôi sẽ tạo ra một con robot chat, nhưng“ chúng tôi sẽ giảm bớt thời gian đầu tiên để yêu cầu hoàn lại 50%. Quan sát mục tiêu. Điều này buộc cả đội phải kết nối đầu ra của mô hình với một đòn bẩy kinh doanh có thể đo lường được. Không có điều này, dự án trở thành một giải pháp để tìm kiếm một vấn đề và sẽ không bao giờ có được ngân sách sản xuất.
Cổng 2:&Criteria thành công
Hãy chạy một đường cơ bản bằng tay hoặc tiên đoán để so sánh. Nếu người mẫu của bạn không vượt qua được giới hạn đó ít nhất 20% (chỉ tiêu chuẩn nhưng ngưỡng thông thường), thì phi công không đáng để triển khai. Tài liệu chi phí chính xác theo dự đoán. Tôi cũng muốn nói thêm một “giá trị cho mỗi đơn vị quyết định: nếu một người mẫu gian lận bắt được thêm 100 giao dịch lừa đảo mỗi ngày và mỗi người tiết kiệm được 50 đô la mỗi ngày. Con số đó nói to hơn sự cải tiến F1 0.02.
Cổng 3
Lấy mô hình phát triển tốt nhất từ phi công của bạn và chạy nó với một mẫu giao thông sản xuất (vô danh, số lượng nhỏ). Đo lường độ trễ, cách sử dụng bộ nhớ, sự trôi dạt dữ liệu và sự căng thẳng với yêu cầu đồng thời sử dụng công cụ như k6 hoặc Locust. Bước đi này phơi bày 80% ác mộng. Tôi nhớ có một khách hàng bán lẻ với lời khuyên là 120m ở Jupyter, nhưng dưới 100 yêu cầu đồng thời trong một container Docker, P99 tăng vọt lên 1.8 giây - hơn 300m SLA. Chúng tôi đã phát hiện điều đó trong mô phỏng, không phải vào thứ sáu đen tối.
Công cụ chúng ta dùng:
Tôi đã thấy các đội bỏ qua cổng số 3 và sau đó mất ba tháng để gỡ lỗi một mô hình làm việc ở Jupyter nhưng bị rơi ở Docker. Đừng như thế. Mô phỏng cũng cho bạn một đường cơ bản cho giai đoạn tiếp theo: bạn đã biết chính xác những đặc điểm cần thiết để tối ưu hóa quy mô.
Giai đoạn 2: Xây dựng quy mô — Phương pháp phối hợp giữa cơ thể chúng ta
Bây giờ chúng ta sẽ đưa phi công vào dịch vụ cấp độ sản xuất. Đây là nơiPhương pháp triển khai AIThật sự tỏa sáng. Mục tiêu: làm cho mô hình này bền vững, dễ thấy và dễ cập nhật mà không mất thời gian.
Kiến trúc dịch vụ vi mô
Bao gồm các mô hình trong một hệ thống điều hành ROR (Flask, Fa nhanh, hoặc sử dụng một kết thúc nhưĐiểm kết thúc AWS). Đặc điểm kỹ thuật riêng biệt, suy luận và sau khi giải quyết xong các dịch vụ riêng biệt. Điều này cho phép tỷ lệ độc lập. Chúng tôi tổng hợp tất cả mọi thứ với Docker và dàn nhạc với Kubernetes, vì vậy mỗi thành phần có thể được cập nhật mà không chạm vào những thành phần khác.
Comment
Phi công có thể đã sử dụng tập tin trạng thái tĩnh. Để sản xuất, tính năng tự động khai thác với các công cụ nhưTrò chơi người Apache( Dòng chảy) hayDòng khí(batch). Dùng cửa hàng tính năng (v. d.Bữa tiệc) Để đảm bảo việc huấn luyện và phục vụ sử dụng các tính năng giống nhau. Một cửa hàng đặc trưng cũng chứa các tính năng được tính toán để các dự đoán trực tuyến không xuất hiện nhiều lần các kho dữ liệu thô. Đối với một khách hàng của công nghệ thông tin, chuyển từ hàng hóa hàng đêm sang party truyền hình trực tuyến cắt giảm tính năng tính toán từ 800 đến 30m, một chiến thắng lớn cho việc phát hiện gian lận thời gian thực.
Name
Hãy xem mô hình của bạn như một hiện vật phần mềm. DùngKube DịchhayĐường ống MLđể tự động huấn luyện lại, kiểm tra và triển khai. Mỗi phiên bản mô hình nên vượt qua các thử nghiệm tích hợp (thành tích dưới 200m, không đầu ra NaN, hình dạng xuất khớp với số lượng tối thiểu). Chúng tôi cũng thêm vào một bước hợp lệ để so sánh thành tích của ứng cử viên về bộ dữ liệu đã được cất giữ so với mô hình sản xuất hiện nay. Nếu không cải thiện mục tiêu của KPI ít nhất 1%, đường ống sẽ tự động từ chối và báo động cho đội.
Theo dõi&Phát hiện rạn nứt
Khi triển khai, mọi thứ thay đổi. Dữ liệu trôi dạt, khái niệm trôi dạt, và thất bại về cơ sở hạ tầng xảy ra. DùngRõ ràng là AlhayTại sao Libsđể theo dõi đầu vào và kết xuất mô hình. Tôi thường đặt một danh mục dân số về mức độ ổn định (PSI) cho mỗi khía cạnh. Chúng tôi cũng theo dõi kinh doanh KPIs trực tiếp cho một mô hình dự đoán đầy đủ, chúng tôi xem tỷ lệ biến động thực tế chống lại xác suất dự đoán hàng ngày. Khi sự khác biệt này vượt qua 2% điểm tuyệt đối, đó là nguyên nhân để điều tra.
Ví dụ thế giới thực:Một khách hàng chúng tôi làm việc cùng đã chuyển từ một phi công quảng cáo sang một hệ thống sản xuất sử dụng phương pháp này. Sự suy giảm đột ngột của mô hình giảm từ 1, 2 giây xuống 180m, và họ giảm thời gian tập lại từ hai tuần đến hai giờ. Sự thay đổi đó cho phép họ khởi động một tính năng phát hiện gian lận thẻ mới trong năm tuần thay vì sáu tháng, để tránh mất khoảng 1,2M đô la hàng năm.
So sánh: Theo truyền thống, chuyên gia quảng cáo chống lại các phương pháp phối hợp trí tuệ.
| Hình chữ nhật | Name | Phương pháp triển khai DG10 AI |
|---|---|---|
| Thời gian từ phi công đến sản xuất | 6–12 tháng | 4–8 tuần |
| Tỷ lệ hỏng mô hình ( 90 ngày đầu) | ~50% | <15% |
| Tỷ lệ khó | Cao – Công nghệ bằng tay | Thấp – xây dựng trên các dịch vụ vi mô |
| Theo dõi | Không cho đến sau khi thất bại | Comment |
| Name | Ad vội vàng, thường nhiều tháng | Tự động, hàng tuần hoặc trên đường cao tốc |
| Độ nhất quán tính năng | Huấn luyện chống lại sự trôi dạt | Bảo đảm qua cửa hàng tính năng |
| Khả năng cuộn ngược | Thường là thủ công, giờ | Một vòng quay chim yến, phút |
| Hiệu quả nhóm | Các nhà khoa học dữ liệu làm việc trở lại | Hoàn toàn hợp tác từ phi công |
| Toàn bộ chi phí cho sản xuất | Cao đến mức phải làm lại. | Thấp (lên 40% tiết kiệm mỗi dự án) |
Dữ liệu dựa trên các số vô danh từ 30 tập đoàn mà chúng tôi đã trợ giúp (2022–2025).
Giai đoạn 3: Triển khai&Theo dõi
Vì đã sẵn sàng đóng gói và ống dẫn sẵn sàng, nên đã đến lúc đẩy lần cuối.
Triển khai chim yến
Đường 5% giao thông tới mô hình mới. So sánh số liệu chủ yếu về thương mại (v.g., tỷ lệ chuyển hóa, thời gian phân giải) với mô hình cũ hoặc tiền tệ. Nếu mọi thứ trông ổn, tăng lên 50% thì 100%. Công cụ nhưCommenthoặc mã AWS hỗ trợ việc này. Đối với một khách hàng đi du lịch, chúng tôi đã chạy 10% chim hoàng yến trong hai tuần, theo dõi việc đặt chỗ. Mô hình mới cung cấp cho một tăng doanh thu 6.8% với không đặt sai số, vì vậy chúng tôi tự tin chuyển đến 100% trong vòng một giờ.
Thử ra và thử ra A/B
Vượt xa những con chim hoàng yến đơn giản. Chạy thử nghiệm A/B có cấu trúc nơi một nhóm nhìn thấy các quyết định của người mẫu AI và một nhóm khác nhìn thấy sự khám phá cũ. Đo không chỉ là click-qua mà kết quả xuôi dòng như mua hoàn thành hoặc hỗ trợ tăng cường. Một khách hàng e-commerce đã kiểm tra hai chiến lược khuyến cáo thông qua A/B, và các biến thể chiến thắng cải thiện tỷ lệ thêm vào xe đến 12%. Thí nghiệm khép kín này được đặt trong phương pháp triển khai của chúng tôi bởi vì một mô hình sản xuất không bao giờ thực sự “làm xong.
Vòng lặp Phản hồi
Sản xuất không bao giờ là kết thúc. HạtPhương pháp triển khai AIbao gồm một vòng lặp khép kín: thu thập thông tin phản hồi người dùng hoặc dữ liệu hành vi, so sánh với dự đoán mô hình, và kích hoạt đào tạo lại khi hiệu suất bị suy giảm. Chẳng hạn, nếu tỷ lệ giải quyết của một robot chat giảm xuống dưới 70%, tự động điều chỉnh lại trong cuộc nói chuyện tuần trước. Ghi lại tất cả các dự đoán và kết quả, và đưa chúng trở lại cửa hàng đặc trưng vì vậy chu kỳ huấn luyện tiếp theo phản ánh thực tế mới nhất.
Sổ tay&Comment
Mỗi mô hình triển khai phải có một vòng quay nhấp chuột. Tài liệu chính xác cần kiểm tra: nhật ký, số đo, doanh nghiệp KPIs. Tôi yêu cầu mọi khách hàng điều hành một “ngày vui chơi, ngày mà họ giả vờ thất bại và tập luyện. Những nhóm phục hồi chức vụ này chưa đầy ba phút; những người không thường mất nhiều giờ. Cuốn sách này tiết kiệm được sự sáng suốt.
Một nghiên cứu sâu về phát hiện gian lận của công nghệ Fitech.
Để tôi chỉ cho các bạn một cách thực sự để cho thấy phương pháp học hành động. Một công nghệ định hướng châu Âu (tôi sẽ gọi chúng là bảo mật) đến gặp chúng tôi sau khi một phi công gian lận đầy hứa hẹn phát hiện ra. Mô hình của họ đạt 94% hồi phục với tốc độ tích cực sai trong các thử nghiệm ngoại tuyến, nhưng phi công chạy trên dữ liệu lịch sử tĩnh và chỉ một hệ thống Python. Họ cần nó trực tiếp, vận hành 5.000 giao dịch mỗi giây với độ phân giải dưới 200m, và họ không đủ khả năng chi trả.
Chúng tôi áp dụng thiết bị DG10 AI triển khai khung:
- Giai đoạn 1 (1 tuần):Chúng tôi làm sáng tỏ kinh doanh KPI: ngăn chặn ít nhất 80% các giao dịch lừa đảo trong khi giữ tích cực giả dưới 0.5%. Đường dây cơ bản của phi công đáp ứng được điều đó, nhưng mô phỏng sản phẩm nhỏ của chúng tôi sử dụng k6 cho thấy dưới 500 yêu cầu đồng thời, độ mở rộng của mô hình đạt tới 800mm và sử dụng bộ nhớ 4GB. Chúng tôi đã xác định được rằng bước kỹ thuật là một cái cổ chai nó được gọi là phần thứ ba ADI cho dữ liệu địa điểm đồng bộ.
- Giai đoạn 2 (3 tuần):Chúng tôi đã xây dựng lại kiến trúc phục vụ. Kỹ thuật đặc trưng đã chuyển tới một dòng chảy của Kafka với một bộ nhớ tạm Redis. Mô hình đã được công-ten-nơ hóa và phục vụ thông qua FastAPI đằng sau bộ cân bằng. Chúng tôi thực hiện một cửa hàng đặc trưng để đào tạo và phục vụ các tính năng giống nhau. Đường ống CI/CD ở Kube Flu tự động thử nghiệm mỗi phiên bản mô hình mới. Theo dõi thông qua AI rõ ràng theo dõi tính năng đầu vào phân phối và mô hình chính xác đối với một tổ chức 7 ngày.
- Giai đoạn 3 (2 tuần):Triển khai chim yến ở mức 5% giao thông. Chúng tôi quan sát thấy mức độ ổn định ở 120ms p99 và tỷ lệ bắt giả tương ứng với phi công. Kiểm tra A/B trong hai tuần cho thấy mô hình chặn 21% các cố gắng gian lận (v. 8% cho hệ thống dựa trên quy tắc cũ) trong khi giữ dương tính sai ở 1,2%. Các tập lệnh cuộn lại được thực hành trong một ngày chơi game; phục hồi mất 2 phút 18 giây. Hoàn tất việc sản xuất trong tuần thứ sáu.
Kết quả: Bảo mật Flow đã ngăn chặn sự thiệt hại trong ba tháng đầu. Mô hình huấn luyện lại bây giờ chạy hàng tuần, kích hoạt bởi một ngưỡng tăng tốc PSI là 0.08. Đây là một cấu trúcPhương pháp triển khai AIcung cấp: không chỉ một mô hình hoạt động, mà còn là một hệ thống đáng tin cậy, phát triển, mang lại lợi ích nhiều lần.
Thành công thật của thế giới: Netflix và xa hơn
Netflixlà nổi tiếng với hệ thống giới thiệu của nó, nhưng họ cũng sử dụng ML để tối ưu hóa nội dung giao hàng và cơ sở hạ tầng. Cách tiếp cận của họ - phi thuyền, tiếp tục kiểm tra A/B, và quay lại tự độngPhương pháp triển khai AIchúng tôi ủng hộ. Họ không đến đó một sớm một chiều; họ tiến hóa từ phi công thủ công sang một nền tảng tinh vi MLOps.
Bạn không cần quy mô của Netflix để được lợi ích. Một khách hàng phân phối điện tử trung bình mà chúng tôi làm việc cùng đã triển khai một mô hình giới thiệu sản phẩm trong sáu tuần bằng khuôn khổ này. Phi công AI của họ đã cho thấy một sự tăng 12% trong tăng tốc bổ sung các sản phẩm, và một lần trong quá trình sản xuất, thang máy được giữ ổn định ở mức 11.7% sau ba tháng với không mất. Một khách hàng khác, một công ty du lịch online, đã sử dụng phương pháp học để khởi động một mô hình giá trị năng động. Phi công chỉ ra rằng tăng doanh thu 7%; trong sản xuất, với sự điều chỉnh liên tục A/B, thang máy thực sự được định hướng ở mức 6.9% sau 6 tháng thường xuyên dịch sang 800 đô la thu nhập hàng năm tăng lên.
Những hậu quả này không phải là may mắn. Họ đến từ một phương pháp lặp đi lặp lại có thể kết nối khoa học dữ liệu với kết quả kinh doanh và xem sản xuất là sự kiện chính chứ không phải sau đó.
Bộ xếp công nghệ cho một phương pháp triển khai AI
Phương pháp học chỉ tốt như các công cụ thực hiện nó. Trong khi mỗi chồng đều khác nhau, tôi đề nghị lắp ráp một dụng cụ cốt lõi bao phủ bốn cột trụ của MLOps:
- Theo dõi thử nghiệm&Đăng ký kiểu mẫu:Dòng chảy ML, trọng lượng&Biase
- Name&Đường ống:Dòng chảy Kube
- Lưu tính năng:Bữa tiệc hoặc ngày sinh
- Mô hình phục vụ:FastAPI, KServe, Seldon Core, hay Saage Makerpoints
- Xoá tìm kiếmHành động GitHub với đường ống dẫn MLW, hay GitLib CI
- Theo dõi&Phát hiện khoảng cách:Hiển nhiên là Al, WhyLibs, Prometheus + Grafana
- Cơ sở hạ tầng là mật mã:Name
Cái chồng này, khi được nối với nhau dưới phương pháp triển khai của chúng tôi, tạo ra một vòng lặp tự cải thiện, nơi mà mô hình được huấn luyện liên tục, kiểm tra và được thăng tiến một cách an toàn. Nhận những tiêu chuẩn mở tránh bị khóa và giữPhương pháp triển khai AIDi chuyển qua các đám mây và trên môi trường xung quanh.
Hãy xem xét phương pháp hình thành trên toàn thể tổ chức
Một khi bạn đã chứng minh được nền tảng của một dự án, việc sao chép là quan trọng. Chúng tôi giúp khách hàng xây dựng một cuốn sách điện tử (AI playbook) có mẫu của phương pháp học mà bất cứ nhóm mới nào cũng có thể nhận được. Nó bao gồm:
- Name
- Cửa hàng tính năng
- Name
- Theo dõi bảng điều khiển có cảnh báo đã định sẵn
- Kiểm tra chi tiết về quyền riêng tư dữ liệu và mô hình giải thích
Bằng cách phóng toPhương pháp triển khai AIlà một thực hành có thể lặp đi lặp lại, các công ty đi từ một người hùng một chiều đến một cỗ máy nơi mà mỗi phi công AI có một con đường rõ ràng để sản xuất. Liên quan:DeepSek V4 Lợi nhuận cho việc sản xuất, Các bảng điều khiển thực sự sử dụng, vàName. Một khách hàng trong hậu cần đi từ một mô hình trực tiếp đến bảy trong vòng 18 tháng bằng cách tiếp cận này, tất cả đều được quản lý bởi một đội đơn.
AI Pilot để sản xuất FIQs
1, tại sao hầu hết phi công AI không bao giờ đạt đến sản xuất?
Các phi công được xây dựng như những thí nghiệm độc lập: không có cửa hàng, không có giám sát, không có kế hoạch quay lại. Sản xuất cần cả ba phương pháp này để xây dựng từ giai đoạn một.
2. mất bao lâu để chuyển từ phi công sang sản xuất?
Với các bước tiếp cận ở đây, 4–8 tuần so với 6–12 tháng cho các nỗ lực quảng cáo (xem bảng so sánh trên).
3 cái gì thuộc về sản phẩm của AI Tech?
Theo dõi (MLS Dịch), dàn nhạc (Air Flu), một cửa hàng đặc trưng (Feast), truyền (Kafka), phục vụ (Kube Flu/SageMaker) và giám sát với cảnh báo đã định sẵn.
Bạn theo dõi mô hình sản xuất như thế nào?
Theo dõi sự trôi dạt của dự đoán, chất lượng dữ liệu, độ trễ, và doanh nghiệp KPIs với cảnh báo; thời gian biểu điều chỉnh lại chu kỳ cố định, chứ không phải khi mọi thứ sụp đổ.
5. Làm thế nào để bạn phân tích phương pháp học qua các đội?
Kết quả là: cấu trúc thiết kế lại tiêu chuẩn, mẫu ống nước, con đường chim yến vàng, bảng điều khiển và bảng kiểm tra quản lý — như trường hợp khách hàng hậu cần ở trên cho thấy.
Khung và dòng thời gian xem xét chống lại việc sản xuất MLOps, ngày 20 tháng 9 năm 2026.