Làm thế nào chúng tôi xây dựng một công cụ phân tích thị trường AI
Nghiên cứu thị trường AIyêu cầu độ chính xác và tốc độ. Hai năm trước, đội của chúng tôi ở DG10 đã đánh một bức tường: công cụ phân tích đối thủ giá cả một gia tài và vẫn không thể cung cấp cho chúng tôi sự hiểu biết thực tế, sắc thái mà khách hàng cần. Vì thế chúng tôi quyết định chế tạo động cơ tự chế. Trong bài viết này, tôi sẽ hướng dẫn các bạn trong suốt cuộc hành trình - những lựa chọn công nghệ, những thách thức mà chúng tôi đã vượt qua, và kết quả thực sự mà chúng tôi đã cung cấp cho các khách hàng dịch vụ điện tử, SaaS và chuyên nghiệp. Nếu bạn đã bao giờ tự hỏi làm thế nào để có được trí thông minh cạnh tranh thời gian thực mà không bị chết đuối trong bảng tính, này là của bạn.
Tại sao chúng tôi cần giải pháp thông thường cho việc nghiên cứu thị trường Al
Khi bắt đầu tiếp xúc với nhiều khách hàng có nhiều dữ liệu hơn, chúng tôi nhanh chóng khám phá ra rằng “các công cụ làm việc hiệu quả không đủ tốt. Chúng tôi đã tung ra 7 tờ đăng ký khác nhau cho thẻ chiến đấu, tương tự Web cho sự hiểu biết giao thông, SEMrues để tìm từ khóa, Ahrefs cho kết nối sau, Brandwatch cho việc lắng nghe xã hội - và vẫn dành 20+/tháng cho mỗi khách hàng khâu dữ liệu lại với nhau. Tổng chi tiêu hàng tháng vượt quá $15,000(2024 giá vào lúc đó; giá và tiền được kiểm tra lại vào tháng 9 năm 2026)Tuy nhiên, mọi khách hàng đều muốn một cái nhìn thống nhất, thực tế mà không công cụ nào tự cung cấp.
Các lỗ hổng chính rõ ràng:
- Không theo dõi thời gian thực.Hầu hết công cụ cập nhật hàng tuần hoặc thậm chí hàng tháng. Một đối thủ có thể lặng lẽ đổi giá vào chiều thứ ba và chúng tôi không biết cho đến thứ hai tuần sau.
- Phân tích tình cảm.Crayon và Brandwatch đưa ra những lá cờ tích cực và âm tính cơ bản, nhưng họ không thể phân biệt “một quan hệ cộng tác mới là“ thông báo trì hoãn trong bối cảnh của mối đe dọa chiến lược.
- Mô hình hộp đen.Chúng tôi không thể huấn luyện các thuật toán về các ngành công nghiệp cụ thể của khách hàng. Một sự thay đổi giá ở B2B SaaS quan trọng khác với trong bán lẻ, nhưng các công cụ hiện có coi tất cả các tín hiệu đều như nhau.
- Nguồn dữ liệu kết nối.Chúng tôi muốn cào trang sách đắt tiền, theo dõi việc làm, và theo dõi thông cáo báo chí trong nhiều ngôn ngữ. Hầu hết các công cụ khóa anh vào danh sách được quản lý.
Những sự thất vọng này thúc đẩy chúng tôi đầu tư vào một phong tụcNghiên cứu thị trường AIĐộng cơ có thể nuốt bất kỳ nguồn nào, phân loại chuyển động với độ chính xác cao, và tự động tạo ra báo động hành động.
Cách tiếp cận để xây dựng một công cụ nghiên cứu thị trường AI
Bước 1: Lớp phân cách dữ liệu
Chúng tôi bắt đầu với một đường ống ăn linh hoạt mà có thể xử lý các dữ liệu không cấu trúc và cấu trúc ở quy mô. Sử dụng các thiết bị phế liệu dựa trên Python ( kịch bản cho các trang JavaScript-heavy, đẹp hơn cho những trang đơn giản hơn) và APIs (Bradwatch cho thính giác xã hội, SEMrushs cho giao thông từ khóa, Ahrefs cho hồ sơ kết nối sau, và tùy chỉnh cho các công việc như Linked In và thực sự), chúng tôi đã chuyển tất cả mọi thứ vào cơ sở dữ liệu thống nhất.
Chúng tôi đã chọnTrò chơi người Apacheđể truyền tải dữ liệu thời gian thực bởi vì nó cho phép xử lý độ phân giải thấp và khả năng tua lại hoàn hảo cho việc nắm bắt chính xác thời điểm một đối thủ xuất bản một trang mới. Để lưu trữ tài liệu chúng tôi đã đi vớiMongoDBlà người đã cho phép chúng tôi lưu trữ HTML thô cùng với xuất bản siêu dữ liệu. Để xử lý âm lượng (chúng tôi nhanh chóng thông qua 20.000 điểm dữ liệu mỗi khách hàng mỗi ngày), chúng tôi thêmSự kiện Apacheđể làm sạch, sửa chữa và làm bình thường.
Một bài học đầu tiên: Dữ liệu từ nhiều nguồn khác nhau sử dụng các hội nghị đặt tên khác nhau. “ Việc cập nhật tin tức về trang web của một đối thủ có thể được gọi là “kế hoạch của người khác. Chúng tôi xây một lớp bình thường bằng cách sử dụng một từ điển tùy chỉnh và một bộ phân loại nhẹ được đào tạo trên 5.000 ví dụ được chú thích bằng tay. Điều đó làm tăng độ chính xác dòng chảy của chúng ta xuống 15%.
Bước 2: NLP và phân tích tình cảm
Trung tâm của động cơ là một mô hình nằm gọn. Chúng tôi bắt đầu vớimũvà huấn luyện nó trên một tập đoàn gồm 500.000 thông báo đối thủ trong ngành công nghiệp của khách hàng. Người mẫu này phân loại mỗi người vào các loại như “việc khởi động hệ thống điện thoại,“ ưu tiên cho sự thay đổi của máy tính, “sự phối hợp giữa các thành viên trong nhóm, “làm cho vòng tròn,“ thay đổi quyền lãnh đạo, và “sự kiện tích cực (từ chối hoặc khuấy động) ”. Chúng tôi cũng thêm vào một loại phân loại đa nhãn để phân loại các loại phân loại, “một loại sản phẩm khởi động, cũng là một“ thay đổi ưu tiên.
Chúng tôi kết hợp với nhauVADER(Tốt cho các phương tiện truyền thông xã hội) với một máy biến thế tốt gồm 7 điểm từ “cơ hội cho đến“ cơ hội ”. Cuối cùngNghiên cứu thị trường AIMô - đun chỉ định một “cần phải ghi điểm từ 1 đến 10 lần mỗi khi có thay đổi. Chúng ta thường đạt được 93% F1 về phân loại và 87% về hướng tình cảm. Quan trọng hơn, cảnh báo sai (nơi mà động cơ thay đổi nhỏ khi nguy kịch) dưới 5%.
Bước 3: Tự động báo cáo&Cảnh báo
Mỗi sáng Thứ Hai, robot Slack gửi “những hình ảnh tổng hợp cho mỗi khách hàng. Tạp chí này nhấn mạnh ba sự cạnh tranh gây ảnh hưởng mạnh mẽ nhất trong tuần vừa qua, cùng với những hành động được đề nghị (v. d., “người đối lập X giảm giá hàng năm 20% — xem xét giá trị tương ứng hoặc làm nổi bật các đặc điểm của bài đăng ký ”. Chúng tôi cũng cung cấp thông báo thời gian thực: nếu một di chuyển ưu tiên cao (như một giảm giá>15% hoặc sự khởi hành của người máy, robot phát hiện ra vị khách trong vòng vài phút.
Các báo cáo được tạo ra sử dụnggpt-4o-miniđể tóm tắt các bài viết dài và mẫu để định dạng. Khách hàng có thể chọn giữa tiêu hóa hàng tuần, thư điện tử tóm tắt, hoặc báo động Slack và chúng tôi đang làm việc trên một tính năng thông báo di động. Mức độ tự động hóa này sẽ là không thể nếu không có lớp AI mà chúng tôi đã xây dựng; trước đó, một nhà phân tích người sẽ dành cả ngày để làm cùng một công việc.
Chương trình nghiên cứu thị trường AI trên thế giới trong việc phân tích đối chiếu
Chúng tôi đã triển khai công cụ này cho khách hàng trong các dịch vụ điện thoại di động, SaaS và dịch vụ chuyên nghiệp. Sau đây là hai ví dụ cụ thể:
AcmSaS (phần mềm quản lý phân loại B2B)đã mất thị phần cho một người mới. Công cụ của chúng tôi phát hiện trang web giá trị của đối thủ đã được cập nhật với giảm 20% cho kế hoạch hàng năm trong vòng ba giờ thay đổi. Phân tích tình cảm cho thấy khách hàng trên mạng xã hội ăn mừng giảm giá. Chúng tôi lập tức trình bày điều này với khách hàng, những người phù hợp với giảm giá và khởi động một phản hồi hải quân cao cấp của họ. Trong vòng hai tuần, họ lấy lại được 12% cổ phần họ đã mất trong quý trước.
Trình bán lẻ thời trangForward (mid Tiệm kinh doanh điện tử)đã mất đất cho một đối thủ nhanh chóng của cuộc tấn công. Động cơ của chúng tôi đã nhận được một loạt các chính sách vận chuyển từ đối thủ cạnh tranh: đầu tiên họ giảm ngưỡng đóng tàu tự do, sau đó họ thêm một đối tác mới trong cùng một khu vực. Tình cảm xã hội có xu hướng tiêu cực (những người quen than phiền về sự chậm trễ), nhưng động tác của đối phương gợi ý là họ đang cố sửa chữa. Chúng tôi báo cho đội tiếp thị thời trang, họ xoay chuyển tin nhắn để nhấn mạnh sự đáng tin cậy và minh bạch. Tỷ lệ cuộc trò chuyện về sinh học trên “những cuộc tranh luận tự do về phương diện sinh học tăng 18% trong tháng tới.
Trong cả hai trường hợp, chìa khóa là tốc độ. Khoảng cách giữa một hành động cạnh tranh và một cuộc phản cách mạng hàng tuần. Đó là sức mạnh của sự liên tục, sự giám sát của trí tuệ nhân tạo.
Bảng so sánh: Công cụ phân tích đầu với Công cụ Tự chọn
| Tính năng | Crayon | mạng tương tự | Name | Ahrefs | Công cụ tự chọn |
|---|---|---|---|---|---|
| Các kiến thức có sức mạnh | Có (bị giới hạn) | Không | Không | Không | Hoàn toàn được hướng dẫn |
| Trình theo dõi thời gian thực sự | Vâng | Không | Không | Không | Vâng |
| Bảng điều khiển tuỳ chỉnh | Vâng | Vâng | Vâng | Vâng | Name |
| Sự kết hợp mã nguồn dữ liệu | 100+ | 10+ | 50+ | 20+ | Name |
| Giá | $3k+/mo | $199/mo | $119.95/mo | $99/mo | Tự chọn |
| Name | Cơ bản | Không | Không | Không | Comment |
| Tự chọn | Không | Không | Không | Không | Vâng, mỗi ngành công nghiệp |
| Comment | Email cơ bản | Không | Không | Không | Name |
Công cụ của chúng tôi được bao bọc bởi những gói tiền của DG10, vì thế khách hàng xem nó như một phần của chiến lược tổng hợp.
Tìm hiểu thêm về các công cụ AI của chúng tôi phòng tôm
Những thử thách chúng tôi vượt qua được trong việc xây dựng công cụ nghiên cứu thị trường AI
Không có dự án nào trong phạm vi này mà không có trở ngại. Đây là ba thử thách lớn nhất mà chúng tôi phải đối mặt và chúng tôi đã giải quyết như thế nào.
Comment
Các trang web đối chiếu sử dụng các cấu trúc khác nhau một cách điên rồ. Người ta có thể liệt kê giá trong một<bảng>♪ Lại một cái tổ khác ♪<div>Các yếu tố, và thứ ba có thể nhúng nó vào một đối tượng JavaScript. Ngay từ lúc đầu, chúng ta thường bỏ sót toàn bộ các phần hoặc đọc những câu Kinh Thánh không thích hợp. Chúng tôi đã giải quyết vấn đề này bằng cách xây dựng hai đường ống dẫn thời trang:
- Phân tích cấu trúcbằng cách sử dụng thư viện di chuyển HTML để phát hiện các thay đổi trong bố trí.
- Namebằng cách sử dụng một mô hình bố trí được trang trí gọn gàng (phụ thuộc vào Bố trí LMv3) để hiểu cấu trúc hình ảnh của một trang giấy.
Điều này giảm các thay đổi bỏ lỡ từ 20% xuống dưới 3%.
Gương mẫu và tích cực sai lầm
Người mẫu tình cảm đầu tiên của chúng tôi bị lung lay: nó đánh dấu bất cứ thông báo nào của công ty lớn như là “khi di chuyển, ngay cả khi việc di chuyển là nhỏ (như một bài viết blog mới). Điều này làm cho khách hàng choáng ngợp với cảnh báo. Chúng tôi được huấn luyện lại với một bộ dữ liệu cân bằng gồm nhiều người “làm gương tốt về phương diện ngôn ngữ, và chúng tôi đưa ra một yếu tố phân rã... những thay đổi nhỏ từ cùng một đối thủ được trọng lượng thấp hơn. Lượng báo động giảm 60% trong khi duy trì 98% nhớ lại những bước đi thực sự quan trọng.
Comment
Khi chúng tôi phát triển từ 5 đến 50 khách hàng, chồng kiểu kiểu của Kafka MongoDB của chúng tôi bắt đầu hiển thị độ phân giải (dữ liệu ăn chậm lại). Chúng tôi chuyển đếnNhững đề tài của Kafka được phân chia(một trên mỗi ứng dụng khách) và thêmPhân mảnh MongoDBdựa trên ID khách hàng. Chúng tôi cũng thực hiện một bộ nhớ tạm Redis cho những cuộc gọi như “phần lớn đã thay đổi đối thủ tuần này. Kết quả là: mức độ ăn uống trung bình vẫn còn dưới 2 giây ngay cả khi ở mức cao nhất.
Nơi chúng tôi đang nghiên cứu tiếp thị trường AI
Chúng ta không ngừng phân tích văn bản và tình cảm. Đây là bản đồ:
Hỗ trợ đa ngôn ngữ
Nhiều khách hàng của chúng tôi thi đấu toàn cầu, nhưng hầu hết các tin tức cạnh tranh được xuất bản bằng tiếng Anh, Tây Ban Nha, hoặc Pháp. Chúng tôi đang kết hợp dịch thuật viên Microsoft và một phong tục đa ngôn ngữ rất tốt để phân loại các nước trong 10 ngôn ngữ. Chúng tôi dự đoán sẽ chi trả 90% thị trường mục tiêu cho khách hàng vào năm 2026.
Mô hình dự đoán
Chúng tôi đang huấn luyện mộtNameđể dự báo đối thủ di chuyển. Bằng cách cung cấp cho nó những trình tự lịch sử (v. d., “việc chi tiêu hàng tuần hàng đầu làm tăng tính năng phóng điện tử, mô hình sẽ dự đoán hành động tiếp theo với 60% độ chính xác - đủ để điều chỉnh trước khi có sự thay đổi.
Điều chỉnh chiến dịch tự động
Mục tiêu cuối cùng là một vòng phản hồi tự động. Khi công cụ phát hiện giảm giá đối thủ, có thể tự động dừng lại để khách hàng dùng Google Ads để xếp chồng từ khóa và chuyển ngân sách sang các từ khác hoặc phân khúc khán giả. Chúng tôi điều khiển việc này với một nhóm khách hàng được chọn và thấy 27% cải tiến trong chiến dịch thử nghiệm.
Công cụ này biến đổi hoạt động của khách hàng
Kể từ khi triển khai công cụ tuỳ chỉnh, tốc độ tính toán khách hàng đã tăng từ 82% lên 94%. Tại sao? Bởi vì bây giờ chúng tôi cung cấp trí thông minh cạnh tranh có thể hoạt động mỗi tuần mà không cần thêm ngân sách. Các khách hàng thấy đoạn ROI trực tiếp: một khách hàng của hãng hàng không E-Gu-M-ma-ri nhận ra sự yếu kém về chuỗi cung ứng của đối thủ qua việc phân tích tình cảm của chúng ta và xoay chuyển tin nhắn để nhấn mạnh sự đáng tin cậy của họ. Thu nhập từ đó tăng 27% / quý.
HạtNghiên cứu thị trường AIĐộng cơ cũng cắt thời gian nghiên cứu thủ công của chúng tôi 60%. Chúng tôi thường dành 15+ giờ mỗi tháng cho khách hàng chỉ đọc blog và tin tức đối thủ. Bây giờ chúng ta dành thời gian đó chiến lược và xây dựng các chiến dịch. Với một khách hàng SaaS, chúng tôi rút ngắn thời gian từ đối thủ để phản ứng chiến lược từ 10 ngày đến 14 giờ cải tiến 94%.
Chúng tôi cũng giảm chi tiêu quảng cáo trung bình 15% qua danh mục đầu tư khách hàng. Vì biết khi nào một đối thủ cạnh tranh sẽ được thăng chức, chúng ta có thể giảm bớt những điều chỉnh về từ khóa nơi mà chúng ta không thể cạnh tranh với giá cả và thay vào đó tập trung vào các nhà cách ly.
Những câu hỏi thường xuyên
Nghiên cứu thị trường AI là gì?
Nghiên cứu thị trường AI sử dụng máy học và ngôn ngữ tự nhiên xử lý để tự động thu thập dữ liệu và phân tích của đối thủ cạnh tranh, khách hàng và xu hướng thị trường. Nó vượt ra ngoài những nghiên cứu truyền thống bằng cách đưa ra những hiểu biết chính xác về thời gian và cách phân tích tiên đoán.
Công cụ phân tích đối thủ của bạn khác với những công cụ khác như thế nào?
Hầu hết các công cụ cung cấp dữ liệu thô; chúng ta cung cấp bối cảnh. Chúng tôi kết hợp phân tích tình cảm, phát hiện câu chuyện, và đề xuất tự động. Thêm vào đó, vì chúng tôi xây nó trong nhà kính, chúng tôi có thể tùy chỉnh nguồn dữ liệu và mô hình cho ngành công nghiệp của mỗi khách hàng.
Công cụ tiết kiệm được bao nhiêu thời gian?
Các khách hàng của chúng tôi tiết kiệm trung bình 12 tiếng mỗi tuần mà trước đây đã đi thu thập thông tin tình báo thủ công. Các báo động tự động cũng làm giảm quyết định về sự trật tự trong ngày này sang phút khác.
Nó có thể phân tích các phương tiện truyền thông xã hội không?
Phải. Chúng tôi ăn Twitter, làm lại Twitter, và các diễn đàn đặc trưng cho ngành công nghiệp. Mô hình tình cảm của chúng tôi đặc biệt được điều chỉnh để phát hiện những thay đổi về sức khỏe thương mại và phản hồi sớm về các nước cạnh tranh.
Các loại dữ liệu bạn hỗ trợ?
Hầu hết là bất kỳ nguồn nào có thể được lấy hoặc truy cập qua ADI. Chúng tôi hiện đang hỗ trợ 50+ nguồn từ hộp, bao gồm các trang giá cả, nền tảng xã hội, thông báo dây điện, bảng công việc, các trang đánh giá, và thư viện trong suốt quảng cáo (như Facebook Ad Library). Với các nguồn tự chọn, chúng ta có thể xây dựng các mối quan hệ trong vòng hai tuần.
Lời đề nghị chính xác đến mức nào?
Đề nghị hành động của chúng tôi được đánh giá hàng quý với khách hàng. Vào năm 2025, khách hàng đã làm theo 73% đề nghị của chúng tôi, và 80% trong số đó đã đưa đến kết quả kinh doanh tích cực (v. d., tăng phần chia, giảm hoạt động, hoặc cải thiện năng suất).
Làm thế nào để chi phí cho các doanh nghiệp nhỏ hơn?
Công cụ này được đóng gói đầy đủ với các gói dịch vụ lưu trữ của chúng tôi, bắt đầu với $2500/tháng. Những doanh nghiệp nhỏ hơn cũng có thể chọn một “kế hoạch chụp ảnh toàn diện bao gồm các báo cáo hàng tuần và báo động giới hạn, bắt đầu với 750/tháng. Chúng tôi luôn sẵn sàng làm theo phong tục.
Tôi có thể kết hợp nó với bảng điều khiển của tôi không?
Phải. Chúng tôi cung cấp thông báo về hệ thống chăm sóc sức khỏe và webok. Một số khách hàng đã đặt cảnh báo của chúng tôi vào bảng điều khiển hoạt hình của riêng họ hoặc Power BI.
Bắt đầu chương trình nghiên cứu thị trường Al ngày nay
Việc xây dựng công cụ phân tích đối thủ là một trong những công cụ đầu tư tốt nhất mà chúng tôi có tại DG10. Nó đã chứng minh rằngNghiên cứu thị trường AIKhông nhất thiết phải là hộp đen, có thể trong suốt, dễ biến đổi và hòa nhập sâu sắc vào dòng chảy công việc hàng ngày của bạn. Dù bạn mệt mỏi với việc theo dõi sự cạnh tranh bằng tay hoặc chỉ đơn giản là muốn đi đầu thị trường, chúng tôi có thể giúp.
Sẵn sàng tự tạo giải pháp AI riêng chưa? Chúng ta hãy nói chuyện.Chúng tôi sẽ phân tích tiến trình tình báo đối thủ hiện tại của bạn và cho bạn thấy chính xác nơi AI có thể tiết kiệm thời gian và tiền bạc.
Tất cả các thống kê liên quan đến dữ liệu thị trường và các khả năng công cụ được dựa trên thông tin công khai và tiêu chuẩn nội bộ của chúng tôi vào ngày 20 tháng 6 năm26. Giá cho công cụ thứ 3 của Đảng này là từ các trang web chính thức và có thể thay đổi.
Tiếp tục đọc
Nếu hướng dẫn này giúp ích, chúng đi sâu hơn vào hệ thống đằng sau nó: