文檔是知識傳遞的載體，無論是大模型應用發展，還是與產業數字化息息相關的高質量數據庫的建立，都離不開對于文檔數據的處理和分析。目前，越來越多的開發者開始關注文檔數據處理背后的“文檔解析”技術，用以實現自動化數據提取、優化大模型訓練、開發智能文檔處理應用。
近期，第五屆長沙·中國1024程序員節在湖南長沙舉行。大會由湖南省工業和信息化廳、湖南湘江新區管理委員會、長沙市工業和信息化局、長沙信息產業園管委會和 CSDN 聯合打造。大會期間，合合信息面向廣大開發者，開放智能文檔處理“百寶箱”系列產品(簡稱“百寶箱”)免費體驗。“百寶箱”覆蓋文檔處理流程多節點，支持批量、高效、準確解析多種版式的文檔材料，解決文檔解析精度低、解析效果評估難和大模型幻覺等問題，助力技術人員實現個性化、高效率的文檔類應用開發工作。
“百寶箱”為文檔應用開發提供個性化工具
文檔處理包含解析界面可視化、提取關鍵信息、解析效果測評等多個流程，每一節點都影響著數據解析的精度。在長沙·中國1024程序員節《模型與工具》論壇上，合合信息智能創新事業部研發總監常揚介紹了智能文檔處理“百寶箱”三大產品，用維護穩定、持續更新、可用性強的AI工具幫助開發者解決難題。
圖說 長沙·中國1024程序員節《模型與工具》論壇現場
據常揚介紹，對于廣大技術人員而言，一款能夠“開箱即用”的工具能夠讓開發事半功倍。為解決個人及中小型企業技術人員在開發過程中遇到的“水土不服”問題，合合信息發布了一組文檔解析界面前端可視化組件，開發者可使用相關界面對解析效果進行交互，包括提取各類解析元素，定位解析元素在文檔中的位置，還原展示各級目錄樹等。此外，相關組件還支持對結果進行編輯修正，方便使用者實現更高精度的解析效果，進行個性化開發。
圖說 文檔解析可視化前端界面
在文檔處理及大模型RAG應用時，文本向量模型對于檢索質量和效率至關重要。“百寶箱”開源了合合信息自研的文本向量模型代碼——acge模型，曾于2024年3月榮登C-MTEB榜單第一名，支持長文檔嵌入檢索，兼顧效率和性能，有效提升大模型RAG應用效果。目前在開源機器學習社區和模型庫Hugging Face平臺上，acge模型單月下載量達30,423，助力越來越多的開發者優化大模型性能。
本次大會上，“百寶箱”還為文檔解析工具的篩選配備了“游標卡尺”。當前市面上的文檔解析產品效果缺乏統一標準，為選擇一款合適的工具，開發者們要花費較長的時間進行對比測試。“百寶箱”中的“文檔解析測評工具”從表格、段落、標題、閱讀順序、公式等多維度，為文檔解析工具篩選提供定量測評依據及服務，并提供雷達圖等可視化形式，方便開發者直觀地看到文本識別、解析和翻譯的結果，節省篩選時間。
圖說 表格數據解析效果測評指標
文檔智能解析為專業知識庫建設“打好地基”
技術只有和具體業務實踐相結合才能創造價值，在大會上，常揚分享了“智能文檔處理百寶箱”在知識庫搭建、智能文檔抽取、大模型預訓練語料與數據治理快速入庫以及文檔翻譯場景中的深度應用。
以工程制造業為例，知識庫的建立需要對產品設計方案、技術規格書、工藝流程圖、國家標準文件等在內的多版式文檔進行分析，數據處理難度高。借助“百寶箱”及合合信息智能文檔處理技術，開發者可以篩選出合適的文檔解析工具并實現對復雜文檔信息的精準提取。面對數據來源不一致、數據更新不及時等問題，開發者還可以使用acge模型優化知識庫信息構建、檢索和查詢效果。
除了中文文檔，包括生物醫藥、金融、外貿等行業在內的專項知識庫還存在解析、翻譯多語種文檔的需求。不同語種之間不僅字體字形之間存在巨大差異，復雜語句切分也是一大難題。據悉，“百寶箱”可在保留文檔原有格式的基礎上做到批量、精確區分并提取多語種信息，前端組件提供審校修正功能，用戶可直接在界面上對解析結果進行優化，助力提高翻譯質量。未來，合合信息智能文檔處理“百寶箱”將始終追求更高的效率與準確率，從文檔解析到效果測評，為知識庫產品開發提供有力支持。
圖說 “百寶箱”在文檔翻譯場景中的應用
免責聲明：以上內容為本網站轉自其它媒體，相關信息僅為傳遞更多信息之目的，不代表本網觀點，亦不代表本網站贊同其觀點或證實其內容的真實性。如稿件版權單位或個人不想在本網發布，可與本網聯系，本網視情況可立即將其撤除。
鄭重聲明：本文版權歸原作者所有，轉載文章僅為傳播更多信息之目的，如作者信息標記有誤，請第一時間聯系我們修改或刪除，多謝。
