數據采集設計會議紀要

時間：2022-07-06 03:37:53 會議紀要我要投稿

數據采集設計會議紀要

　　主要思路

數據采集設計會議紀要

　　1. 數據的分析整理主要放在客戶端實現，以減少服務端的壓力;

　　2. 服務端主要以組裝和轉存實現為主。

　　服務端：

　　1. 處理步驟

　　(1)Socket監聽端口

　　(2)接收數據

　　(3)處理數據

　　2. 主要問題

　　(1)多線程

　　每個數據傳輸啟動一個線程，做好線程管理;

　　要考慮穩定性，避免內存泄露。

　　(2)大數據量數據庫更新

　　通過塊提交提高數據庫轉存性能，縮短轉存時間;

　　考慮如何避免庫鎖。

　　客戶端：

　　1. 設備數據傳輸

　　(1)設備數據文件內容變化判斷

　　設備數據的分析處理很費時間，每次傳輸數據時都要對設備數據文件進行分析壓力很大。考慮到設備數據變化的概率很小，但有的廠家不管設備數據變沒變，都要生成新的設備數據文件，所以要開發一個文件變化快速比較功能;

　　方法有：一是特征碼比較;二是轉換成ASCII比較;三是轉換成二進制或十六進制比較;四是轉換成MD5碼比較。

　　2. 實時數據傳輸

　　(1)字典表

　　客戶端取得字典表，進行數據分析。

　　(2)數據比較

　　通過數據庫臨時表，比較得出新增和修改的數據。

　　3. 數據傳輸過程中，數據丟失驗證

　　下一步計劃：

　　1. 數采開發周期一個半月;

　　2. 進行設計評審;

　　3. 數采客戶端DotNet實現，xxx負責;

　　4. 數采服務端Java實現，xxx負責。

【數據采集設計會議紀要】相關文章：