隨著傳統通訊和物聯網技術全麵融入社會生活，人類已經進入了智能化新紀元，海量的數據正越來越清晰的刻畫著社會的方方麵麵，讓人們充分意識到了海量數據中蘊藏的巨大價值。但“數據海量，信息缺乏”是大多數企業所麵對的尷尬。因此數據已經成為一種商業資本，一項重要的經濟投入。政府、企業都在研究如何從海量數據中獲得新的認知、新的方法，創造新的價值。

   據相關機構調研截至2014年，數據通訊量已經從TB （1024GB=1TB）級別躍升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB（1024EB=1ZB）級別。國際數據公司（IDC）的研究結果表明，2001年全球產生的數據量為0.49ZB，2009年的數據量為0.8ZB，2010年增長為1.2ZB，2011年的數量更是高達1.82ZB，相當於全球每人產生200GB以上的數據。如此海量的數據如何接入采集？如何精確提取？勢必成為各企業麵臨的巨大挑戰。

   要成功實現對海量數據的價值挖掘，網絡數據可視化管控設備來對流量進行預處理和精細管控等方式無疑是基石及助推器，成都AG视讯通信公司潛心研發推出的NT-FTAP-40XG-DPI智能高密度10G網絡數據可視化管控設備，采用國產自主網絡交換芯片，用於10G鏈路流量采集、匯聚、過濾、分流、負載均衡等自由導向輸出的一款全新產品；該設備內置DPI深度報文分析引擎，在完成傳統分流器流量采集的同時，可將各對數據包的淨荷部份內容進行深度分析。進而對報文流進行流的標識，識別各種應用層協議的流量，從而執行基於流的靈活導向，精確定製輸出接口的流量類型，進一步滿足各類分析設備數據挖掘、協議分析、信令分析等流量監控所需流量。

   NT-FTAP-40XG-DPI流處理過程可以分為三個階段。其中數據接入是數據的采集匯聚階段；深度報文識和數據流處理是數據的預處理階段；最後按需轉發和流量統計呈現為最終的輸出階段。
1)在數據的采集匯聚階段：負責將分散的GE鏈路和10G鏈路通過分光、旁路鏡像等方式進行采集。

2)在數據的預處理階段:數據預處理階段為整個過程最為關鍵的階段,NT-FTAP-40XG-DPI采用ASIC硬件設計和DPI深度報文分析引擎等技術，其中DPI深度報文分析模塊將數據流作為對象事件，使得用戶能夠實時掌握上層應用的運行狀況並采取轉發動作。

3)在數據的輸出階段:是用戶需求的呈現階段，不僅僅隻關注流的按需分配結果，而是更加智能、簡便及順暢的展現設備上的任意接口的流量圖表，能夠以多種形式對接口的流量曆史趨勢圖及當前流量趨勢圖進行展現。

   如上圖所示NT-FTAP-40XG-DPI的典型應用之一：采集分光設備的N條10G以太網分光鏈路，每條單纖連至NT-FTAP-40XG-DPI的輸入端口（RX側）；NT-FTAP-40XG-DPI將輸入流量進行匯聚按預配置規則處理之後，可采用複製/匯聚/分流/過濾等方式輸出至後台流量分析係統。   
   NT-FTAP-40XG-DPI 10G智能網絡數據可視化管控設備采用HASH算法進行流量分流時，可依據幀的MAC信息、IP信息、端口號、協議等信息進行Hash分流，以保證每台審計係統接收到數據流的會話完整性，分流端口組成員在鏈路狀態發生變化時可靈活退出（鏈路DOWN）或加入（鏈路UP），分流組自動重新分配流量，保證端口輸出流量的動態負載均衡。

   NT-FTAP-40XG-DPI 10G智能網絡數據可視化管控設備支持多種流量標識策略與流量導向/分流策略，可支持報文過濾匹配如：SMAC、DMAC、SIP、DIP、Sport、Dport、TTL、SYN、ACK、FIN等報文特征、以太網類型字段及值、IP協議號、TOS等L2-L7層報文特征，支持多達64K條過濾規則靈活組合，並支持支持逐流過濾、會話跟蹤、3G/4G隧道內外層IP識別、視頻流識別、P2P數據識別、數據庫識別、聊天工具識別、HTTP協議識別、流標識、流重組等DPI功能；可根據不同的標識類型執行流量導向輸出到1-N個輸出接口。

   整個過程中，大數據涉及到的技術繁多，同時也日新月異，技術總在不斷地演進。成都AG视讯作為網絡數據可視化管控設備行業中的標兵，一直致力於網絡分流器的研發工作，為大數據整體技術的演進起到了推動作用。