本申請涉及一種數(shù)據(jù)去重方法、裝置、設(shè)備、介質(zhì)和產(chǎn)品。該方法包括:從CDN日志獲取當(dāng)前批數(shù)據(jù),當(dāng)前批數(shù)據(jù)包括多個原始數(shù)據(jù);對各原始數(shù)據(jù)進(jìn)行解析處理,得到各原始數(shù)據(jù)對應(yīng)的解析數(shù)據(jù),解析數(shù)據(jù)包括維度數(shù)據(jù)、度量指標(biāo)數(shù)據(jù)、處理時間和位置數(shù)據(jù);在當(dāng)...