sum(complete.cases(saledata))         #is.na(saledata) 

sum(!complete.cases(saledata)) 

mean(!complete.cases(saledata))       #1/201數(shù)字，缺失值比例 

saledata[!complete.cases(saledata),]  #篩選出缺失值的數(shù)值 

sp=boxplot(saledata$"銷量",boxwex=0.7) 

title("銷量異常值檢測箱線圖") 

xi=1.1 

sd.s=sd(saledata[complete.cases(saledata),]$"銷量") 

mn.s=mean(saledata[complete.cases(saledata),]$"銷量") 

points(xi,mn.s,col="red",pch=18) 

arrows(xi,mn.s-sd.s, xi,mn.s+sd.s, code=3, col="pink",angle=75, length=.1) 

text(rep(c(1.05,1.05,0.95,0.95),length=length(sp$out)),labels=sp$out[order(sp$out)], 

sp$out[order(sp$out)]+rep(c(150,-150,150,-150),length=length(sp$out)),col="red") 

par(mfrow=c(1,2))#將繪圖窗口劃為1行兩列，同時顯示兩圖 

dotchart(inputfile$sales)#繪制單變量散點圖

pc=boxplot(inputfile$sales,horizontal=T)#繪制水平箱形圖 

#異常數(shù)據(jù)處理 

q1<-quantile(result$tot_derog,0.001)  #取得1%時的變量值 

q99<-quantile(result$tot_derog,0.999)#replacementhas 1 row, data has 0 說明一個沒換 

result[result$tot_derog<q1,]$tot_derog<-q1 

result[result$tot_derog>q99,]$tot_derog<-q99 

summary(result$tot_derog)   #蓋帽法之后，查看數(shù)據(jù)情況 

fix(inputfile)#表格形式呈現(xiàn)數(shù)據(jù) 

which(inputfile$sales==6607.4)#可以找到極值點序號（位置）是啥 

把缺失值數(shù)據(jù)集、非缺失值數(shù)據(jù)集分開。

#缺失值的處理 

inputfile$date=as.numeric(inputfile$date)#將日期轉(zhuǎn)換成數(shù)值型變量 

sub=which(is.na(inputfile$sales))#識別缺失值所在行數(shù) 

inputfile1=inputfile[-sub,]#將數(shù)據(jù)集分成完整數(shù)據(jù)和缺失數(shù)據(jù)兩部分 

inputfile2=inputfile[sub,] 

# Install WHO library

install.packages("WHO")

library(WHO)

# Getting data

codes<-get_codes(extra=FALSE)

# Access corresponding data

dfDeathsMalaria<-get_data("MDG_0000000016")

#異常值識別

par(mfrow=c(1,2))

dotchart(dfDeathsMalaria$value)

boxplot(dfDeathsMalaria$value,horizontal=T)

#異常值處理

#1 刪除法移除所有含有異常數(shù)據(jù)的行subB=which(dfDeathsMalaria$value>150)

dfDeathsMalariaB1=dfDeathsMalaria[-subB,]#去除包含異常值的集

dfDeathsMalariaB2=dfDeathsMalaria[subB,]  #異常數(shù)據(jù)集

#2 替換為缺失值，再用所在屬性的均值替換

dfDeathsMalariaB2$value=NA

# 平均值修正（利用所在鄰接區(qū)域的平均值）例如

#3 數(shù)據(jù)平滑-分箱，選擇非洲區(qū)的子集（分箱標(biāo)準(zhǔn)）

subC=which(dfDeathsMalaria$region=="Africa")

dfDeathsMalariaC2=dfDeathsMalaria[subC,]

#取平均值

averageAfrica=mean(dfDeathsMalariaC2$value)

dfDeathsMalariaB2$value=averageAfrica

result3=rbind(dfDeathsMalariaB1,dfDeathsMalariaB2)

#平滑后的箱圖

par(mfrow=c(1,2))

boxplot(dfDeathsMalaria$value,horizontal=T,main="Rawdata")

boxplot(result3$value,horizontal=T,main="Datasmoothing")

#均值替換法處理缺失，結(jié)果轉(zhuǎn)存 

#思路：拆成兩份，把缺失值一份用均值賦值，然后重新合起來 

avg_sales=mean(inputfile1$sales)#求變量未缺失部分的均值 

inputfile2$sales=rep(avg_sales,n)#用均值替換缺失 

result2=rbind(inputfile1,inputfile2)#并入完成插補(bǔ)的數(shù)據(jù) 

#回歸插補(bǔ)法處理缺失，結(jié)果轉(zhuǎn)存 

model=lm(sales~date,data=inputfile1)#回歸模型擬合 

inputfile2$sales=predict(model,inputfile2)#模型預(yù)測 

result3=rbind(inputfile1,inputfile2) 

#多重插補(bǔ)法處理缺失，結(jié)果轉(zhuǎn)存 

library(lattice)#調(diào)入函數(shù)包 

library(MASS) 

library(nnet) 

library(mice)#前三個包是mice的基礎(chǔ) 

imp=mice(inputfile,m=4)#4重插補(bǔ)，即生成4個無缺失數(shù)據(jù)集 

fit=with(imp,lm(sales~date,data=inputfile))#選擇插補(bǔ)模型 

pooled=pool(fit) 

summary(pooled) 

result4=complete(imp,action=3)#選擇第三個插補(bǔ)數(shù)據(jù)集作為結(jié)果 

imp$imp$sales 

Data=read.csv(".data.csv",header=T)[,2:4] 

Data=scale(Data) 

set.seed(12) 

km=kmeans(Data,center=3) 

print(km) 

km$centers  #每一類的均值點 

#各樣本歐氏距離，每一行 

x1=matrix(km$centers[1,], nrow=940, ncol=3, byrow=T) 

juli1=sqrt(rowSums((Data-x1)^2)) 

x2=matrix(km$centers[2,], nrow=940, ncol=3, byrow=T) 

juli2=sqrt(rowSums((Data-x2)^2)) 

x3=matrix(km$centers[3,], nrow=940, ncol=3, byrow=T) 

juli3=sqrt(rowSums((Data-x3)^2)) 

dist=data.frame(juli1,juli2,juli3) 

##歐氏距離最小值 

y=apply(dist,1, min) 

plot(1:940,y,xlim=c(0,940),xlab="樣本點",ylab="歐氏距離") 

points(which(y>2.5),y[which(y>2.5)],pch=19,col="red")