DTW 기반 에너지 사용량 보정 | Python 데이터 분석

# 데이터 불러오기 data.loc[data['Date'] == '2024-08-26'] # datetime 형식 인덱스 생성 data['Datetime'] = data['Date'] + ' ' + data['Time'] data['Datetime'] = pd.to_datetime(data['Datetime']) data.set_index('Datetime', inplace=True) # data.head() # 문제 구간 시간 정의 : 변수에 저장 missing_start = '2024-08-26 10:00:00' missing_end = '2024-08-26 15:00:00' # 문제 구간의 시간 정보를 리스트에 저장 time_missing = data.loc[missing_start: missing_end,'Time'].to_list() time_missing # 10:00:00 - 15:00:00 # 문제 구간의 인덱스 번호를 저장 time_missing_num = data.loc['2024-08-01 00:00:00' : '2024-08-01 23:45:00','Time'].reset_index() time_missing_num = time_missing_num[time_missing_num['Time'].isin(time_missing) == True].index time_missing_num = list(time_missing_num) time_missing_num # 40 - 60 # 10시부터 15시 데이터 합계변수에 저장 missing_sum = data.loc[missing_start : missing_end,'Usage'].sum() missing_sum # 414.4869221786749 # 문제 발생 현상 가정 : 해당 구간 삭제, NULL 처리, 보간법 이용 # 해당 구간의 데이터를 삭제한 경우 day_usage_missing = data.loc[data['Date'] == '2024-08-26', 'Usage'].drop(data.loc[missing_start : missing_end,].index) # 데이터가 Null인 경우 : 유사도 계산 시 거리 NULL 출력 # day_usage_missing = data.loc[data['Date'] == '2024-08-26', 'Usage'] # day_usage_missing.loc[missing_start : missing_end] = np.nan # 해당 구간에 선형 보간을 한 경우 : 선형보간. 시계열 보간, 다항보간을 시도함 # 선형보간과 시계열 보간은 차이가 없었고, 다항 보간 결과는 음수가 발생되었다. # day_usage_missing = data.loc[data['Date'] == '2024-08-26', 'Usage'] # day_usage_missing.loc[missing_start : missing_end] = np.nan # day_usage_missing = day_usage_missing.interpolate(method='polynomial', order = 3) # day_usage_missing.info() # day_usage_missing.loc[missing_start : missing_end] # 전체 과거 데이터를 리스트 형식으로 저장 reference_series_list = [] for day in data['Date'].unique(): # 문제 구간의 날짜와 같은 경우 리스트에서 제외 if day == '2024-08-26': continue # 날짜 기준으로 데이터 필터링 day_data = data[data['Date'] == day] # 같은 날짜의 사용량 필터링 day_usage_no_missing = day_data['Usage'] # 리스트에 저장 reference_series_list.append(day_usage_no_missing) # 참조 데이터 배열 구조 확인 reference_series_array = np.array(reference_series_list) reference_series_array.shape # (30, 96) # 문제 구간 데이터 배열 구조 확인 np.array(day_usage_missing.values).shape # (75, ) # dtw 패키지 설치 !pip install dtaidistance # dtw 알고리즘 불러오기 from dtaidistance import dtw # DTW를 사용하여 가장 유사한 상위 5개 구간 찾기 top_n = 5 # 데이터 유사도 계산 함수 정의 def find_top_n_similar_patterns_dtaidistance(target_series, reference_series_list, top_n): distances = [] for ref_series in reference_series_list: # 1차원 배열로 변환 ref_series_values = np.array(ref_series).flatten() # 참조 데이터 날짜 구하기 day = ref_series.index[0].date() # print(day) # DTW 거리 계산 distance = dtw.distance(target_series, ref_series_values) distances.append((day, ref_series_values, distance)) # 거리가 가장 작은 N개의 패턴 선택 distances.sort(key=lambda x: x[2]) # 거리 기준으로 정렬 top_n_patterns = [dist[1] for dist in distances[:top_n]] # 상위 N개 패턴 추출 top_n_day = [dist[0] for dist in distances[:top_n]] # 참조 데이터 날짜 추출 return top_n_day, top_n_patterns, distances[:top_n] # 유사한 상위 N개 구간 찾기 target_series_values = np.array(day_usage_missing.values).flatten() top_n_day, top_n_patterns, top_n_distances = find_top_n_similar_patterns_dtaidistance(target_series_values, reference_series_list, top_n) # 유사도가 높은 시계열 합계 day_sum = [] for i in range(len(top_n_patterns)): day_sum.append(top_n_patterns[i].sum()) day_sum # 1903.8395197691166,1913.170950312985, 1885.736269642547, 1954.4214128181347, 1856.0490721363353 # 데이터 복사 top_n_patterns_origin =top_n_patterns.copy() # 15분 단위 사용량 비율 구하기 for i in range(len(top_n_patterns)): top_n_patterns[i] = top_n_patterns[i]/day_sum[i] top_n_patterns, top_n_patterns_origin # 15분 단위 사용량 평균 및 중앙값 비율 계산 dtw_average_pattern = np.mean(top_n_patterns, axis=0) dtw_median_pattern = np.median(top_n_patterns, axis=0) dtw_average_pattern, dtw_median_pattern # 평균 비율을 이용한 보정값 계산 mean_corrected_values = dtw_average_pattern[time_missing_num[0]:time_missing_num[-1]+1] * missing_sum # 중앙값 비율을 이용한 보정값 계산 median_corrected_values = dtw_median_pattern[time_missing_num[0]:time_missing_num[-1]+1] * missing_sum mean_corrected_values, median_corrected_values # 문제 구간의 합계와 보정 값 차이 구하기 # 평균 diff_mean = abs(missing_sum - mean_corrected_values.sum()) # 중앙값 diff_median = abs(missing_sum - median_corrected_values.sum()) diff_mean, diff_median # 325.8081189208989, 325.3765464309829 # 특정 구간 가중치 구하기 # 유사도가 높은 구간 평균 top_n_patterns_mean = np.mean(top_n_patterns_origin, axis =0) # 특정 구간 10:00~ 15:00 합계 sum_10to15 = top_n_patterns_mean[time_missing_num[0]:time_missing_num[-1]+1].sum() # 가중치 sum_10to15_ratio = top_n_patterns_mean[time_missing_num[0]:time_missing_num[-1]+1] / sum_10to15 sum_10to15_ratio # 문제 구간의 합계와 보정 값 차이에 가중치 반영해주기 diff_mean_10to15 = sum_10to15_ratio * diff_mean diff_median_10to15 = sum_10to15_ratio * diff_median diff_mean_10to15, diff_median_10to15 # 시각화 및 오차율 계산을 위한 데이터 # 원본 값 추가 day26data = data.loc['2024-08-26 00:00:00':'2024-08-26 23:45:00','Usage'].reset_index() # 평균 보정값 컬럼 생성 후 원본 값 추가 day26data.loc[:, 'Mean_corrected'] = day26data['Usage'] # 중앙값 이용 보정값 컬럼 생성 후 원본 값 추가 day26data.loc[:, 'Median_corrected'] = day26data['Usage'] day26data.set_index('Datetime', inplace=True) # 문제 구간에 평균값, 중앙값 이용 보정 결과 추가 day26data.loc['2024-08-26 10:00:00' : '2024-08-26 15:00:00', 'Mean_corrected'] = mean_corrected_values + diff_mean_10to15 day26data.loc['2024-08-26 10:00:00' : '2024-08-26 15:00:00', 'Median_corrected'] = median_corrected_values + diff_median_10to15 day26data.loc['2024-08-26 09:00:00' : '2024-08-26 16:00:00',] # 평균 기반 보정값의 오차 계산 day26data['Mean_Error'] = day26data['Usage'] - day26data['Mean_corrected'] day26data['Mean_Absolute_Error'] = abs(day26data['Mean_Error']) day26data['Mean_Percentage_Error'] = (day26data['Mean_Absolute_Error'] / day26data['Usage']) * 100 # 중앙값 기반 보정값의 오차 계산 day26data['Median_Error'] = day26data['Usage'] - day26data['Median_corrected'] day26data['Median_Absolute_Error'] = abs(day26data['Median_Error']) day26data['Median_Percentage_Error'] = (day26data['Median_Absolute_Error'] / day26data['Usage']) * 100 # 평균 오차율, MAE, MSE 계산 mean_mae = day26data.loc[missing_start:missing_end, 'Mean_Absolute_Error'].mean() mean_mse = (day26data.loc[missing_start:missing_end, 'Mean_Absolute_Error'] ** 2).mean() mean_percentage_error = day26data.loc[missing_start:missing_end, 'Mean_Percentage_Error'].mean() median_mae = day26data.loc[missing_start:missing_end, 'Median_Absolute_Error'].mean() median_mse = (day26data.loc[missing_start:missing_end, 'Median_Absolute_Error'] ** 2).mean() median_percentage_error = day26data.loc[missing_start:missing_end, 'Median_Percentage_Error'].mean() # 오차율 계산 결과 (mean_mae, mean_mse, mean_percentage_error), (median_mae, median_mse, median_percentage_error) # (5.103125426633748, 36.509329674711395, 28.727154797337146), (5.135126110188547, 37.882991916545784, 28.837145599275107) # 원본 데이터, 평균 기반 보정값, 중앙값 기반 보정값 시각화 import matplotlib.pyplot as plt plt.figure(figsize=(14, 7)) plt.plot(day26data.index, day26data['Usage'], label='Original', color='green') plt.plot(day26data.index, day26data['Mean_corrected'], label='Mean Corrected Usage', linestyle='--', color='blue') plt.plot(day26data.index, day26data['Median_corrected'], label='Median Corrected Usage', linestyle='dashdot', color='orange') plt.axvspan(missing_start, missing_end, color='red', alpha=0.1, label='Missing Period') plt.title('Original vs Mean Corrected vs Median Corrected Usage') plt.xlabel('Time') plt.ylabel('Usage (kWh)') plt.xticks(rotation=45) plt.legend() plt.grid() plt.show() # DTW 유사도 측정 결과 시각화 import matplotlib.pyplot as plt # 00:00부터 23:45까지의 시간 인덱스 생성 time_index = pd.date_range(start='00:00', end='23:45', freq='15T').strftime('%H:%M') # 대상 시계열 데이터 target_series_values = np.array(day26data['Usage'].values).flatten() # DTW로 찾은 상위 5개의 시계열 패턴 top_n_patterns_values = [np.array(pattern).flatten() for pattern in top_n_patterns_origin] # 시각화 plt.figure(figsize=(14, 7)) # 대상 시계열 데이터 시각화 plt.plot(time_index, target_series_values, label='Original', color='blue') # 상위 N개의 참조 시계열 데이터 시각화 for i, pattern in enumerate(top_n_patterns_values): plt.plot(time_index, pattern, linestyle='--',marker = '+', label= top_n_day[i], alpha=0.6) # 누락된 구간 강조 (대상 데이터의 누락 구간을 음영 처리) plt.axvspan('10:00', '15:00', color='red', alpha=0.2, label='Missing Period') # 그래프 설정 plt.title('Original vs TOP 5 Reference (DTW)') plt.xlabel('Time') plt.ylabel('Usage (kWh)') plt.xticks(rotation=45) plt.legend() plt.grid(True) plt.tight_layout() # 그래프 출력 plt.show()