HTTP2 Json 로그의 파일 구조 / json parsing 알고리즘 짜기

아주 긴 네트워크 로그 이지만 간단한 구조를 살펴보니,  아래와 같았다.

params의 정보들이 다른 경우가 꽤 있었다.

그래서 해당 값의 내부에 접근 시에는 "try~ except~" 문을 사용하여서 예외처리를 해주었다. 

{

"constants" : {},

"events": {[
 	{ 
    	"params": {}   
        "phase": 
        "source": {
                "id": 
                "start_time": 
                "type":
         },
         "time": 
         "type":
     } , {} ,{} ,{} ,{}
]},

"polledData":{}

 

 

첫번째 "constants"

: "constants" Key값의 Value값은 아래 사진 같은 키값으로 분류되어 있었고,

value값인 int 로 아래에 기록 되는 부분을 볼 수 있다. 원하는 값에 대해서만 확인을 해두었다.

언제든지 아래에서 모르는 숫자 코드가 있으면 VSCode 에서는 (⌘ + G) 로 해당 숫자 코드를 검색해서 무엇을 뜻하는지 찾아보면 수월해진다.

"constants"의 value 들

 

두번째 "events"

: events라는 키 안에는 아래와 같이 들어가있고, 

params 태그가 아예 없는 경우 도 있다. 또한 params안에 값들이 다른 경우도 있다. (아래에 코드 첨부)

이 부분에 원하는 정보가 모두 있다. 

"events" 안에 들어 있는  [ {}, {}, {}]

다양하게 생긴 params 의 형태

 

세번째  "polledData" 

: 라는 키 안에는 아래와 같이 들어가있다.

polledData 의 value

 

---

내가 생각하고 있는 서비스에서 우리는 원하는 호스트 값을 입력 받는다. ( 예: "dojii.shop" )

json 파일을 보니 해당 호스트 주소 값마다 source_id 로 구분되어서 "events" 부분에서 볼 수 있다.

---

HTTP2_SESSION_SEND_HEADERS 에 대한 정보의 시간을 찾아야 한다.

"HTTP2_SESSION_SEND_HEADERS": 188,

그리고, HTTP2_SESSION_RECV_DATA --> fin = true 에 대한 정보의 시간을 찾아야 한다.

"HTTP2_SESSION_RECV_DATA": 205,

 

같은 host 네임일 시에, source에서 id가 323457로 같다. 

 

---

🤔 결론적으로 어떻게 알고리즘을 짜야 할까? 

1. 사용자에게 호스트 명(dojii.shop)을 입력 받는다. 

2. json 에서 모든 이벤트 요소를 살펴 보는데, 호스트명이 나오면 해당 source의 id 값을 저장해 둔다.

3. 저장한 이후 부터는 source id가 323457 인 것만 볼 수 있도록 한다.

4. 그 이후 에는 source id 가 323457 인데, params 의 fin 이 true 인 것을 확인한다.

5.  start_time 과 "time" 에 대한 개념이 있다. 이 차가 st 값이므로 해당 두가지 값의 차를 갱신한다.

6.  가장 자중에 나온 6번값이 가장 마지막 요소에 대해 받은 값이므로 끝날때까지 갱신한다.

7.  (위와 같은 경우) first_sent 는 542113910 , last_sent는 542113918 으로 차값은 8이다.

8. DB 내에 3가지 정보를 모두 담는다. 

9. 그래프의 값으로는 8 값을 담는다.

---

👩🏻‍💻 짠 알고리즘

: 장고와 연결해줘야 하는 부분은 빼고, 동작방식만 구현한 부분이다. (위의 2번~ 7번)

# polledData 에 있는 SpdySessionInfo 에서 해당 source_id 값을 가져온다.

import json 

user_input_host = "dojii.shop" # 장고 값에서 가져와야함
user_host_id = 0 # temp 값
result_send = 0
result_recv = 0
result_diff = 0

'''파일에서 해당 url 에 대한 '''
with open('/Users/dojiyeong/Desktop/capstone/http2/http_2.0_imgS_1.json','r') as f:
    json_data = json.load(f)
    
# 원하는 호스트에 대해서 source_id 구하기
for data in json_data['polledData']['spdySessionInfo']:
    if(user_input_host in data['host_port_pair']):
        user_host_id = data['source_id']
        # print(data['source_id'])
        
# 205 == HTTP2_SESSION_RECV_DATA, 188 == HTTP2_SESSION_SEND_HEADERS
for data in json_data['events']:
    try:
        temp_param = data['params']
        temp_source = data['source']
        temp_type = data['type']
        temp_time = data['time']
        
        if(temp_source['id'] == user_host_id):
            if(temp_type == 205):
                if (temp_param['fin'] == True):
                    start = int(temp_source['start_time'])
                    last = int(temp_time)
                    diff = last - start
                    
                    result_send = start
                    result_recv = last
                    result_diff = diff
 
    except:
        pass

print("first_send : "+ str(result_send))
print("last recv : " + str(result_recv))
print("result time : " + str(result_diff))