Techdata VINA 지식 공유

Exadata Critical Issue EX22: 윤초 시간 조정에 Node Crash

Image 12.1.2.1.0 버전에서 Default NTP가 설치된 경우 윤초 조정시 Cellsrv가 재시작 되는 현상

1.이슈 설명

• Image 12.1.2.1.0 버전에서 NTP에 의해 윤초 시간 조정 작업 발생시 bug 20509822로 인해 다음과 같은 메시지가 발생하며 Cellsrv 프로세스들이 동시에 재시작 될 수 있음. 이는 Storage서버에서 발생하는 현상이며 DB서버의 경우 NTP를 사용하는 추가적인 소프트웨어를 설치한 경우 해당 소프트웨어는 영향을 받을 수 있음

Cellsrv will have to be restarted, since backward drift in time was more than 300 milliseconds

ORA-600: internal error code, arguments: [ossmisc:ossmisc_timer_ticks]

• 발생 시점

- 2016년 12월 31일 23:59:60(UTC) => 2017년 01월 01일 08:59:60(KST)

- 2015년 06월 3일 23:59:60(UTC) => 2015년 07월 01일 08:59:60(KST)

2. 발생대상

• 다음의 조건을 모두 만족하는 경우 발생

- Exadata Image: 12.1.2.1.0 (타 버전은 해당하지 않음)

- NTP: ntp-4.2.6p5-1.el6 (12.1.2.1.0에 포함된 Default 버전)

• 발생 대상 장비

- Exadata Storage Server

- Exadata Database Server (직접적인 영향은 없으나 추가적인 소프트웨어를 설치한 경우에 해당함)

3. 해결 방안

• Image 12.1.2.1.1(2015년 3월 24일 출시) 이상으로 업그레이드

- 현재 권장 Image 버전: 12.1.2.3.3.161109 (2016년 11월 18일 공식출시)

• 다음의 절차에 따라 NTP 패키지 업데이트(Storage 서버 및 DB 서버)

Step 1 – ntpdate 서비스 On 설정

Step 2 – 설치된 Exadata Image 버전 및 NTP 패키지 버전 확인

Step 3 – 현재 NTP Time Offset값 확인

Step 4 – 신규 NTP 패키지 다운로드

Step 5 – 신규 NTP 패키지 설치

Step 6 – 설치된 버전 확인

• 조치사항 상세 명령어는 다음 페이지 확인

[참고]Leap Second Time Adjustment and Its Impact on Exadata Database Machine (Doc ID 1986986.1)

* Database / Storage node 공통

**반드시 서버 한대씩 확인하며 수행할 것

Step 1 – ntpdate 서비스 On 설정

root# chkconfig ntpdate on

root# chkconfig --list ntpdate

ntpdate 0:off 1:off 2:on 3:on 4:on 5:on 6:off

Step 2 – 설치된 Exadata Image 버전 및 NTP 패키지 버전 확인

root# imageinfo -ver

12.1.2.1.0.141206.1

root# rpm -q ntp

ntp-4.2.6p5-1.el6.x86_64

-> 만약 ntp버전이 ntp-4.2.6p5-2.0.1.el6_6 이상이면 추가적인 액션 불필요

Step 3 – 현재 NTP Time Offset값 확인

root# ntpq -p

remote refid st t when poll reach delay offset jitter

===================================================

ntpserver-1 n.n.n.n 2 u 12 16 377 3.396 -0.011 0.013

ntpserver-2 n.n.n.n 2 u 10 16 377 3.325 -0.593 0.016

-> Offset 절대값이 1.000 milliseconds 미만인 경우만 다음 스텝 진행. 만약 1.000

milliseconds 이상인 경우 reboot될 수 있으므로 NTP 설정 확인필요

Step 4 – 신규 NTP 패키지 다운로드

* 다음 패키지 다운로드(최신 버전도 가능)

ntp-4.2.6p5-2.0.1.el6_6.x86_64.rpm

ntpdate-4.2.6p5-2.0.1.el6_6.x86_64.rpm

Step 5 – 신규 NTP 패키지 설치

-> 우측 각 노드 별 절차에 따라 이어서 수행

* Storage node

Step 5 – 신규 NTP 패키지 설치

root# rpm -Uvh --nodeps ntp-4.2.6p5-2.0.1.el6_6.x86_64.rpm ntpdate-4.2.6p5-

2.0.1.el6_6.x86_64.rpm

-> 만약, Exadata Owner’s Guide에 있는 rescue 절차에 따라 복구를 하는 경우 ntp

설치 작업을 다시 수행해 주어야 함

Step 6 – 설치된 버전 확인

root# rpm -q ntp ntpdate

ntp-4.2.6p5-2.0.1.el6_6.x86_64

ntpdate-4.2.6p5-2.0.1.el6_6.x86_64

* Database node

Step 5 – 신규 NTP 패키지 설치

root# rpm -e exadata-sun-computenode-exact

root# rpm -e exadata-sun-vm-computenode-exact (OVM인 경우 domU에서 수행)

-> rpm이 없는 경우 무시 할 것

root# rpm -Uvh ntp-4.2.6p5-2.0.1.el6_6.x86_64.rpm ntpdate-4.2.6p5-

2.0.1.el6_6.x86_64.rpm

Step 6 – 설치된 버전 확인

root# rpm -q ntp ntpdate

ntp-4.2.6p5-2.0.1.el6_6.x86_64

ntpdate-4.2.6p5-2.0.1.el6_6.x86_64