Praktik terbaik untuk Solusi Oracle di Bare Metal

Saat mengimplementasikan database Oracle pada Solusi Bare Metal, kami tahu bahwa tujuan Anda adalah memunculkan lingkungan Anda dengan mudah dan meminimalkan masalah. Untuk membantu Anda meraih sasaran ini, kami telah mengumpulkan masukan dari pelanggan, Arsitek Solusi, dan staf dukungan yang telah menerapkan database Oracle pada Solusi Bare Metal. Informasi berikut ini memberikan rekomendasi yang dipelajari dari para pakar ini untuk membantu Anda sukses mungkin menyiapkan lingkungan database Oracle Anda sendiri di Solusi Bare Metal.

Deployment software

Untuk deployment software Oracle yang sukses, sebaiknya gunakan Toolkit Solusi Bare Metal. Toolkit ini menyediakan beberapa skrip Ansible dan JSON untuk membantu Anda melakukan penginstalan software Oracle pada Solusi Bare Metal. Untuk mengetahui informasi selengkapnya tentang Toolkit Solusi Bare Metal dan cara menginstal database Oracle di lingkungan Solusi Bare Metal, lihat panduan pengguna toolkit.

Sistem operasi

Saat menyiapkan sistem operasi di server Solusi Bare Metal, sebaiknya lakukan tindakan berikut.

Validasi server NTP Anda

Semua server Solusi Bare Metal harus disinkronkan dengan sumber waktu. Pilih opsi server NTP, baik fisik atau virtual, yang paling sesuai dengan kebutuhan Anda.

Jika server Anda menggunakan NTP untuk sinkronisasi waktu, gunakan perintah timedatectl atau ntpstat untuk melihat apakah server disinkronkan dengan sumber waktu. Contoh berikut menunjukkan output dari perintah berikut untuk server yang berhasil disinkronkan:

timedatectl show -p NTPSynchronized
NTPSynchronized=yes

synchronised to NTP server (216.239.35.8) at stratum 3
   time correct to within 49 ms
   polling server every 1024 s

Lihat detail jumlah dan memori CPU Oracle VM

Untuk melihat informasi tentang host Oracle VM (OVM), termasuk detail CPU dan memori, gunakan perintah xm info. Contoh:

/usr/sbin/xm info

Untuk informasi selengkapnya, lihat dokumentasi Oracle tentang melihat informasi host

Periksa setelan /etc/fstab untuk opsi pemasangan yang benar

Agar proses booting tidak hang, selalu konfigurasikan titik pemasangan non-root yang Anda buat (seperti /u01 dan /u02) dengan opsi pemasangan nofail sebagai pengganti setelan default. Dalam kasus yang jarang terjadi, perangkat penyimpanan yang mendasarinya mungkin tidak tersedia saat host dimulai ulang. Menyetel opsi pemasangan nofail memungkinkan proses booting dilanjutkan saat server tidak dapat melihat perangkat penyimpanan.

Contoh berikut menunjukkan setelan yang direkomendasikan untuk titik pemasangan /u01 dan /u02 di file /etc/fstab:

/dev/mapper/3600a098038314352513f4f765339624c1 /u01 xfs nofail 0 0
/dev/mapper/3600a374927591837194d4j371563816c1 /u02 xfs nofail 0 0

Anda dapat mengubah opsi pemasangan dari defaults menjadi nofail tanpa memengaruhi sistem operasional. Namun, untuk menerapkan setelan baru, Anda harus memulai ulang server.

Konfirmasi setelan batas shell Anda

Toolkit Solusi Bare Metal mengonfigurasi batas shell yang diperlukan untuk mengonfigurasi Oracle RAC. Anda dapat melewati validasi ini jika menggunakan toolkit Solusi Bare Metal dan tidak mengubah batas shell. Batas shell harus ditetapkan untuk semua akun sistem operasi yang memiliki software Oracle, termasuk Infrastruktur Petak. Oracle merekomendasikan setelan berikut untuk Linux:

Batas Nilai Tidak Langsung Nilai Keras
Buka file 1024 65536
Proses pengguna maksimum 16384 16384
Ukuran tumpukan 10240 32768
Memori terkunci maksimum Minimal 90% dari memori Minimal 90% dari memori

Gunakan perintah ulimit untuk memverifikasi batas soft shell dan hard shell. Misalnya, masukkan perintah berikut untuk memverifikasi batas soft shell:

ulimit -S -n -u -s -l

Output berikut menunjukkan setelan batas soft shell yang benar untuk sistem dengan memori 384 GB:

open files                      (-n) 1024
max user processes              (-u) 16384
stack size              (kbytes, -s) 10240
max locked memory       (kbytes, -l) 355263678

Untuk memverifikasi batas hard shell, gunakan perintah berikut:

ulimit -H -n -u -s -l

Output berikut menunjukkan batas hard shell yang benar untuk sistem dengan memori 384 GB:

open files                      (-n) 65536
max user processes              (-u) 16384
stack size              (kbytes, -s) 32768
max locked memory       (kbytes, -l) 355263678

Jika salah satu batas shell tidak disetel dengan benar, ubah entri dalam file /etc/security/limits.conf, seperti ditunjukkan dalam contoh berikut:

oracle  soft  nofile  1024
oracle  hard  nofile  65536
oracle  soft  nproc   2047
oracle  hard  nproc   16384
oracle  soft  stack   10240
oracle  hard  stack   32768
oracle  soft  memlock 355263678
oracle  hard  memlock 355263678

grid    soft  nofile  1024
grid    hard  nofile  65536
grid    soft  nproc   2047
grid    hard  nproc   16384
grid    soft  stack   10240
grid    hard  stack   32768
grid    soft  memlock 355263678
grid    hard  memlock 355263678

grep MemTotal /proc/meminfo
MemTotal:       16092952 kB

Menghindari mengubah setelan multijalur

Jika Anda memilih untuk mengubah setelan multijalur, jangan mengonfigurasi atribut path_grouping_policy jika Anda menggunakan multipath.conf untuk membuat nama beralias untuk perangkat. Perubahan tersebut menggantikan kebijakan default yang ditetapkan di bagian definisi devices.

Dalam operasi normal, perintah multipath -ll akan menampilkan status yang mirip dengan contoh berikut. Setiap perangkat berisi dua jalur aktif yang ada dalam status siap.

3600a0980383143524f2b50476d59554e dm-7 NETAPP  ,LUN C-Mode
size=xxxG features='4 queue_if_no_path pg_init_retries 50 retain_attached_hw_handle' hwhandler='1 alua' wp=rw
|-+- policy='service-time 0' prio=50 status=active
| |- 14:0:3:2 sdf                8:80   active ready running
| `- 16:0:5:2 sdv                65:80  active ready running
`-+- policy='service-time 0' prio=10 status=enabled
  |- 14:0:2:2 sdc                8:32   active ready running
  `- 16:0:3:2 sdq                65:0   active ready running

Menggunakan frame jumbo

Untuk mencegah fragmentasi paket saat berpindah dari satu server ke server lainnya dalam lingkungan RAC, Oracle merekomendasikan untuk mengonfigurasi antarmuka server Anda dengan frame jumbo. Frame jumbo memiliki ukuran MTU 9.000 byte dan cukup besar untuk mendukung ukuran blok database Oracle sebesar 8.192 byte.

Untuk mengonfigurasi frame jumbo di server Solusi Bare Metal untuk Oracle RAC:

  1. Lihat setelan jaringan pribadi Solusi Bare Metal Anda untuk mengonfirmasi bahwa frame jumbo telah dikonfigurasi:

    gcloud bms networks describe NETWORK_NAME --project=PROJECT_ID --region=REGION | grep jumboFramesEnabled

    Contoh output:

    jumboFramesEnabled: true

  2. Identifikasi antarmuka jaringan dan ukuran mtu-nya:

    ip link show | grep mtu

    Contoh output:

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000
2: enp55s0f1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
3: enp55s0f2: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
4: enp55s0f3: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc mq state DOWN mode DEFAULT group default qlen 1000
5: enp17s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
6: enp17s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
7: enp173s0f0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP mode DEFAULT group default qlen 1000
8: enp173s0f1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond1 state UP mode DEFAULT group default qlen 1000
9: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
10: bond1.117@bond1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
11: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
12: bond0.118@bond0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT group default qlen 1000
13: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN mode DEFAULT group default qlen 1000
14: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state DOWN mode DEFAULT group default qlen 1000

  3. Dengan menggunakan hak istimewa level root, tambahkan MTU=9000 ke file konfigurasi antarmuka untuk semua server di lingkungan Solusi Bare Metal yang menggunakan frame jumbo. Anda dapat menemukan file tersebut di /etc/sysconfig/network-scripts/ifcfg-interface_name.

    Contoh output:

    BONDING_OPTS="lacp_rate=1 miimon=100 mode=802.3ad xmit_hash_policy=1"
TYPE=Bond
BONDING_MASTER=yes
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=no
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=bond1
UUID=0e7da685-64bf-44f3-812f-9846d747a801
DEVICE=bond1

AUTOCONNECT_SLAVES=yes
MTU=9000

  4. Mulai ulang layanan jaringan agar perubahan diterapkan:

    service network restart

  5. Berikan perintah ping untuk menguji konfigurasi MTU baru Anda:

     ping -c 2 -M do -s 8972 svr001
 PING svr001 (172.16.1.10) 8972(9000) bytes of data.
 8980 bytes from svr001 (172.16.1.10): icmp_seq=1 ttl=64 time=0.153 ms
 8980 bytes from svr001 (172.16.1.10): icmp_seq=2 ttl=64 time=0.151 ms

--- svr001 ping statistics ---
2 packets transmitted, 2 received, 0% packet loss, time 1001ms
rtt min/avg/max/mdev = 0.151/0.152/0.153/0.001 ms

Dampak pencadangan dan latensi RMAN Oracle

Jika proses pencadangan RMAN Oracle tidak dibatasi oleh parameter RATE, proses pencadangan dapat mendorong throughput penyimpanan atau IOPS ke batas performa untuk volume penyimpanan. Hal ini menyebabkan IO penyimpanan dibatasi, sehingga meningkatkan latensi pada volume penyimpanan.

Sebaiknya terapkan parameter saluran RATE untuk membatasi jumlah bandwidth atau throughput yang dapat digunakan RMAN Oracle.

Untuk informasi selengkapnya, lihat dokumentasi Oracle: 23.2.1.4 RATE Parameter Saluran

Pengelolaan Penyimpanan Otomatis Oracle

Tim Layanan Pelanggan Cloud kami dan beberapa pelanggan Solusi Bare Metal telah menambahkan Oracle Automatic Storage Management (ASM) ke lingkungan Solusi Bare Metal mereka. Melalui pengalaman dan kebijaksanaan kolektif mereka, kami telah mengumpulkan daftar praktik terbaik berikut untuk membantu Anda berhasil menginstal grup disk ASM. Tujuan kami adalah membantu Anda mencapai performa penyimpanan terbaik untuk lingkungan Solusi Bare Metal Anda.

Menggunakan ukuran LUN yang seragam

Ukuran LUN yang Anda pilih harus mewakili unit pertumbuhan. ASM berfungsi paling baik dengan LUN yang memiliki ukuran sama dan karakteristik performa yang serupa. Untuk database yang sangat besar, sebaiknya gunakan ukuran LUN sebesar 2 TB untuk mengoptimalkan performa.

Buat maksimal dua grup disk ASM

Anda harus mengirim file data dan satu salinan log REDO ke satu grup disk DATA. Jika ingin, Anda dapat membuat grup disk FRA kedua untuk menyimpan cadangan di disk dan mengarsipkan log. Saat menyimpan log REDO di penyimpanan yang sangat andal, Anda tidak perlu memiliki dua salinan.

Penulisan log REDO sensitif terhadap latensi. Oleh karena itu, hanya pertimbangkan multiplexing log REDO jika profil performa grup disk FRA cocok dengan profil performa grup disk DATA.

Stripe grup disk ASM di semua LUN di semua volume

Saat Anda membuat grup disk ASM, pisahkan grup disk tersebut di semua LUN dari semua volume. Jika LUN Anda termasuk dalam satu volume, Anda harus menyertakan semua LUN dalam volume saat membuat grup disk. Misalnya, jika volume memiliki jumlah LUN X, Anda harus menggunakan semua LUN X saat membuat grup disk.

Panduan ini juga berlaku untuk penggunaan beberapa volume, karena kami memberikan batas QoS pada volume. Jika menggunakan beberapa volume untuk meningkatkan throughput (>900 Mbps), Anda harus menyertakan semua LUN dari setiap volume saat membuat grup disk untuk mencapai performa yang diperlukan.

Gunakan LUN dan volume dengan karakteristik performa yang sama di grup disk yang sama

Jika Anda menggunakan beberapa volume untuk meningkatkan throughput, gunakan ukuran volume dan karakteristik performa yang sama saat membuat grup disk ASM.

Jangan mencampur LUN dari volume yang memiliki karakteristik performa berbeda. Jika Anda menyertakan LUN dan volume dengan profil performa yang berbeda dalam grup disk yang sama, disk yang menjalankan operasi I/O mungkin memiliki batas performa yang jauh lebih rendah dan dapat menyebabkan lonjakan latensi.

Misalnya, jika Anda membuat grup disk ASM dengan 2 volume yang tidak merata (1 X 16 TiB dan 1 X 5 TiB), operasi I/O yang dilakukan oleh disk dengan volume 5 TB dapat menyebabkan peningkatan latensi. Volume 5 TiB memiliki throughput dan batas IOPS yang jauh lebih rendah, sehingga akan mencapai tingkat throttling jauh sebelum level throttling untuk volume 16 TiB.

Jangan berbagi volume penyimpanan di beberapa cluster RAC

Untuk setiap cluster RAC, sediakan volume penyimpanan unik. Jangan berbagi volume penyimpanan yang sama di beberapa cluster RAC. Karena perangkat penyimpanan menerapkan QoS pada level volume, praktik ini meminimalkan kemungkinan tetangga yang berisik bersaing untuk satu kumpulan IOPS dan throughput.

Misalnya, jika satu volume memiliki 8 LUN, jangan tetapkan beberapa LUN ke satu cluster database RAC dan LUN yang tersisa ke cluster database RAC yang berbeda. Sebagai gantinya, sediakan dua volume penyimpanan terpisah dan tetapkan setiap volume ke cluster RAC khusus yang terpisah per volume.

Ketahui IOPS dan kapasitas throughput yang diperlukan sebelum membuat grup disk ASM

Perhatikan angka performa puncak untuk lingkungan lokal Anda. Untuk menemukan informasi ini, buat laporan AWR selama jam-jam workload puncak untuk mencatat IOPS dan nilai throughput puncak sistem Anda. Anda juga dapat menggunakan alat Penilaian Database Oracle untuk mengumpulkan angka performa puncak.

Dengan data performa lokal Anda yang berguna, lihat tabel performa penyimpanan Solusi Bare Metal kami untuk menghitung jumlah penyimpanan yang perlu dialokasikan ke grup disk ASM dan mencapai performa yang diperlukan. Jika memiliki persyaratan throughput yang ditingkatkan (>768 Mbps), Anda dapat membuat beberapa volume dan melakukan strip grup disk ASM di semua LUN dan semua volume.

Membiarkan konfigurasi multijalur apa adanya

Anda tidak boleh mengubah group_pathing_policy default dalam file /etc/multipath.conf. Anda harus selalu menggunakan nilai default group_pathing_policy=group_by_prio untuk menghindari penghapusan node RAC jika terjadi kegagalan jalur penyimpanan.

Untuk detail selengkapnya tentang cara membiarkan konfigurasi multijalur tetap utuh, lihat Menghindari mengubah setelan multijalur.

Mengonfigurasi setelan penting untuk ASM

Jika Anda menggunakan Oracle Grid Infrastructure 12.1.0.2 atau yang lebih baru di Linux, siapkan ASM dengan ASMFD atau UDEV.

Untuk versi Oracle Grid Infrastructure sebelumnya, gunakan ASMLib.

  • Untuk menghentikan Oracle ASM memilih perangkat ASM jalur tunggal terlebih dahulu, tetapkan urutan pemindaian sebagai berikut:

    ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

    Kami memerlukan setelan ini karena lingkungan penyimpanan Solusi Bare Metal menggunakan perangkat DM yang dapat Anda lihat di /proc/partitions.

  • Untuk memeriksa apakah ASMLib dikonfigurasi untuk mengelola disk ASM Anda, jalankan perintah berikut sebagai pengguna root:

    /usr/sbin/oracleasm configure | grep SCAN

    Jika Anda menggunakan ASMLib, outputnya akan terlihat seperti berikut:

    ORACLEASM_SCANBOOT=true
ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"
ORACLEASM_SCAN_DIRECTORIES=""

Buat grup disk ASM dengan redundansi eksternal

Penyimpanan yang disediakan oleh Bare Metal Solution menggunakan NETAPP RAID-DP, yang merupakan bentuk RAID 6 yang melindungi data meskipun dua disk mengalami kegagalan. Oleh karena itu, sebaiknya gunakan redundansi eksternal untuk ASM.

Memulai ulang server Solusi Bare Metal setelah pembuatan disk ASM

Setelah membuat grup disk ASM, Anda harus memulai ulang semua server Solusi Bare Metal dalam cluster untuk memastikan instance ASM dan grup disk terhubung setelah dimulai ulang. Ikuti langkah proaktif ini agar Anda dapat menghindari masalah yang mungkin terjadi setelah cluster database dibuat pada grup disk ASM.

RAC Oracle

Bagian ini menjelaskan praktik terbaik saat menginstal Cluster Aplikasi Real Oracle (RAC) di Solusi Bare Metal.

Panjang nama cluster Infrastruktur Oracle Grid

Gunakan nama cluster yang panjangnya tidak lebih dari 15 karakter.

Nama cluster yang lebih dari 15 karakter menyebabkan skrip root.sh gagal.

Tunnel VNC Viewer melalui SSH

Server arbitrer, seperti VNC Viewer, diblokir oleh firewall OS default dari server Solusi Bare Metal. Oleh karena itu, tunda jendela X atau Pelihat VNC melalui SSH:

ssh -L 5901:localhost:5901 bms-host
vncviewer localhost:1

Ruang yang cukup untuk sistem file root

Pastikan sistem file root (/) memiliki cukup ruang kosong. Server Solusi Bare Metal dilengkapi dengan sistem file root sebesar 20 GB yang mungkin tidak cukup.

Di server Solusi Bare Metal, periksa ukuran sistem file root '/'. Ukuran defaultnya adalah 20 GB, yang mungkin tidak cukup. Jika ukurannya 20 GB, tingkatkan ukurannya.

Menggunakan server nama sebagai pengganti Cloud DNS

Jika Anda tidak ingin menggunakan Cloud DNS, instal server nama Anda sendiri untuk me-resolve alamat IP host di server Solusi Bare Metal. Infrastruktur Grid Oracle menggunakan perintah nslookup untuk mendapatkan nama server DNS. Perintah nslookup tidak menggunakan file /etc/hosts.

Ikuti langkah-langkah berikut:

  1. Instal dnsmasq.

    yum makecache
yum install dnsmasq

  2. Buka file /etc/dnsmasq.conf dalam mode edit.

    vi /etc/dnsmasq.conf

  3. Dalam file /etc/dnsmasq.conf, tambahkan baris berikut:

    port=53
domain-needed
bogus-priv

strict-order
expand-hosts
domain=localdomain

address=/.localdomain/127.0.0.1
address=//127.0.0.1

listen-address=127.0.0.1
resolv-file=/etc/dnsmasq-resolv.conf

  4. Edit file /etc/dnsmasq-resolv.conf dan file /etc/resolv.conf agar hanya berisi baris berikut:

    nameserver 127.0.0.1

  5. Mulai layanan dnsmasq:

    systemctl restart dnsmasq

systemctl status dnsmasq

  6. Di kedua node, jalankan perintah nslookup.

    nslookup at-2811641-svr001
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr001
Address: 192.168.1.10

nslookup at-2811641-svr002
Server:         127.0.0.1
Address:        127.0.0.1#53

Name:   at-2811641-svr002
Address: 192.168.1.11

Instal NTP

Saat menginstal NTP, pastikan semua node RAC disinkronkan dengan waktu host lompatan atau server NTP internal Anda. Ikuti langkah-langkah berikut:

  1. Instal NTP.

    yum install ntp

  2. Mulai layanan ntpd.

    systemctl start ntpd

  3. Dalam file /etc/ntp.conf, tambahkan baris berikut untuk disinkronkan dengan bastion host, yang dalam kasus ini adalah 10.x.x.x. Anda juga dapat menggunakan server NTP internal. Dalam hal ini, 192.x.x.x adalah server Solusi Bare Metal Anda.

    restrict 192.x.x.x mask 255.255.255.0 nomodify notrap
server 10.x.x.x prefer

  4. Untuk memulai sinkronisasi, perbarui server waktu untuk memulai sinkronisasi.

    ntpdate -qu SERVER_NAME

Menjalankan skrip root pada satu node dalam satu waktu

Jalankan skrip root root.sh pada satu node dalam satu waktu. Jika eksekusi gagal pada node pertama, jangan lanjutkan ke node berikutnya.

Selesaikan Localhost

Karena server Solusi Bare Metal tidak menambahkan Localhost ke file /etc/hosts, selesaikan Localhost secara manual ke 127.0.0.1.

Memastikan batas resource yang memadai

Sebelum menginstal Oracle RAC di server Solusi Bare Metal, pastikan batas resource untuk pengguna root dan pengguna oracle sudah memadai.

Anda dapat menggunakan perintah ulimit untuk memeriksa batas.

Tetapkan variabel ORACLEASM_SCANORDER

Jika Anda menggunakan Oracle ASMLib, untuk menghentikan Oracle ASM memilih perangkat ASM jalur tunggal terlebih dahulu, tetapkan urutan pemindaian sebagai berikut:

ORACLEASM_SCANORDER="dm"
ORACLEASM_SCANEXCLUDE="sd"

Kami memerlukan setelan ini karena lingkungan penyimpanan Solusi Bare Metal menggunakan perangkat DM yang dapat Anda lihat dalam file /proc/partitions.

Oracle adalah merek dagang terdaftar dari Oracle dan/atau afiliasinya.