Auto arranque de OSW en RHEL5

Estos dias me ha tocado hacer un poco de troubleshotting en un RAC que sufre reinicios continuos.

Para ayudar en esta tarea he instalado OSWatcher de Oracle, como el reinicio es continuo tenia que habilitar el auto arranque de OSW en los runlevels de Linux, es un Red Hat Enterprise 5 y el rpm que proporciona Oracle de crear scripts de runlevels no funciona aparentemente aunque los mismos funcionan perfectamente en RHEL4.

Parece ser que es por requiretty de sudo (no es por OSW), el script de OSW ejecuta sudo -u $USER ……………….., al estar en la consola el auto arranque da este error:

sudo: sorry, you must have a tty to run sudo

es porque en RHEL 5 requieretty esta activado por defecto. Para quitarlo

visudo
comentar la linea “Defaults requiretty”

Despues de esto ya funciona el auto arranque de OSW

Bye Bye Stonith en Clusterware 11.2.0.2… no del todo

Como es sabido muchos software de Cluster implementan el algoritmo Stonith para situaciones de posibles Split Brain y fencing, Oracle Clusterware no es una excepcion tampoco el nuevo “Grid Infrastructure” de 11gR2 hasta la version 11.2.0.2.

Me consta desde hace ya casi 2 años hablando con un conocido de un foro un fabricante de equipamientos de Telco no estaba muy contento con la resolucion de Split Brain con Stonith en Oracle RAC y habian escalado su disconformidad a desarrollo de Oracle, argumentaban que en un nodo de RAC muchas veces hay mas aplicaciones corriendo y un fast reboot obliga a realizar un failover de todos los procesos del nodo, tienen su razon pero el algoritmo de Stonith no es nuevo y lleva funcionando muchisimo tiempo.

Oracle les hizo caso y en la 11.2.0.2 en vez del fencing por reboot introduce una funcionalidad denominado “reboot-less node fencing”, en vez de un fast reboot el Clusterware intenta en lo posible ejecutar shutdown de todos los recursos de Cluster del nodo problematico, los procesos de E/S son los primeros a ser terminados para evitar corrupcion de datos. En situaciones donde los recursos no terminan correctamente es cuando el Clusterware ejecutara un fast reboot o mediante el mecanismo “remote node-termination” con IPMI para reiniciar el nodo.

Una prueba para observar este comportamiento nuevo es tirar del cable del interconnect donde antes en un RAC de dos nodos siempre se reiniciaba el nodo 2 ahora ya no, simplemente se queda parado.

Oracle RAC 11.2.0.2 Redundant Interconnect (HAIP) posibles problemas

En 11.2.0.2 se ha introducido una funcionalidad muy importante en la gestion del interconnect de RAC, en esta version se introduce la funcionalidad de Redundant Interconnect (HAIP) que utiliza el Multicasting para la red privada (subred 230.0.1.0 y el puerto 42424) y en vez de usar HA que proporciona el S.O de redes como Bonding de Linux, Teaming de Windows, Etherchannel de AIX, IPMP de Solaris en la instalacion de Grid Infrastructure es tan simple de dar los nombres de los interfaces privadas al instalador e internamente con el multicasting genera redes de HA. Parece mentira que esta funcionalidad solamente mereció un parrafo en el release notes porque esta causando mas que dolores de cabeza a gente que se han actualizado a este nivel de patchset.

Los problmeas que se estan viendo son:

1. Algunos switches por defecto no tienen activado el multicast y no todos los DBAs somos conscientes de ello (y parece que algunos tecnico de comuncaciones no entienden de que le hablas cuando mencionas multicast).
2. Problemas de Multicast en RAC extendidos, parece ser que multicast no es del todo posible en redes de RAC extendidos o por temas de seguridad a nivel corporativo (esto no lo tengo muy claro por falta de conocimeintos de networking).

Esta en curso unos enhancement requests como poder usar otra subred aparte de 230.0.1.0

Seguirá…..

3 de Noviembre: Disponible parche 9974223 que posibilita el uso de otra subred, 224.0.0.251 para Multicast (1212703.1 11.2.0.2 Grid Infrastructure Install or Upgrade may fail due to Multicasting Requirement)

Upgrade 11.2.0.2 Single Instance y Database Control

Hoy hicimos un upgrade de una base de datos de 11.2.0.1 Linux x86-64 a 11.2.0.2.

Era una base de datos de pruebas y la verdad lo hicimos deprisa y corriendo para poder ejecutar un benchmark de una version de una aplicacion en este release de 11gR2, entre descargas y actualizacion estuvimos 5, 6 horas.

A lo mejor ya esta al tanto mucha gente la nueva estrategia de patching es instalar el patchset (o mejor dicho el juego entero de software) en un ORACLE_HOME independiente, eso hicimos y cuando intentamos actualizar el Database Control nos dio errores quejandose de ORACLE_HOSTNAME…. Hice 4 upgrade de 11.2.0.1 a 11.2.0.2 recientemente de RAC y Single Instance y la verdad es que en ninguna de las instalaciones anteriores estaba el Database Control y por lo tanto no me dio ningun problema.

Tendre que seguir investigando estos dias a ver que es. Actulaizare con la solucion cuando la encuentre.

Oracle Index Internals seminar de Richard Foote

Volvi el viernes noche de Munich, Alemania donde asisti al durante dos dias el seminario de internals de indices de Richard Foote, un tio afable, gran conocedor de su tema y parece ser un gran fan de David Bowie. Un tio grande en resumen.

El seminario es muy muy recomendable, el curso es intenso y material amplio (mas de 700 paginas). Richard entretenido y buen profesor, explica muy bien las cosas y con facilidad de trato.

Parece mentira que podamos hablar solamente de indices durante dos dias enteros sin embargo la realidad es que nos falto tiempo y no se incluyo en el seminario unos temas como indices del tipo domain o Clustered index. Muy intenso si señor pero valio la pena realizar el viaje a Alemania solo para asistir su seminario y que decir de Richard que viajo 30 horas desde Canberra, Australia, admirable por mi parte.

Viajamos juntos a aeropuerto despues del seminario ya que eramos los dos unicos que fuimos en avion y teniamos casi la misma hora de vuelo, yo a España y él a Praga donde a iniciado hoy su segundo seminario en Europa. Grato sorpresa cuando dijo que lleva sangre Española y estuvo viniendo bastante a Madrid cuando era joven.

Aprovechando el viaje visite a BWM Welt, una belleza de arquitectura.