Por favor, use este identificador para citar o enlazar este ítem:
http://cicese.repositorioinstitucional.mx/jspui/handle/1007/4121| Self-learning activation functions for privacy-preserving convolutional neural networks with homomorphic encryption Funciones de activación autoaprendibles para redes neuronales convolucionales que preservan la privacidad mediante encriptación homomórfica | |
| LUIS BERNARDO PULIDO GAYTAN | |
| Andrey Chernykh | |
| Acceso Abierto | |
| Atribución | |
| Cloud security, homomorphic encryption, neural networks, polynomial approximation, privacy-preserving, self-learning activation functions Seguridad en la nube, encriptación homomórfica, redes neuronales, aproximación polinomial, preservación de la privacidad, funciones de activación de autoaprendizaje | |
| The security issues that arise in public cloud environments raise several concerns about privacy-preserving. Conventional security practices successfully protect stored and transmitted data by encryption, but not during data processing, where the data value extraction requires decryption. It creates critical exposure points for sensitive sectors with stringent regulations like healthcare, pharmaceutical, genomics, government, and financial, which cause hesitation to use these third-party services and prevent widespread practical adoption of cloud solutions. Homomorphic Encryption (HE) emerges as a mechanism for expanding the scope of public cloud services for sensitive data processing. HE allows a non-trustworthy third-party resource to process encrypted information without disclosing confidential data. However, high-demand solutions such as Convolutional Neural Network (CNN) models require efficient operations beyond HE additions and multiplications. The efficient implementation of cryptographically computable activation functions becomes imperative for developing a privacy-preserving CNN with HE (CNN-HE). In this dissertation, we propose a method to increase the accuracy and performance of privacy-preserving CNN-HE by Self-Learning Activation Functions (SLAF). SLAFs are polynomials with trainable coefficients updated during training, together with synaptic weights, for each polynomial independently to learn task-specific and CNN-specific features. We theoretically prove its feasibility to approximate any continuous activation function to the desired error as a function of the SLAF degree. Two CNN-HE models are proposed: CNN-HE-SLAF and CNN-HE-SLAF-R. In the first model, all activation functions are replaced by SLAFs, and CNN is trained to find weights and coefficients. In the second one, CNN is trained with the original activation function, then weights are fixed, activation is substituted by SLAF, and CNN is shortly re-trained to adapt SLAF coefficients. We demonstrate that such self-learning can achieve the same accuracy as a non-polynomial Rectified Linear Unit over non-homomorphic CNN models and lead to an increase in accuracy and higher performance (up to 6.26 times faster) than the state-of-the-art CNN-HE models on the MNIST optical character recognition benchmark dataset. Los problemas de seguridad que surgen en los entornos de nubes públicas plantean severas preocupaciones sobre la preservación de la privacidad de los datos. Las prácticas de seguridad convencionales pueden llegar a proteger información almacenada y transmitida mediante encriptación, pero no durante su procesamiento, donde la extracción de valor de un conjunto de datos requiere un proceso de descifrado. Esto plantea puntos críticos de exposición, especialmente en sectores sensibles altamente regulados como la industria de la salud, farmacéutica, genómica, gobierno y finanzas, lo que ha generado una considerable reticencia hacia el uso generalizado de estos servicios de terceros y ha obstaculizado la adopción práctica de soluciones basadas en la nube. La Encriptación Homomórfica (HE) ha surgido como un mecanismo para ampliar el alcance de los servicios de nube pública en infraestructuras compartidas para el procesamiento de datos sensibles. HE permite a recursos de terceros no confiables procesar información encriptada sin revelar datos confidenciales. Sin embargo, soluciones de alta demanda como los modelos de Redes Neuronales Convolucionales (CNN) requieren operaciones eficientes más allá de las sumas y multiplicaciones homomórficas. La implementación eficiente de funciones de activación criptográficamente computables se vuelve imperativa para desarrollar una CNN con HE que preserve la privacidad (CNN-HE). En esta tesis se propone un método para mejorar la precisión y el rendimiento de las CNN-HE mediante el uso de Funciones de Activación de Autoaprendizaje (SLAF). Las SLAF son polinomios con coeficientes entrenables actualizados en conjunto con los pesos sinápticos durante el proceso de entrenamiento del modelo, permitiendo a cada activación polinómica adaptarse de manera independiente para aprender características específicas tanto de la tarea en cuestión como de la CNN. Demostramos teóricamente la viabilidad de SLAF para aproximar cualquier función de activación continua con un error de aproximación deseado en función del grado de SLAF. Se proponen dos modelos de CNN-HE: CNN-HE-SLAF y CNN-HE-SLAF-R. En el primer modelo, todas las funciones de activación son reemplazadas por SLAF, y la CNN se entrena para encontrar pesos y coeficientes. En el segundo modelo, la CNN se entrena inicialmente con la función de activación original, luego se fijan los pesos sinápticos entrenados, se sustituye la función de activación por SLAF y se lleva a cabo un breve ... | |
| CICESE | |
| 2024 | |
| Tesis de doctorado | |
| Inglés | |
| Pulido Gaytan, L.B. 2024. Self-learning activation functions for privacy-preserving convolutional neural networks with homomorphic encryption. Thesis Doctor of Science. Centro de Investigación Científica y de Educación Superior de Ensenada, Baja California. 122 pp. | |
| DISEÑO CON AYUDA DE ORDENADOR | |
| Aparece en las colecciones: | Tesis - Ciencias de la Computación |
Cargar archivos:
| Fichero | Descripción | Tamaño | Formato | |
|---|---|---|---|---|
| tesis_Luis Bernardo Pulido Gaytan_22 abril 2024.pdf | Versión completa de la tesis | 3.1 MB | Adobe PDF | Visualizar/Abrir |