Utilisation de vos données avec Azure OpenAI de manière sécurisée - Azure OpenAI (2024)

Lisez cet article pour découvrir comment utiliser Azure OpenAI On Your Data de manière sécurisée en protégeant les données et les ressources via le contrôle d’accès en fonction du rôle Microsoft EntraID, les réseaux virtuels et les points de terminaison privés.

Cet article s’applique uniquement lors de l’utilisation d’AzureOpenAI sur vos données avec du texte. Il ne s’applique pas à l’utilisation d’AzureOpenAI sur vos données avec des images.

Architecture d’ingestion des données

Lorsque vous utilisez AzureOpenAI sur vos données pour ingérer des données à partir de Stockage Blob Azure, de fichiers locaux ou d’URL dans Recherche AzureAI, le processus suivant est utilisé pour traiter les données.

• Les étapes 1 et 2 sont utilisées uniquement pour le chargement de fichiers.
• Le téléchargement d’URL vers votre stockage d’objets blob n’est pas illustré dans ce diagramme. Une fois les pages web téléchargées à partir d’Internet et chargées dans le stockage d’objets blob, l’étape 3 et les suivantes sont les mêmes.
• Deux indexeurs, deux index, deux sources de données et une compétence personnalisée sont créés dans la ressource Recherche Azure AI.
• Le conteneur de blocs est créé dans le stockage d’objets blob.
• Si l’ingestion est déclenchée par une actualisation planifiée, le processus d’ingestion démarre à l’étape 7.
• L’API preprocessing-jobs d’Azure OpenAI implémente le protocole d’API web de compétence personnalisée Recherche AzureAI et traite les documents dans une file d’attente.
• Azure OpenAI:
  1. Utilise en interne le premier indexeur créé précédemment pour décoder les documents.
  2. Utilise un algorithme heuristique pour effectuer une segmentation, en respectant les dispositions de table et autres éléments de mise en forme dans la limite des segments afin de garantir la meilleure qualité de segmentation.
  3. Si vous choisissez d’activer la recherche vectorielle, Azure OpenAI utilise le déploiement d’incorporation sélectionné pour vectoriser les blocs en interne.
• Une fois toutes les données monitorées par le service traitées, Azure OpenAI déclenche le deuxième indexeur.
• L’indexeur stocke les données traitées dans un service Recherche AzureAI.

Pour les identités managées utilisées dans les appels de service, seules celles affectées par le système sont prises en charge. Les identités managées affectées par l’utilisateur ne sont pas prises en charge.

Architecture d’inférence

Quand vous envoyez des appels d’API pour converser avec un modèle Azure OpenAI sur vos données, le service doit récupérer les champs d’index pendant l’inférence pour mapper automatiquement les champs (si le mappage des champs n’est pas défini explicitement dans la requête). Par conséquent, le service exige que l’identité Azure OpenAI ait le rôle Search Service Contributor pour le service de recherche, même pendant l’inférence.

Si un déploiement d’incorporation est fourni dans la requête d’inférence, la requête réécrite est vectorisée par Azure OpenAI, et la requête et le vecteur sont envoyés à Recherche Azure AI pour la recherche vectorielle.

Contrôle d’accès au niveau du document

AzureOpenAI sur vos données vous permet de limiter les documents qui peuvent être utilisés dans les réponses pour différents utilisateurs avec des filtres de sécurité Recherche AzureAI. Quand vous activez l’accès au niveau des documents, les résultats de la recherche retournés par Recherche Azure AI et qui sont utilisés pour générer une réponse sont tronqués en fonction de l’appartenance de l’utilisateur au groupe Microsoft Entra. Vous pouvez activer l’accès au niveau des documents seulement sur les index Recherche Azure AI existants. Pour activer l’accès au niveau du document:

1. Suivez les étapes de la documentation Recherche Azure AI pour inscrire votre application, et pour créer des utilisateurs et des groupes.

2. Indexez vos documents avec leurs groupes autorisés. Assurez-vous que vos nouveaux champs de sécurité ont le schéma ci-dessous:

   {"name": "group_ids", "type": "Collection(Edm.String)", "filterable": true }

   group_ids est le nom de champ par défaut. Si vous utilisez un autre nom de champ tel que my_group_ids, vous pouvez mapper le champ dans le mappage de champs d’index.

3. Vérifiez que la valeur de chaque document sensible de l’index est correctement définie sur ce champ de sécurité pour indiquer les groupes autorisés du document.

4. Dans Azure OpenAI Studio, ajoutez votre source de données. Dans la section Mappage des champs d’index, vous pouvez mapper zéro ou une valeur au champ Groupes autorisés, tant que le schéma est compatible. Si le champ Groupes autorisés n’est pas mappé, l’accès au niveau du document n’est pas activé.

Azure OpenAI Studio

Une fois l’index Recherche Azure AI connecté, vos réponses dans le studio ont accès aux documents en fonction des autorisations Microsoft Entra de l’utilisateur connecté.

Application Web

Si vous utilisez une application web publiée, vous devez la redéployer pour effectuer une mise à niveau vers la dernière version. La dernière version de l’application web inclut la possibilité de récupérer les groupes du compte Microsoft Entra de l’utilisateur connecté, de le mettre en cache et d’inclure les ID de groupe dans chaque requête d’API.

API

Lorsque vous utilisez l’API, transmettez le paramètre filter dans chaque requête d’API. Par exemple:

{ "messages": [ { "role": "user", "content": "who is my manager?" } ], "dataSources": [ { "type": "AzureCognitiveSearch", "parameters": { "endpoint": "'$AZURE_AI_SEARCH_ENDPOINT'", "key": "'$AZURE_AI_SEARCH_API_KEY'", "indexName": "'$AZURE_AI_SEARCH_INDEX'", "filter": "my_group_ids/any(g:search.in(g, 'group_id1, group_id2'))" } } ]}

• my_group_ids est le nom de champ que vous avez sélectionné pour Groupes autorisés lors du mappage des champs.
• group_id1, group_id2 sont des groupes attribués à l’utilisateur connecté. L’application cliente peut récupérer et mettre en cache les groupes d’utilisateurs.

Configuration des ressources

Utilisez les sections suivantes afin de configurer vos ressources pour une utilisation sécurisée optimale. Même si vous n'envisagez de sécuriser qu'une partie de vos ressources, vous devez suivre toutes les étapes ci-dessous.

Cet article décrit les paramètres réseau liés à la désactivation du réseau public pour les ressources Azure OpenAI, les ressources de recherche Azure AI et les comptes de stockage. L’utilisation de réseaux sélectionnés avec des règles IP n’est pas prise en charge, car les adresses IP des services sont dynamiques.

Créer un groupe de ressources

Créez un groupe de ressources afin de pouvoir organiser toutes les ressources pertinentes. Les ressources du groupe de ressources incluent notamment :

• Un réseau virtuel
• Trois services clés : Azure OpenAI, Recherche Azure AI, un compte de stockage
• Trois points de terminaison privés, chacun lié à un service clé
• Trois interfaces réseau, chacune associée à un point de terminaison privé
• Une passerelle de réseau virtuel pour l’accès à partir de machines clientes locales
• Une application web avec un réseau virtuel intégré
• Une zone DNS privée, afin que l’application web puisse trouver l’adresse IP de votre instance Azure OpenAI

Création d’un réseau virtuel

Le réseau virtuel comporte trois sous-réseaux.

1. Le premier sous-réseau est utilisé pour les adresses IP privées des trois points de terminaison privés.
2. Le deuxième sous-réseau est créé automatiquement lorsque vous créez la passerelle de réseau virtuel.
3. Le troisième sous-réseau est vide, et utilisé pour l’intégration de réseau virtuel sortant d’application web.

Notez que le réseau virtuel managé par Microsoft est créé par Microsoft, et que vous ne pouvez pas le voir. Le réseau virtuel managé par Microsoft est utilisé par Azure OpenAI pour accéder de manière sécurisée à votre service Recherche Azure AI.

Configurer Azure OpenAI

Sous-domaine personnalisé activé

Si vous avez créé Azure OpenAI via le portail Azure, le sous-domaine personnalisé doit déjà avoir été créé. Le sous-domaine personnalisé est requis pour l’authentification basée sur Microsoft Entra ID et la zone DNS privée.

Activer une identité managée

Pour permettre à votre compte Recherche Azure AI et votre compte de stockage de reconnaître votre service Azure OpenAI via l’authentification Microsoft Entra ID, vous devez attribuer une identité managée à votre service Azure OpenAI. Le moyen le plus simple consiste à activer l’identité managée affectée par le système sur le portail Azure.

Pour définir les identités managées via l’API de gestion, consultez la documentation de référence sur l’API de gestion.

"identity": { "principalId": "12345678-abcd-1234-5678-abc123def", "tenantId": "1234567-abcd-1234-1234-abcd1234", "type": "SystemAssigned, UserAssigned", "userAssignedIdentities": { "/subscriptions/1234-5678-abcd-1234-1234abcd/resourceGroups/my-resource-group", "principalId": "12345678-abcd-1234-5678-abcdefg1234", "clientId": "12345678-abcd-efgh-1234-12345678" }}

Activer le service approuvé

Pour autoriser votre service Recherche Azure AI à appeler votre preprocessing-jobs Azure OpenAI en tant qu’API web de compétence personnalisée, alors qu’Azure OpenAI n’a aucun accès au réseau public, vous devez configurer Azure OpenAI de façon à contourner Recherche Azure AI en tant que service approuvé sur l’identité managée. Azure OpenAI identifie le trafic provenant de votre service Recherche Azure AI en vérifiant les revendications dans le jeton JWT (JSON Web Token). Recherche AzureAI doit utiliser l’authentification d’identité managée affectée par le système pour appeler l’API web de compétence personnalisée.

Définissez networkAcls.bypass sur AzureServices à partir de l’API de gestion. Pour plus d’informations, consultez l’article sur les réseaux virtuels.

Vous pouvez ignorer cette étape uniquement si vous disposez d’une liaison privée partagée pour votre ressource Recherche AzureAI.

Désactiver l’accès au réseau public

Vous pouvez désactiver l’accès au réseau public de votre ressource Azure OpenAI dans le portail Azure.

Pour autoriser l’accès à votre service Azure OpenAI à partir de vos machines clientes, par exemple pour utiliser Azure OpenAI Studio, vous devez créer des connexions de point de terminaison privé qui se connectent à votre ressource Azure OpenAI.

Configurer Recherche Azure AI

Vous pouvez utiliser le niveau tarifaire de base et les niveaux supérieurs pour la configuration ci-dessous. Bien que cela ne soit pas nécessaire, si vous utilisez le niveau tarifaireS2, vous verrez s’afficher les options supplémentaires disponibles pour la sélection.

Activer une identité managée

Pour autoriser vos autres ressources à reconnaître Recherche AzureAI à l’aide de l’authentification Microsoft Entra ID, vous devez affecter une identité managée à votre service Recherche Azure AI. Le moyen le plus simple consiste à activer l’identité managée affectée par le système dans le portail Azure.

Activer le contrôle d’accès en fonction du rôle

Comme Azure OpenAI utilise l’identité managée pour accéder à Recherche Azure AI, vous devez activer le contrôle d’accès en fonction du rôle dans votre service Recherche Azure AI. Pour ce faire dans le portail Azure, sélectionnez Les deux sous l’onglet Clés du portail Azure.

Pour activer le contrôle d’accès en fonction du rôle via l’API REST, affectez la valeur aadOrApiKey à authOptions. Pour plus d’informations, consultez l’article sur le contrôle d’accès en fonction du rôle (RBAC) dans Recherche Azure AI.

"disableLocalAuth": false,"authOptions": { "aadOrApiKey": { "aadAuthFailureMode": "http401WithBearerChallenge" }}

Pour utiliser Azure OpenAI Studio, vous ne pouvez pas désactiver l’authentification basée sur la clé API pour Recherche AzureAI, car Azure OpenAI Studio utilise la clé API pour appeler l’API Recherche AzureAI à partir de votre navigateur.

Désactiver l’accès au réseau public

Vous pouvez désactiver l’accès au réseau public de votre ressource Recherche Azure AI dans le portail Azure.

Pour autoriser l’accès à votre ressource Recherche Azure AI à partir de vos machines clientes, par exemple pour utiliser Azure OpenAI Studio, vous devez créer des connexions de point de terminaison privé qui se connectent à votre ressource Recherche Azure AI.

La ressource du point de terminaison privé est approvisionnée dans un locataire géré par Microsoft, tandis que la ressource liée se trouve dans votre locataire. Vous ne pouvez pas accéder à la ressource du point de terminaison privé en cliquant simplement sur la liaison de point de terminaison privé (en police bleue) dans l’onglet Accès privé de la page Mise en réseau. À la place, cliquez ailleurs sur la ligne. Ainsi, le bouton Approuver ci-dessus devrait être cliquable.

En savoir plus sur le workflow d’approbation manuelle.

Cette section s’applique uniquement à la ressource de recherche de niveau tarifaireS2, car elle nécessite la prise en charge des points de terminaison privés pour les indexeurs ayant un ensemble de compétences.

Pour créer une liaison privée partagée entre votre ressource de recherche et votre ressource Azure OpenAI, consultez la documentation de recherche. Sélectionnez le Type de ressource en tant que Microsoft.CognitiveServices/accounts, et l’ID de groupe en tant que openai_account.

Avec une liaison privée partagée, l’étapehuit du diagramme d’architecture d’ingestion des données passe de contourner le service approuvé à point de terminaison privé.

La liaison privée partagée Recherche AzureAI que vous avez créée se trouve également dans un réseau virtuel managé par Microsoft, et non dans votre réseau virtuel. La différence par rapport à l’autre point de terminaison privé géré créé plus tôt réside dans le fait que le point de terminaison privé géré [1] entre Azure OpenAI et Recherche Azure est approvisionné via l’application de formulaire, alors que le point de terminaison privé géré [2] entre Recherche Azure et Azure OpenAI est approvisionné via le portail Azure ou l’API REST de Recherche Azure.

Configurer un compte de stockage

Activer le service approuvé

Pour autoriser l’accès à votre compte de stockage à partir d’Azure OpenAI et de Recherche Azure AI, alors que le compte de stockage n’a aucun accès au réseau public, vous devez configurer le compte de stockage pour contourner vos services Azure OpenAI et Recherche Azure AI en tant que services approuvés en fonction de l’identité managée.

Dans le portail Azure, accédez à l’onglet Réseau de votre compte de stockage, choisissez « Réseaux sélectionnés », puis sélectionnez Autorisez les services Azure figurant dans la liste des services approuvés à accéder à ce compte de stockage et cliquez sur Enregistrer.

Désactiver l’accès au réseau public

Vous pouvez désactiver l’accès au réseau public de votre compte de stockage dans le portail Azure.

Pour autoriser l’accès à votre compte de stockage à partir de vos machines clientes, par exemple pour utiliser Azure OpenAI Studio, vous devez créer des connexions de point de terminaison privé qui se connectent à votre stockage d’objets blob.

Affectations de rôles

Jusqu’à présent, vous avez configuré chaque ressource de manière indépendante. Vous devez à présent permettre aux services de s’autoriser les uns les autres.

Dans le tableau ci-dessus, Assignee signifie l’identité managée affectée par le système de cette ressource.

L’administrateur doit avoir le rôle Owner sur ces ressources pour ajouter des attributions de rôle.

Consultez la documentation sur RBAC Azure pour obtenir des instructions sur la définition de ces rôles dans le portail Azure. Vous pouvez utiliser le script disponible sur GitHub pour ajouter les attributions de rôles par programmation.

Pour permettre aux développeurs d’utiliser ces ressources afin de générer des applications, l’administrateur doit ajouter l’identité des développeurs avec les attributions de rôle suivantes aux ressources.

Configurer la passerelle et le client

Pour accéder au service Azure OpenAI à partir de vos machines clientes locales, l’une des approches consiste à configurer la passerelle VPN Azure et Azure VPN Client.

Suivez ces instructions pour créer une passerelle de réseau virtuel pour votre réseau virtuel.

Suivez ces instructions pour ajouter une configuration de point à site et activer l’authentification basée sur Microsoft Entra ID. Téléchargez le package de configuration du profil Azure VPN Client, décompressez-le et importez le fichier AzureVPN/azurevpnconfig.xml dans votre client VPN Azure.

Configurez le fichier hosts de votre machine locale de façon à ce que les noms d’hôte de vos ressources pointent vers les adresses IP privées de votre réseau virtuel. Le fichier hosts se trouve à C:\Windows\System32\drivers\etc pour Windows et à /etc/hosts pour Linux. Exemple :

10.0.0.5 contoso.openai.azure.com10.0.0.6 contoso.search.windows.net10.0.0.7 contoso.blob.core.windows.net

Azure OpenAI Studio

Vous devriez pouvoir utiliser toutes les fonctionnalités d’Azure OpenAI Studio, notamment l’ingestion et l’inférence, à partir de vos machines clientes locales.

Application web

L’application web communique avec votre ressource Azure OpenAI. Étant donné que le réseau public est désactivé sur votre ressource Azure OpenAI, l’application web doit être configurée de façon à utiliser le point de terminaison privé dans votre réseau virtuel pour accéder à votre ressource Azure OpenAI.

L’application web doit résoudre votre nom d’hôte Azure OpenAI en l’adresse IP privée du point de terminaison privé pour Azure OpenAI. Par conséquent, vous devez d’abord configurer la zone DNS privée pour votre réseau virtuel.

1. Créez une zone DNS privée dans votre groupe de ressources.
2. Ajoutez un enregistrement DNS. L’adresse IP est l’adresse IP privée du point de terminaison privé de votre ressource Azure OpenAI, et vous pouvez obtenir l’adresse IP à partir de l’interface réseau associée au point de terminaison privé de votre instance Azure OpenAI.
3. Liez la zone DNS privée à votre réseau virtuel afin que l’application web intégrée dans ce réseau virtuel puisse utiliser cette zone DNS privée.

Lors du déploiement de l’application web à partir d’Azure OpenAI Studio, sélectionnez le même emplacement avec le réseau virtuel, puis sélectionnez une référence SKU appropriée, afin qu’elle puisse prendre en charge la fonctionnalité d’intégration de réseau virtuel.

Une fois l’application web déployée, à partir de l’onglet Mise en réseau du portail Azure, configurez l’intégration du réseau virtuel du trafic sortant de l’application web, et choisissez le troisième sous-réseau que vous avez réservé pour l’application web.

Utilisation de l’API

Vérifiez que vos informations d’identification de connexion ont le rôle Cognitive Services OpenAI Contributor sur votre ressource Azure OpenAI, et exécutez az login au préalable.

API d’ingestion

Pour plus d’informations sur les objets de demande et de réponse utilisés par l’API d’ingestion, consultez l’article de référence sur l’API d’ingestion.

Autres remarques :

• JOB_NAME dans le chemin d’accès de l’API est utilisé comme nom d’index dans Recherche AzureAI.
• Utilisez l’en-tête Authorization plutôt que la clé API.
• Définissez explicitement l’en-tête storageEndpoint.
• Utilisez le format ResourceId= pour l’en-tête storageConnectionString, afin qu’Azure OpenAI et Recherche Azure AI utilisent l’identité managée pour authentifier le compte de stockage, ce qui est nécessaire pour contourner les restrictions réseau.
• Ne définissez pas l’en-tête searchServiceAdminKey. L’identité affectée par le système de la ressource Azure OpenAI est utilisée pour authentifier Recherche Azure AI.
• Ne définissez pasembeddingEndpoint ou embeddingKey. Utilisez plutôt l’en-tête embeddingDeploymentName pour activer la vectorisation de texte.

Exemple d’envoi d’un travail

accessToken=$(az account get-access-token --resource https://cognitiveservices.azure.com/ --query "accessToken" --output tsv)curl -i -X PUT https://my-resource.openai.azure.com/openai/extensions/on-your-data/ingestion-jobs/vpn1025a?api-version=2023-10-01-preview \-H "Content-Type: application/json" \-H "Authorization: Bearer $accessToken" \-H "storageEndpoint: https://mystorage.blob.core.windows.net/" \-H "storageConnectionString: ResourceId=/subscriptions/1234567-abcd-1234-5678-1234abcd/resourceGroups/my-resource/providers/Microsoft.Storage/storageAccounts/mystorage" \-H "storageContainer: my-container" \-H "searchServiceEndpoint: https://mysearch.search.windows.net" \-H "embeddingDeploymentName: ada" \-d \'{}'

Exemple d’obtention de l’état d’un travail

accessToken=$(az account get-access-token --resource https://cognitiveservices.azure.com/ --query "accessToken" --output tsv)curl -i -X GET https://my-resource.openai.azure.com/openai/extensions/on-your-data/ingestion-jobs/abc1234?api-version=2023-10-01-preview \-H "Content-Type: application/json" \-H "Authorization: Bearer $accessToken"

API d’inférence

Pour plus d’informations sur les objets de demande et de réponse utilisés par l’API d’inférence, consultez l’article de référence sur l’API d’inférence.