Enquête qualité - Réseaux mobiles Juillet 2010

	Enquête qualité - Réseaux mobiles Juillet 2010	Téléchargement
	Publié par : TechnoFil

Juillet 2010
La qualité des services de voix et de données
des réseaux mobiles (2G et 3G)
en France métropolitaine
Les résultats de l’enquête pour l’année 2009

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

La qualité des services de voix et de données
des réseaux mobiles en France métropolitaine

Sommaire

Synthèse
page
3

Qualité du service de voix des réseaux mobiles (2G et 3G)

page 8

Qualité des services de données des réseaux mobiles (2G et 3G)
page 27

2/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Synthèse

L’enquête de qualité de service menée annuellement par l’ARCEP a pour objectif d’une part,
d’apprécier, sur une base comparative, la qualité de service des réseaux mobiles offerte aux
abonnés par les opérateurs mobiles et, d’autre part, de vérifier que les obligations
réglementaires en matière de qualité de service sont bien respectées1.

La qualité de service est testée sur les réseaux de deuxième et de troisième générations de
Orange France, SFR et Bouygues Telecom.

Les autorisations des opérateurs de téléphonie mobile prévoient qu’une enquête d’évaluation
de la qualité de service est menée chaque année et que les opérateurs contribuent
financièrement à sa réalisation.

L’ARCEP rédige, à cette fin, en concertation avec les opérateurs, un cahier des charges
détaillant la méthodologie à suivre pour la réalisation de l’enquête et la publication de ses
résultats.

Depuis 2007, cette enquête se divise en une enquête d’évaluation de la qualité du service de
voix et une enquête d’évaluation de la qualité des services de données.

En 2009, l’enquête relative au service de voix a été conduite par le cabinet Directique et celle
relative aux services de données a été conduite par le cabinet Assystem. Elles se sont
déroulées de début septembre à mi-décembre 2009.

Les deux enquêtes menées en 2009 ont évolué sur un certain nombre de points par rapport à
2008, notamment par la prise en compte des agglomérations de 10 000 à 20 000 habitants et
l’introduction de communications d’une durée de 5 minutes pour l’enquête relative au service
de voix, et par la prise en compte des agglomérations de 50 000 à 400 000 habitants pour
l’enquête relative aux services de données.

1. Enquête relative à la qualité du service de voix

1.1 Méthodologie
1.1.1 Définition d’une mesure

Une mesure consiste à tenter d’établir une communication téléphonique, puis à évaluer la
qualité auditive de la communication, sur chacun des réseaux des opérateurs testés, en
utilisant aussi bien les réseaux 2G que les réseaux 3G.

1 L’enquête menée par l’ARCEP vise, au travers de mesures techniques réalisées sur le terrain, à refléter de
manière statistique la qualité des services sur les réseaux des opérateurs. Elle ne vise pas à recueillir, par
exemple au travers d’un sondage, la perception que pourraient avoir les abonnés de la qualité de bout en bout de
ces services, qui peut dépendre de leur usage du réseau, du terminal et des applications utilisées.

3/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Deux aspects sont mesurés lors de l’enquête :

 la capacité de démarrer une communication et de la maintenir 2 ou 5 minutes ;
 la qualité audio de la communication.

1.1.2 Zones géographiques et usages

Les mesures sont effectuées dans les agglomérations et sur les axes de circulation suivants :

 dans les 12 agglomérations les plus peuplées (TOP12)2 à l’intérieur et à l’extérieur des
bâtiments et en situation de passager à bord d’un véhicule en mouvement ;
 dans 20 agglomérations entre 50 000 et 400 000 habitants à l’intérieur et à l’extérieur
des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;
 dans 20 agglomérations entre 10 000 et 50 000 habitants à l’intérieur et à l’extérieur
des bâtiments et en situation de passager à bord d’un véhicule en mouvement ;
 dans les principales lignes TGV (en mouvement) ;
 sur les autoroutes à fort trafic en situation de passager à bord d’un véhicule en
mouvement ;
 dans les trains de banlieue et tramways (en mouvement).

1.1.3 Terminaux utilisés

Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et
un terminal de troisième génération, sélectionnés parmi les trois terminaux les plus vendus de
chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête.

La répartition entre les deux types de terminaux est réglée pour chaque opérateur de manière
à être représentative du client moyen de l’opérateur.

1.2 Les enseignements de l’enquête de voix

Le maintien de la qualité de service est un enjeu important pour les opérateurs au regard de la
constante augmentation du trafic.

Les résultats confirment le bon niveau global de la qualité du service observé depuis plusieurs
années pour tous les opérateurs.

En 2009, les agglomérations de 10 000 à 20 000 habitants ont été auditées. On note que la
prise en compte de ces agglomérations n’induit pas de baisse de la qualité globale des réseaux.

En outre, des communications d’une durée de 5 minutes ont été introduites dans l’enquête
2009, en plus des communications d’une durée de 2 minutes. On note que les résultats pour
les communications de 5 minutes sont quasiment égaux à ceux obtenus par les

2 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble

4/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

communications de 2 minutes, sauf sur le taux de communications de qualité parfaite où l’on
constate une différence de 1,8%.

Dans les TGV, la qualité s’est nettement améliorée, le taux de communication de qualité
parfaite connaissant une amélioration de 3%.

Sur les autoroutes, les résultats sont sensiblement équivalents à ceux obtenus en 2008.

En revanche, dans les trains de banlieue, les résultats sont en baisse, le taux de
communication de qualité parfaite connaissant une baisse de 4%.

2. Enquête relative à la qualité des services de données

Avertissement sur la comparabilité des résultats par rapport à 2008 :
Il faut noter que, dans le cadre de l’enquête 2009 relative à la qualité des services de données,
le prestataire retenu n’a pas toujours respecté à la lettre le cahier des charges. En effet, le
volume de mesures par service n’a pas été atteint dans les agglomérations du TOP 12,
pouvant engendrer une précision statistique moindre, et la plage horaire 20h-21h n’a pas été
auditée. La comparabilité de certains résultats par rapport à ceux de 2008 peut donc s’en
trouver affectée.
2.1 Méthodologie
2.1.1 Services audités

L’enquête d’évaluation de la qualité de service permet de vérifier, à la fois pour les réseaux
2G et 3G :

 la qualité du service de messages courts (SMS) ;
 la qualité du service de transmission de photo par MMS ;
 la qualité du service d’accès WAP ;
 la qualité du service de transfert de fichiers ;
 la qualité du service de visiophonie (pour les réseaux de troisième génération
uniquement).

2.1.2 Répartition géographique

Les mesures sont effectuées dans les agglomérations suivantes :

 dans les 12 agglomérations les plus peuplées3 en situation statique à l’extérieur des
bâtiments (sauf pour le service de visiophonie : piéton extérieur et piéton intérieur) ;
 dans 20 agglomérations entre 50 000 et 400 000 habitants en situation statique à
l’extérieur des bâtiments.

3 Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble

5/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2.1.3 Terminaux utilisés et offres testées

SMS, MMS, WAP et visiophonie

Pour chaque opérateur, les mesures sont réalisées avec un terminal de deuxième génération et
un terminal de troisième génération sélectionnés parmi les trois terminaux les plus vendus de
chaque opérateur au cours des 6 mois précédant le démarrage de l’enquête (hormis pour la
visiophonie, qui n’est testée qu’avec un terminal 3G).

La répartition entre les deux types de terminaux est réglée pour chaque opérateur de manière
à être représentative de la clientèle de l’opérateur.

Téléchargement de fichiers

Les mesures sont réalisées sur un ordinateur portable avec une clé USB, une carte PCMCIA
ou un ordinateur ultraportable avec 3G intégrée. L’offre testée correspond, pour chaque
opérateur, à l’offre 3G+ grand public la plus performante disponible en boutique au lancement
de l’enquête.

2.2 Les enseignements de l’enquête sur les services de données
2.2.1 Le service de transfert de fichiers en mode FTP

Sur chaque point de mesure, la mesure est faite sur le meilleur réseau disponible (EDGE,
UMTS, HSPA) de chaque opérateur.

Les résultats présentent des éléments d’appréciation des performances des réseaux des
opérateurs au moment de l’enquête achevée à l’hiver 2009. Ils ne préjugent pas des évolutions
relatives aux déploiements par les opérateurs des différentes technologies employées et celles
relatives à la charge des réseaux des opérateurs.

Il est important de préciser que le transit des fichiers transférés se fait en partie via internet :
ce transit peut parfois engendrer des difficultés d’accès au serveur et un allongement du délai
de réception des messages, indépendamment de la qualité de transmission propre au réseau
mobile.

Ces tests ont démontré que les débits observés pour le téléchargement de fichiers sur les
réseaux 3G atteignaient plus de 5 Mbit/s pour les plus rapides, et que l’envoi de fichiers a fait
apparaître des débits supérieurs à 1,7 Mbit/s pour les plus rapides. De plus, le débit moyen
atteint 2,2 Mbit/s pour le téléchargement et 1,2 Mbit/s pour l’envoi de fichier, plus d’une fois
et demi supérieur aux résultats obtenus en 2008.

2.2.2 Les autres services de données

6/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Les résultats du service de message court (SMS) confirment, avec un taux de réussite
supérieur à 99%, le bon niveau de qualité global de ce service observé depuis plusieurs
années.

Le service d’envoi de photo par messagerie multimédia (MMS) présente des résultats en recul
cette année avec une baisse de 4% du taux de messages reçus dans un délai inférieur à
3 minutes.

Les résultats du service de navigation WAP connaissent également un recul cette année avec
une baisse de 2% du taux de connexion au portail et de 3% du taux de navigation réussie et
maintenue pendant 5 minutes.

3. Format de restitution des résultats

Les résultats complets sont disponibles à la fin de chaque rapport, après une description
détaillée des protocoles de mesures.

La signalétique utilisée dans les tableaux de résultats est la suivante :

 la qualification du résultat individuel de chaque opérateur autour de la moyenne
agrégée des trois opérateurs est symbolisée par les signes suivants :

Symbole
Signification
– –
Très inférieur à la valeur de référence
–
Inférieur à la valeur de référence
=
Voisin de la valeur de référence
+
Supérieur à la valeur de référence
+ +
Très supérieur à la valeur de référence

 les flèches apparaissant dans les tableaux indiquent le sens de l’évolution des
résultats par rapport à l’enquête 2008, lorsque la comparaison est possible et que
l’évolution est significative.

7/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Enquête d’évaluation de la qualité
du service de voix des réseaux
mobiles de deuxième et troisième
générations en France métropolitaine

2009

8/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

-
SOMMAIRE

1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE.......................... 11
1.1 CONFIGURATION GÉNÉRALE.........................................................................................................................11
1.2 CONSTRUCTION DE L’ÉCHANTILLON...........................................................................................................12
1.3 CONDITIONS DE MESURE ...............................................................................................................................15
1.4 NOTATION DE LA QUALITÉ AUDITIVE...........................................................................................................18
1.5 EQUIPES ET DÉROULEMENT DE L’ENQUÊTE ..............................................................................................19
2. INDICATEURS DE PUBLICATION DE L’ENQUETE............................... 21
2.1 DÉFINITIONS DES INDICATEURS PUBLIÉS ..................................................................................................21
2.2 PRINCIPES GÉNÉRAUX DE LA PUBLICATION ..............................................................................................21
3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DU
SERVICE DE VOIX DES RESEAUX DE DEUXIÈME ET DE TROISIEME
GENERATIONS EN FRANCE METROPOLITAINE ........................................ 23
3.1 USAGE COURANT EN AGGLOMÉRATION .....................................................................................................23
3.2 AUTRES USAGES..............................................................................................................................................25

10/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE

1.1 Configuration générale
1.1.1 Définition de la mesure
Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphones fixes
s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils vérifient l’obtention
de l’appel (absence d’échec), le maintien de la communication pendant la durée de l’appel, qui peut
être de 2 minutes ou 5 minutes (absence de coupure), et évaluent la qualité auditive de la
communication.
Une partie des mesures a été réalisée avec des mobiles 3G : 30% pour SFR, 20% pour Orange
France et 10% pour Bouygues Telecom. Les mesures 3G sont intercalées entre les mesures 2G afin
d’être réparties uniformément sur les zones testées.
Les appels ont été passés dans 1/3 des cas du fixe vers le mobile et pour le reste, du mobile
vers le fixe.
Plusieurs situations d’utilisation sont testées :
 en voiture, en situation passager (sans antenne de toit) sur autoroutes et dans les
agglomérations,
 en piéton à l’extérieur,
 en piéton à l’intérieur de bâtiments,
 à bord des trains de banlieue et tramways,
 à bord des TGV.
Quelle que soit la situation, les mesures ont été effectuées simultanément sur les trois réseaux
au même endroit géographique. Chaque réseau est testé par un binôme d’enquêteurs, l’un mobile et
l’autre fixe.
L’utilisation d’un kit oreillette est systématique.
Les mesures en situation de piéton à l’intérieur (bureaux, habitations et lieux publics) ont été
réalisées en 1er jour (pièce avec fenêtre). Elles sont réparties entre le rez-de-chaussée et les étages en
excluant les sous-sols.
1.1.2 Calendrier, planning et horaires
L’enquête s’est déroulée pour partie du 6 au 10 juillet 2009 puis du 24 août au 18 décembre
2009.
Durant l’enquête, les opérateurs Bouygues Telecom, Orange France et SFR ne connaissaient
ni les dates ni les lieux où étaient effectuées les mesures. Ils ignoraient aussi la liste des villes tirées au
sort parmi les agglomérations de moins de 400 000 habitants ainsi que les abonnements utilisés dans le
cadre de l’enquête.
Les mesures ont été réalisées du lundi au vendredi, jours fériés inclus, et réparties de façon
homogène entre 9h et 21h. Dans les agglomérations (hors trains de banlieue et tramways), les heures
pleines : 12h-13h et 18h-21h ont été privilégiées à hauteur de 40%.
Les mesures ont été réparties sur la durée de l’enquête pour chaque usage, dans les
agglomérations, les axes et les lignes TGV. De plus, afin d’obtenir une répartition temporellement
homogène de l’enquête, plusieurs passages ont été effectués dans chacune des agglomérations de plus
de 400 000 habitants.

11/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.1.3 Terminaux utilisés
Les terminaux ont été choisis parmi les meilleures ventes des packs de chaque opérateur. Une
vérification fonctionnelle a permis de garantir que les téléphones sélectionnés possédaient des
performances comparables et qu’ils n’induisaient pas eux-mêmes de biais dans la mesure.
Les terminaux retenus sont les suivants :

Opérateur
GSM (2G)
UMTS (3G)
Bouygues Telecom
LG KP500
Samsung F480
Orange France
SE F305
Samsung F480
SFR
Nokia 1680
Samsung L760

1.2 Construction de l’échantillon
1.2.1 Sélection des agglomérations
Les agglomérations de plus de 400 000 habitants sont au nombre de 12. Toutes ont été
retenues et testées, en distinguant les “zones très denses” et les “autres zones denses” selon les critères
suivants :
 Zones très denses : centre ville de la ou des communes principales, zones de transit (gares,
aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et
autoroutes dans les limites de l’agglomération ;
 Autres zones denses : continuum bâti autour des zones très denses, autres centres villes de
plus de 5 000 habitants, autres axes urbains au sein de l’agglomération.

Les agglomérations de moins de 400 000 habitants sont séparées en deux groupes au sein
desquels ont été sélectionnées 20 agglomérations.
Pour les 20 agglomérations de 50 000 à 400 000 habitants, un tirage au sort a été effectué
avec une probabilité fonction logarithmique de la population, puis une rectification pour équilibrer les
diverses régions du territoire.
Cette méthode de tirage renforce volontairement la représentation des agglomérations de faible
population par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité
proportionnelle à sa population.

Pour les 20 agglomérations de 10 000 à 50 000 habitants, un tirage au sort a été effectué de
la même manière que pour la strate précédente mais en équilibrant de manière à ce que les
agglomérations de 10 000 à 20 000 habitants représentent 45 % de la population pour 2/3 du nombre
d’agglomérations.

Pour chaque agglomération, deux zones ont été distinguées : la “ ville ” qui correspond à la
commune principale et le reste de l’agglomération.

12/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Le tableau suivant regroupe les agglomérations sélectionnées classées par groupe et par ordre
alphabétique :

50 000 à 40 000
supérieur à 400 000 habitants
10 000 à 50 000 habitants
habitants
(TOP 12)
Ville
dépt
Ville
dépt
Ville
dé
Autun 71
Annemasse
1
Bordeaux
33
Coulommiers 77
Arles
13
Douai-Lens
62
Dinan 22
Bastia
2B
Grenoble
38
Dole 39
Bayonne
40
Lille
59
Dreux 28
Béziers
34
Lyon
69
Eschau 67
Brive-la-Gaillarde
19
Marseille-Aix-en-Provence 13
Gap 5
Caen
14
Nantes
44
Hazebrouck 59
Calais
62
Nice
6
Issoudun 36
Elbeuf
27
Paris
75
Liancourt 60
Montauban
82
Strasbourg
67
Limoux 11
Mulhouse
68
Toulon
83
Millau 12
Nevers
58
Toulouse
31
Montbrison 42
Niort
79

Mourenx 64
Orléans
45

Pertuis 84
Reims
51

Sablé-sur-Sarthe 72
Roanne
42

Saint-Maixent-l’école 79
Saint-Brieuc
22

Villefontaine 38
Thionville
57

Wimereux 62
Tours
37

Yvetot 76
Vannes
56

La représentativité des agglomérations est récapitulée dans le tableau suivant :

Total France
Echantillon
Agglomérations
Population
Nombre
Population Représentativit
Nombre
(millions) sélectionné
(millions)
é
de plus de 400 000
12 19,08 12 19,08 100
%
habitants
de 50 000 à 400 000
104 12,72 20
2,52
19,8
%
habitants
de 10 000 à 50 000
356 7,04 20 0,41
5,8
%
habitants

13/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.2.2 Carte des agglomérations et des axes testés

1.2.3 Volumétrie et répartition par type de lieu et par type d’usage
L’échantillon a été construit de manière à respecter les critères suivants :
 distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur,
zones géographiques, …) ;
 disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une
précision statistique satisfaisante ;
 répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des
utilisations les plus courantes.

14/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Le nombre de mesures pour l’ensemble des opérateurs est réparti de la manière suivante :
Communications de 2 minutes
Piéton
En agglomérations
Voiture
Total
En extérieur En intérieur
de plus de 400 000 habitants
590
1257
1683
3530
de 50 000 à 400 000
492 854 1283
2629
habitants
de 10 000 à 50 000 habitants
227
440
668
1335

Communications de 5 minutes
Piéton
En agglomérations
Voiture
Total
En extérieur En intérieur
de plus de 400 000 habitants
604
1125
1785
3514
de 50 000 à 400 000
404 933 1280
2617
habitants
de 10 000 à 50 000 habitants
206
483
671
1360

Sur les axes de circulation : communications de 2 minutes
Trains de
TGV Autoroutes Total
banlieue
2998 4493
2994
10485

Au total, l’étude a produit et exploité 25 470 appels téléphoniques.
1.3 Conditions de mesure
1.3.1 Conditions de mesure dans les agglomérations
Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de
conditions supplémentaires ont été prises en compte :
 Localisation des mesures
D’une façon générale, l’extension de chaque agglomération testée correspond à la définition
de l’INSEE de 2006 donnant la liste des communes appartenant à l’agglomération.
Les agglomérations de plus de 400 000 habitants ont été subdivisées en “ zones très denses ” et
“ autres zones denses ” comme expliqué précédemment.
Dans les autres agglomérations, ont été distingués la “ ville ”, qui est la commune principale,
et le reste de l’agglomération.
 Mesures en voiture
Dans les agglomérations de plus de 400 000 habitants, le territoire à tester a été divisé en
zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent
leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir
équitablement la zone.

15/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Dans les autres agglomérations, les mesures ont été réparties pour 2/3 en ville et 1/3 dans le
reste de l’agglomération. Elles ont été effectuées sur des parcours incluant les axes principaux et dans
les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités).
 Mesures piétons
Dispositions communes aux mesures à l’extérieur ou à l’intérieur des bâtiments
Dans chaque agglomération, les mesures ont été dispersées le plus possible sur le territoire à
tester et il a été évité de réaliser des mesures aux mêmes endroits que celles effectuées en voiture.
Dans les agglomérations de plus de 400 000 habitants, les mesures ont été réparties selon le
même principe de division en zones de surfaces équivalentes que pour les mesures en voiture.
Dans les autres agglomérations, les mesures ont été effectuées dans les zones bâties, avec une
répartition 2/3 en ville et 1/3 dans le reste de l’agglomération.
Mesures piétons en extérieur
Les mesures ont été réalisées pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré,
une seule mesure a été effectuée de façon à obtenir la meilleure dispersion géographique. Les
emplacements ont été choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et
jardins, plages, ...).
Mesures piétons en intérieur
Tous les appels ont été passés en 1er jour (pièce avec fenêtre), sans se déplacer, aux rez-de-
chaussée et dans les étages en excluant les sous-sols.
Dans certains lieux publics (gares par exemple), la notion de 1er jour n’a pas de sens
particulier. Dans ce cas, les mesures se font dans les emplacements fréquentés.
Les mesures ont été réparties, selon le type de bâtiment : 20% dans les immeubles de bureaux
privés, 30% dans des locaux d’habitations privés, 50% dans les lieux publics. La dispersion des
mesures est assurée de la façon suivante :
 dans les lieux publics de grande superficie : 3 à 4 mesures,
 dans les lieux publics de petite surface : 2 mesures,
 dans les lieux privés (bureaux ou habitations) : 1 à 4 mesures selon la surface, réparties dans
l’ensemble du bâtiment, entre étages et pièces.
1.3.2 Conditions de mesure dans les trains de banlieue et tramways
Ces mesures concernent les agglomérations de Paris, Lyon, Lille et Marseille-Aix-en-
Provence dotées de réseaux de trains de banlieue et de tramways. La répartition des mesures est la
suivante. Celle-ci est basée sur les données de trafic et de fréquence des rames compilées à partir des
sources www.ter-sncf.com (maj. 2009), www.paris.fr/portail/deplacements (maj. 2007), www.rtm.fr
(maj. 2008), ainsi que le Portail des Transports en commun sur Wikipédia (maj. 2009).

Agglomérations testées
Proportion de
en
mesures
trains de banlieue
Paris 59,9
%
Lyon 14,3
%
Lille 9,8
%
Marseille 16
%

16/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas
ou haut dans les rames, un côté de la voie à l’aller puis l’autre au retour. Les trois enquêteurs sont
groupés afin d’évaluer les trois réseaux dans les mêmes conditions.
1.3.3 Conditions de mesure sur les autoroutes
La répartition des mesures sur les axes autoroutiers à fort trafic est présentée ci-dessous. Celle-
ci est basée sur les données fournies par le SETRA (maj. 2006) et compilées par Directique.

Proportion de
Axes autoroutiers
mesures
A1 Paris - Lille
10 %
A4 Paris - Strasbourg
10,5 %
A6 Paris - Lyon
19,3 %
A7 Lyon - Marseille
13,4 %
A8 Marseille - Nice
4,2 %
A9 Orange - Perpignan
11,1 %
A10 Paris - Bordeaux
11,6 %
A11 Paris - Nantes
6,8 %
A13 Paris - Caen
4,6 %
A61 Toulouse -
Narbonne 2,9
%
A62 Bordeaux -
Toulouse 5,6
%

Les tests sont réalisés en variant régulièrement les positions des enquêteurs dans le véhicule
afin d’évaluer les trois réseaux dans les mêmes conditions.
1.3.4 Conditions de mesure dans les TGV
La répartition des mesures sur les lignes de TGV testées est présentée ci-dessous. Celle-ci est
basée sur les cartes du site http://www.tgv.com/fr/ indiquant la fréquence des rames circulant
quotidiennement (maj. 2009).
Proportion de
Lignes TGV
mesures
Lille - Lyon
13,5 %
Paris - Arras
2,7 %
Paris - Bordeaux
11,3 %
Paris - Calais
10,1 %
Paris - Lille
10,9 %
Paris - Lyon
14,5 %
Paris - Marseille
10,4 %
Paris - Nantes
13,5 %
Paris - Rennes
6,1 %
Paris - Strasbourg
7 %

Les tests sont réalisés en variant les positions des enquêteurs dans les rames : fenêtre ou
couloir, bas ou haut dans les rames en duplex, un côté de la voie à l’aller puis l’autre au retour. Les
trois enquêteurs sont groupés pour évaluer les trois réseaux dans les mêmes conditions.

17/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.4 Notation de la qualité auditive
La qualité auditive est notée par les enquêteurs mobile et fixe, selon une échelle à 4 niveaux :

 Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe commuté ;
 Acceptable : légère gêne dans l’écoute par quelques perturbations qui ne troublent toutefois
pas la conversation ;
 Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est
encore possible de se comprendre ;
 Mauvais : il est très difficile de s’entendre, la conversation est impossible.
Chaque enquêteur mobile et fixe, porte une appréciation sur les communications maintenues
2 ou 5 minutes. L’appréciation la plus sévère des deux est retenue.
Les communications sont séparées en 2 tranches de durées égales et qualifiées
indépendamment. La note de l’appel découle de l’appréciation la plus sévère des deux tranches. En cas
d’échec ou de coupure durant la première tranche, l’appel est relancé en seconde tranche et la note
résulte de l’appréciation de la première tranche.
Des dispositions ont été prises pour garantir une appréciation objective de la qualité de la part
des enquêteurs ainsi que pour éviter les divergences d’évaluation et leurs conséquences sur les
résultats. Les enquêteurs ont été formés spécifiquement afin de qualifier les communications de façon
rigoureuse.
Les dispositions prises afin de garantir un étalonnage objectif et homogène de la qualité
auditive ont été les suivantes :
 formation des enquêteurs afin d’identifier les perturbations typiques pouvant survenir sur les
réseaux mobiles numériques (écho, bruit métallique, grésillements,…).
 entraînement (début et fin de chaque phase de mesures) à l'étalonnage de la qualité auditive
d'après des enregistrements sonores, et contrôle de la dispersion des résultats.
 avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant. Leur
bon fonctionnement a été contrôlé comme le ferait un usager classique en vérifiant notamment
le bon accrochage du réseau, le contrôle de la batterie et les premières communications.
 campagne de mesures probatoires en situation réelle et analyse : application de procédures,
enregistrement des données pour tous les enquêteurs mobile et fixe, et analyse des résultats.
 contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et
contrôle des données enregistrées tout au long de l’enquête.
 analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques
permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les
enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie.
 permutation des binômes d’enquêteurs fixe et mobile sur chaque réseau et entre eux afin
d’éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et
dans des groupes différents.
Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps
réel. S'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la
base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après
correction du problème.

18/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.5 Equipes et déroulement de l’enquête
1.5.1 Réalisation des mesures
Un chef de projet assure la formation des équipes au protocole ARCEP, l’organisation des
itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.
Les mesures en voiture ont été réalisées par une équipe de 7 personnes (3 enquêteurs mobile
accompagnés d’un chauffeur, 3 enquêteurs fixe). L’emplacement des mobiles dans le véhicule, ainsi
que les enquêteurs sont permutés par demi-journées.
Les mesures piétons et dans les trains ont été réalisées par des équipes de 6 personnes
(3 enquêteurs mobile et 3 enquêteurs fixe). Les emplacements des enquêteurs et des mobiles ont été
permutés environ tous les 10 appels.
Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble
des trois réseaux.
Les enquêteurs fixe étaient situés dans les locaux de DIRECTIQUE à Paris 14ème.
1.5.2 Maîtrise de la qualité des mesures
Le travail de chaque équipe est guidé et sécurisé par une application informatique qui rythme
les appels et indique le sens de l’appel et le mobile (2G ou 3G) utilisé. Elle permet aussi la saisie par
l’enquêteur fixe des informations relatives à la mesure : bilan et repères topographiques communiqués
par l’enquêteur mobile pendant les communications.
Les positions des mesures sont repérées par un système de localisation GPS. Ceci permet de
vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic
en cas de problème.
Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant
anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’ils proviennent du
réseau d’un opérateur et sont non récurrents, ils sont considérés comme des inconvénients subis par les
clients, et les mesures sont prises en compte. S’ils sont récurrents (panne totale d’un réseau dans une
zone par exemple), ils sont immédiatement signalés à l’ARCEP qui définit la conduite à tenir
(continuer les mesures, annuler les mesures, suspendre les mesures puis les refaire, …).
Le matériel utilisé pour les tests (mobiles, batteries, chargeurs, kit oreillette) a fait l’objet
d’une attention particulière des enquêteurs afin d’éviter que des défaillances n’influencent les résultats
des mesures.
1.5.3 Maîtrise des quotas
Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas, établis sur la
base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France,
ont été définis.
Ces quotas ont fait l’objet d’un suivi rigoureux portant sur le respect de la répartition horaire
des mesures, la proportion du trafic « fixe vers le mobile » et « mobile vers le fixe », la répartition des
mesures entre les terminaux 2G et 3G ainsi que sur la précision statistique maximale admise portant
sur les résultats à publier.
De plus, la méthodologie appliquée consiste à respecter les quotas de répartition de mesures en
agglomérations :
 de plus de 400 000 habitants entre les « zones très denses » et les « autres zones denses » ;
 de 10 000 à 400 000 habitants entre « la ville » qui est la commune principale, et le « reste
de l’agglomération ».

19/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Pour toutes les agglomérations, les mesures piéton ont été réparties selon le type de bâtiment :
lieux publics, immeubles de bureaux privés, locaux d’habitations privés. Les mesures à l’extérieur de
bâtiment ont été réalisées en déplacement : « dynamique » ou à l’arrêt : « statique ».
Le tableau ci-dessous définit les quotas et présente leur respect lors de l’enquête.
Périmètre d’application
Définition des quotas
Cible Réalisé
Fixe vers mobile
33 %
33 %
Sens d'appel
Mobile vers fixe
67 %
67 %
Agglomérations de plus
Bouygues Telecom
10 %
10 %
Appels avec le
de 10 000 habitants et sur
Orange France
20 %
20 %
terminal 3G
les axes de circulation
SFR
30 %
30 %
Précision statistique
Sur les résultats à publier
2,5 % < 2,5 %
maximale admise
Tranches horaires
Heures pleines
40 %
37 %
Durée des appels
Appels de 5 min
50 %
50 %
Agglomérations de plus
Bureau
20 % 19,5 %
Mesures à l’intérieur
de 10 000 habitants, hors
Lieu privé
30 %
29 %
de bâtiment
trains de banlieue
Lieu public
50 % 51,5 %
Mesures à l’extérieur Statique
33 % 33,6 %
de bâtiment
Dynamique
67 % 66,4 %
Agglomérations de plus
Répartition de
ZTD
50 %
50 %
de 400 000 habitants
mesures par zone
AZD
50 %
50 %
«Ville»
67 %
70 %
Agglomérations de 10 000 Répartition de
à 400 000 habitants
mesures par zone
«Reste de
33 %
30 %
l’agglomération»

20/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2. INDICATEURS DE PUBLICATION DE L’ENQUETE
2.1 Définitions des indicateurs publiés
Une mesure consiste à tenter d’établir une communication vocale puis à évaluer la qualité
auditive de la conversation sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur
trois communications, qu’elles aient abouti ou non.
Les définitions des indicateurs sont résumées dans le tableau ci-dessous :
Indicateurs
Définition
Une communication est considérée comme réussie si l’appel lancé par
Taux de
l’un des enquêteurs aboutit dès le premier essai et si la communication est
communications
maintenue sans coupure. Le taux est calculé sur la base du nombre total
réussies et maintenues : de mesures. Le complément à 100% est donc constitué du taux d’échecs
CR
après une tentative, plus le taux de coupures.
Taux de
Une communication est considérée comme parfaite si elle est réussie au
communications
sens du premier indicateur et si la qualité auditive perçue par les deux
réussies, maintenues
interlocuteurs est parfaite (comparable à la qualité des communications
et de qualité auditive
sur le réseau fixe).
parfaite : TQP
Une communication est considérée comme réussie et de qualité correcte
Taux de
si elle est réussie au sens du premier indicateur et si la qualité auditive
communications
perçue par les deux interlocuteurs est soit parfaite soit acceptable.
réussies, maintenues
Une communication est considérée comme acceptable si la qualité
et de qualité auditive
auditive perçue par les deux interlocuteurs est perturbée légèrement sans
correcte : CRC
toutefois gêner la conversation.
Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du
nombre total de tentatives de communications.
2.2 Principes généraux de la publication
2.2.1 Présentation des tableaux
Pour chaque indicateur, le résultat est publié sur la base de deux valeurs. D’une part, une
valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs. D’autre part, la
qualification de la performance de chaque opérateur autour de cette valeur selon les cinq niveaux : très
inférieur, inférieur, voisin, supérieur et très supérieur à la valeur de référence.
De plus, une comparaison avec les résultats de l’enquête 2008, tenant compte de la précision
statistique de ces mesures, est présente lorsqu’elle est pertinente sous forme d’un signe () ou (). Ce
signe accolé au résultat indique le cas échéant une amélioration ou une dégradation par rapport à
l’année précédente, pour la valeur moyenne comme pour les performances individuelles des
opérateurs.
2.2.2 Qualification de l’opérateur en fonction de la valeur de l’écart par rapport
aux seuils
Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la
valeur de référence (m). La valeur de référence correspond à la moyenne des résultats des trois
opérateurs sur l’indicateur considéré échelonné sur 5 niveaux : très inférieur, inférieur, voisin,
supérieur, très supérieur à la valeur de référence. Les seuils qui déterminent ces niveaux prennent en

21/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

compte la précision statistique des résultats. En effet, les écarts ne sont significatifs que s’ils sont
supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes :
t    t 
• s1 = Max ( 1% ; ,
1

1
645
)
n
• s2 = 4%
où t est la valeur de l’indicateur considéré et n correspond au nombre de mesures réalisées pour cet
indicateur.
La qualification de la performance de l’opérateur est définie en fonction de la valeur de l’écart
par rapport à ces seuils :
Seuil
Performance
Définition
e  -s2
– –
Très inférieur à la valeur de référence
-s2 < e  -s1
–
Inférieur à la valeur de référence
-s1 < e  s1
=
Voisin de la valeur de référence
s1 < e  s2
+
Supérieur à la valeur de référence
e  s2
+ +
Très supérieur à la valeur de référence

2.2.3 Comparaison des résultats avec ceux de l’année précédente
Une comparaison avec l’année précédente est possible lorsque le périmètre et la méthode de
mesure sont identiques. Si tel est le cas, l’évolution par rapport à l’année précédente, pour chaque
opérateur et pour chaque indicateur, est indiquée par un signe accolé au nom de l’opérateur ou de la
moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de
cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision
statistique des résultats :
 1
1 
• ∆ = Max (1% ; ,
1 645 p  1 p 

 )
 1
n
n2 
1
n  1
t  n2  t2
• p =

1
n  n2
où p est le résultat moyen des mesures réalisées durant cette année et l’année précédente, et n1 et n2
correspondent aux nombres de mesures de chacune des deux années.
• signe () : amélioration supérieure à ∆
• absence de signe : indétermination (écart inférieur à ∆)
• signe () : dégradation supérieure à ∆

22/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA
QUALITE DU SERVICE DE VOIX DES RESEAUX DE
DEUXIÈME ET DE TROISIEME GENERATIONS EN
FRANCE METROPOLITAINE
3.1 Usage courant en agglomération

3.1.1 Communications d'une durée de 2 minutes
Ensemble des agglomérations de plus de 10 000 habitants
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
7494 mesures
Taux de communications réussies et
97.3%
maintenues 2 minutes (CR)
=
=
=
Précision statistique
± 0.4%
Taux de communications réussies, maintenues 2
95.5%
minutes et de qualité Parfaite (TQP)
=
=
=
Précision statistique
± 0.5%
Taux de communications réussies, maintenues 2
96.3%
minutes et de qualité Correcte (CRC)
=
=
=
Précision statistique
± 0.4%
Ecart heure pleine / heure creuse (taux de
0.6%
communications réussies et maintenues)
=
=
=
Précision statistique
± 0.3%

Les 12 plus grandes agglomérations
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
3530 mesures
Taux de communications réussies et
97.9%
maintenues 2 minutes (CR)
=
=
=
Précision statistique
± 0.5%
Taux de communications réussies, maintenues 2
96.3%
minutes et de qualité Parfaite (TQP)
=
+
=
Précision statistique
± 0.6%
Taux de communications réussies, maintenues 2
96.1%
minutes et de qualité Correcte (CRC)
=
+
=
Précision statistique
± 0.6%

Ecart heure pleine / heure creuse (taux de
0.6%
communications réussies et maintenues)
=
=
=
Précision statistique
± 0.4%

Comparaison avec l’étude 2008 effectuée pour tous les indicateurs

23/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.1.2 Communications d'une durée de 5 minutes

Ensemble des agglomérations de plus de 10 000 habitants
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
7491 mesures
Taux de communications réussies et
96.6%
maintenues 5 minutes (CR)
=
=
-
Précision statistique
± 0.4%
Taux de communications réussies, maintenues 5
93.8%
minutes et de qualité Parfaite (TQP)
=
+
-
Précision statistique
± 0.5%
Taux de communications réussies, maintenues 5
95.5%
minutes et de qualité Correcte (CRC)
=
=
-
Précision statistique
± 0.5%
Ecart heure pleine / heure creuse (taux de
1.4%
communications réussies et maintenues)
=
=
=
Précision statistique
± 0.5%

Les 12 plus grandes agglomérations
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
3514 mesures
Taux de communications réussies et
97.1%
maintenues 5 minutes (CR)
=
=
-
Précision statistique
± 0.6%
Taux de communications réussies, maintenues 5
94.5%
minutes et de qualité Parfaite (TQP)
=
=
-
Précision statistique
± 0.8%
Taux de communications réussies, maintenues 5
96.2%
minutes et de qualité Correcte (CRC)
=
=
-
Précision statistique
± 0.6%
Ecart heure pleine / heure creuse (taux de
1.2%
communications réussies et maintenues)
=
=
=
Précision statistique
± 0.6%

24/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.2 Autres usages
Comparaison avec l’étude 2008 effectuée pour tous les indicateurs
TGV
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
4493 mesures
Taux de communications réussies et
76.8%
maintenues 2 minutes (CR)

=
+
-
Précision statistique
± 1.2%


Taux de communications réussies, maintenues 2
68.4%
minutes et de qualité Parfaite (TQP)

-
=
=
Précision statistique
± 1.4%



Taux de communications réussies, maintenues 2
72.6%
minutes et de qualité Correcte (CRC)

=
=
=
Précision statistique
± 1.3%



Autoroutes
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
2994 mesures
Taux de communications réussies et
94,5%
maintenues 2 minutes (CR)
=
=
=
Précision statistique
± 0,8%
Taux de communications réussies, maintenues
89,1%
2 minutes et de qualité Parfaite (TQP)
=
=
-
Précision statistique
± 1,1%

Taux de communications réussies, maintenues
92,5%
2 minutes et de qualité Correcte (CRC)
=
=
=
Précision statistique
± 0,9%

25/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Trains de banlieue
Moyenne
Orange
Bouygues
mesurée
SFR
France
Telecom
2998 mesures
Taux de communications réussies et
84.9%
maintenues 2 minutes (CR)

=
=
=
Précision statistique
± 1.3%

Taux de communications réussies, maintenues 2
78.6%
minutes et de qualité Parfaite (TQP)

=
+
=
Précision statistique
± 1.5%


Taux de communications réussies, maintenues 2
82.4%
minutes et de qualité Correcte (CRC)

=
=
=
Précision statistique
± 1.4%



26/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Enquête d’évaluation de la qualité
des services de données des réseaux
mobiles de deuxième et troisième
générations en France métropolitaine

2009

27/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

AVERTISSEMENT

Remarques générales

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité des services
de données des réseaux de téléphonie mobile de deuxième (2G) et de troisième générations (3G) en
France.
L’enquête 2009 s’inscrit dans la continuité des enquêtes précédentes pour lesquelles les
opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Telecom, ainsi que des
associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges
de l’étude.
Les mesures portant sur les réseaux 3G sont réalisées pour les opérateurs commercialisant un
tel réseau au 1er janvier 2009.
Le cahier des charges prévoit, en plus d’une méthodologie de mesure bien précise, un volume
de mesures à réaliser pour chaque service en fonction des typologies d’agglomération mesurées
(TOP 12 et agglomérations de 50 000 à 400 000 habitants) ainsi qu’une répartition par plage horaire
de ces mesures.
Il faut noter que dans le cadre de l’enquête 2009 relative à la qualité des services de données,
le prestataire retenu n’a pas toujours respecté à la lettre le cahier des charges. En effet, le volume de
mesures par service n’a pas été atteint dans les agglomérations du TOP 12, pouvant engendrer une
précision statistique moindre, et la plage horaire 20h-21h n’a pas été auditée. La comparabilité de
certains résultats par rapport à ceux de 2008 peut donc s’en trouver affectée.

Limites de l’exercice

L'évaluation porte sur la qualité des services de données des réseaux mobiles perçue par les
clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une
durée totale de 4 mois.
Afin notamment de rendre l’étude plus représentative de l’usage des services de données,
chacun des réseaux a été testé avec les mobiles 2G et 3G en prenant en compte le volume de données
et de communications 3G de l’opérateur selon les derniers chiffres trimestriels dont dispose l’ARCEP.
Pour les tests de transfert de données, une offre de service d’accès à internet, incluant matériel
de raccordement au PC (carte ou clé USB), est sélectionnée pour chaque opérateur sur le critère de la
meilleure offre « grand public » du haut débit.

Précisions statistiques et arrondies

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente
enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque
résultat est l’intervalle qui contient le résultat selon une probabilité de 95%.
Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de
confiance. Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la
présente enquête ont été arrondis au dixième près. Il convient de rappeler que :
 la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme ;
 le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.

28/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

SOMMAIRE

1. CARACTERISTIQUES TECHNIQUES DE L’ENQUETE.......................... 30
1.1
CONFIGURATION GÉNÉRALE ..................................................................................................................30
1.2
CONSTRUCTION DE L’ÉCHANTILLON....................................................................................................32
1.3
MISE EN ŒUVRE DES MESURES..............................................................................................................35
1.4
GESTION DES QUOTAS ..............................................................................................................................40
2. INDICATEURS DE PUBLICATION DE L’ENQUETE............................... 42
2.1
DÉFINITION DES INDICATEURS PUBLIÉS ..............................................................................................42
2.2
PRINCIPES GÉNÉRAUX DE LA PUBLICATION........................................................................................45
3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA QUALITE DES
SERVICES DE DONNES DES RESEAUX DE DEUXIÈME ET DE TROISIEME
GENERATIONS EN FRANCE METROPOLITAINE ........................................ 47
3.1
LES SERVICES INTERPERSONNELS ET DE NAVIGATION....................................................................47
3.2
SERVICE DE VISIOPHONIE.......................................................................................................................49
3.3
TRANSFERT DE DONNEES EN MODE PAQUETS ...................................................................................50

29/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.1.2 Calendrier, planning et horaires
L’enquête s’est déroulée du 7 septembre au 22 décembre 2009, avec un démarrage le
21 septembre en ce qui concerne les mesures FTP.
Pendant tout le déroulement de l’enquête, les opérateurs, Orange France, SFR et Bouygues
Telecom, ne connaissaient, ni les jours, ni les lieux où s’effectuaient les mesures, ni les abonnements
utilisés dans le cadre de l’enquête. Les mesures sont réalisées du lundi au vendredi, jours fériés exclus.
Le cahier des charges prévoyait que les mesures soient réalisées du lundi au vendredi, jours
fériés inclus, et réparties de façon homogène entre 4 créneaux horaires de 3 heures : 9h-12h ; 12h-15h ;
15h-18h et 18h-21h.
Comme indiqué dans l’avertissement en début de rapport, il faut noter que, dans le cadre de
l’enquête 2009, aucune mesure n’a eu lieu entre 20h00 et 21h00.

1.1.3 Terminaux utilisés

Pour les mesures SMS, MMS, WAP et Visio, les terminaux ont été choisis sur la base des
meilleures ventes des packs de chaque opérateur et de la validation après une vérification fonctionnelle
garantissant que les téléphones sélectionnés ont des performances comparables et qu’ils n’introduisent
pas eux-mêmes de biais dans la mesure.
Les terminaux suivants ont été retenus :
Opérateur 2G 3G
Mode
Orange France
SFR
Bouygues Telecom
2G
SONY ERICSSON
NOKIA
LG
F305
1680
KP500
3G
SAMSUNG
SAMSUNG
NOKIA
F480
L760
5800

Pour les tests de transfert de données, une offre de service d’accès à internet a été sélectionnée
pour chaque opérateur. Les abonnements ont été choisis sur le critère de la meilleure offre « grand
public » du haut débit. Les terminaux et les abonnements suivants ont été sélectionnés : Offre accès
Internet

Orange France
SFR
Bouygues Telecom
HUAWEI E510
OPTION PICO EXPRESS
SAMSUNG NC10
Terminal DATA 3G+
Clef USB 3G+
Carte PCI-Express 3G+
Netbook (modem 3G+ intégré)
Internet Everywhere
Forfait internet
Abonnement
Illimité 4Go
Forfait internet 3G+ 3Go
3G+/Edge Illimité

31/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.2 Construction de l’échantillon

1.2.1 Répartition géographique
400 lieux de mesures devaient être audités sur l’ensemble des agglomérations de plus de
400 000 habitants : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse,
Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble.
La localisation des agglomérations de plus de 400 000 habitants mesurées est présentée sur la
carte ci-dessous :

Lille
Paris
Douai
Strasbourg
Nantes
Lyon
Grenoble
Bordeaux
Nice
Toulouse
Marseille
Toulon

32/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

350 lieux de mesures devaient être audités sur 20 agglomérations de 50 000 à 400 000
habitants : Valenciennes, Metz, Orléans, Avignon, Reims, Brest, Caen, Le Mans, Limoges, Perpignan,
Besançon, Troyes, La Rochelle, Lorient, Menton, Chalon sur Saône, Vichy, Agen, Beauvais, Cluses.

La localisation de ces agglomérations de 50 000 à 400 000 habitants mesurées est présentée
sur la carte ci-dessous :

Valenciennes
Reims
Metz
Beauvais
Caen
Brest
Troyes
Besançon
Lorient
Le Mans
Chalon-
sur-Saône
Orléans
Cluses
La Rochelle
Vichy
Limoges
Avignon
Agen
Perpignan
Menton

33/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Au sein de chaque agglomération, on distingue les “zones très denses” et les “autres zones denses”
selon les critères suivants :
 zones très denses (ZTD) : centre ville de la ou des communes principales, zones de transit
(gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et
autoroutes dans les limites de l’agglomération,
 autres zones denses (AZD) : continuum bâti autour des zones très denses, autres centres villes
de plus de 5 000 habitants, autres axes urbains au sein de l’agglomération.

1.2.2 Lieux de mesures
Les lieux de mesures ont été choisis aléatoirement et répartis au sein de chaque agglomération
auditée. En chaque lieu le cycle de mesures a été le suivant :

Services
Cycle de mesure
SMS
MMS
WAP
WAP
FTP DL 5 Mo
FTP UL 1 Mo
FTP DL 5 Mo
FTP UL 1 Mo

Sur les points de mesures Visio, le cycle a été le suivant :

Services
Cycle de mesure
Visio INDOOR
(à l'intérieur des
bâtiments)
Visio OUTDOOR
(à l'extérieur des
bâtiments)

1.2.3 Volumétrie des mesures
La volumétrie moyenne, par service, réalisée par opérateur sur les deux typologies
d’agglomération (TOP 12 et agglomérations de 50 000 à 400 000 habitants) a été la suivante :

34/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Volumétrie moyenne
Volumétrie attendue
Volumétrie moyenne
Volumétrie attendue
Services
réalisée par opérateur
par opérateur
réalisée par opérateur
par opérateur
Agglo 50/400
Agglo 50/400
TOP 12
TOP 12
SMS
350
350
382
400
MMS
348
350
382
400
WAP
688
700
750
800
FTP DL 5 Mo
640
700
640
800
FTP UL 1 Mo
640
700
640
800
VISIO
non mesuré
non mesuré
467
500

Comme indiqué dans l’avertissement en début de rapport et comme constaté dans le tableau
ci-dessus, il faut noter que dans le cadre de l’enquête 2009, le volume de mesures par service n’a pas
été atteint dans les agglomérations du TOP 12, pouvant engendrer une précision statistique moindre.

1.3 Mise en œuvre des mesures

1.3.1 Dispositions générales
Toutes les mesures, exceptées les mesures de visiophonie, ont été réalisées à bord d’un
véhicule de mesure à l’arrêt. Sur chaque lieu de test, les enquêteurs relèvent les données de
positionnement géographique (adresse et GPS) puis réalisent successivement les mesures sur
l’opérateur qui leur est attribué quotidiennement.
Pour les services nécessitant un terminal « émetteur » et un terminal « récepteur », ceux-ci
sont inversés toutes les 5 mesures afin de limiter tout biais lié au matériel.

1.3.2 Mesure SMS
1.3.2.1
Protocole de mesure

Une mesure consiste à tenter d’envoyer un message SMS, puis à mesurer son délai de
réception et à vérifier son intégrité, sur chacun des réseaux testés. Pour chaque opérateur, les mesures
sont réalisées pour des messages envoyés depuis et vers des mobiles du réseau de l’opérateur. Les
mobiles d’émission et de réception sont situés dans la même zone géographique, à l’extérieur des
bâtiments. Le mobile de réception, du même modèle que le terminal utilisé pour l’émission, est allumé
et en état de veille.
Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué
de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite duquel est
ajouté le numéro d’identification de la mesure.

35/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.3.2.2 Synoptique de la mesure
EMISSION DU SMS
RECEPTION DU SMS

Préparation du

SMS : 26 lettres
Consultation
Envoi du
Réception
majuscules de
du SMS
SMS
du SMS
l’alphabet + numéro
de la mesure
Clic sur
« Message
Notification de
« Envoyer »
envoyé »
la réception

Délai d’émission
Délai de réception
du SMS
Délai de réception

Hors délai : 2 minutes

1.3.3 Mesure MMS
1.3.3.1 Protocole de mesure

Une mesure consiste à tenter d’envoyer un message MMS, et à mesurer son délai de réception
sur chacun des réseaux testés. Les mesures sont réalisées pour des messages envoyés depuis et vers
des mobiles du réseau d’un même opérateur. Les mobiles d’émission et de réception sont situés dans
la même zone géographique, et les mesures sont réalisées à l’extérieur des bâtiments. Le mobile de
réception, du même modèle que le terminal utilisé pour l’émission, est allumé et en état de veille.
Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué
d’une part, de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite
duquel est ajouté le numéro d’identification de la mesure, et d’autre part, d’une photo (au format JPG)
de 50ko :

Pour s’assurer de l’envoi de messages multimédia identiques, un modèle (texte + photo) est

36/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

enregistré dans chaque mobile au préalable. Les enquêteurs utilisent ce modèle auquel ils rajoutent le
numéro du test permettant l’identification entre l’envoi et la réception.

Exemple de contenu du MMS de la mesure n°325 :
« ABCDEFGHIJKLMNOPQRSTUVWXYZ 325 » + photo JPG de 50ko.

1.3.3.2 Synoptique de la mesure

EMISSION DU MMS
RECEPTION DU MMS

Préparation du
message : 26

Réception

lettres majuscules

Envoi du
Téléchargement
Consultation
de l’alphabet +
de la
message
du message
du message
numéro de la
notification
mesure + photo
du message
JPG de 50ko
Clic sur
« Message
Notification du
« Message
« Envoyer »
envoyé »
message et début
reçu »
du téléchargement
Délai d’émission
Délai de
Délai de
notification
téléchargement
Délai de réception

Hors délai : 5 minutes

1.3.4 Mesure WAP
1.3.4.1 Protocole de mesure

Une mesure se décompose en 2 étapes indépendantes :

 accès au portail multimédia mobile de l’opérateur ;
 navigation d’une durée de 5 minutes.

Les pages retenues pour ces tests correspondent à celles des sites d’information les plus
fréquentés par les abonnés de chaque opérateur. La navigation consiste à parcourir ces sites
d’information accessible sans facturation.
Le protocole utilisé pour chaque opérateur est le plus utilisé par ses abonnés en termes de
trafic, à savoir le WAP.
Les mesures sont effectuées à l’extérieur des bâtiments et restent statiques.

37/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.3.4.2 Synoptique de la mesure

ACCES AU PORTAIL
NAVIGATION SERVICE
ATTENTE

Mobile en
Vérification

Accès au

veille depuis 1
Connexion

service (site
intégrité de
Temps inter-
Temps inter-
minute
au portail
d’informatio
la page :
page : 20
mesure : 1
minimum
de
n) ou page
contenu,
secondes
minute
Vidage du
l’opérateur
du service
mise en

cache
page
Navigation durant 5 minutes
Clic bouton
Portail
Clic
Page
d’accès au
affiché
sur
affichée
portail
lien
Délai de
connexion
Délai
au portail
Inter page

Hors délai :
Hors délai :
30 secondes
30 secondes
1.3.4.3 Echecs de navigation

La navigation est arrêtée et la mesure est considérée en échec en cas d’échec bloquant ou de
délai de chargement de la page d’accueil supérieur à 30 secondes. Les échecs bloquants sont les
suivants :
 blocage de la navigation ou rupture de la connexion,
 si une page n’est pas affichée au bout de 30 secondes, sans possibilité de retour à la page
précédente (si le retour est possible au bout des 30 secondes, la navigation continue selon le
scénario prévu).

1.3.4.4 Liste des sites audités
Pour chaque opérateur, les sites testés ont été les suivants :
Orange France
SFR
Bouygues Telecom
Actualité
Actu people
Allociné
Bourse
Au féminin
Closer
Cinéma
Boursier.com
LCI
Humour
Hotblog
Météo Live
Météo
Météo France
Nouvelles frontières
People
Pages Jaunes
RFI
Resto & bar
Toute l'info
Sport

Le cahier des charges prévoyait que 10 sites WAP soient testés par opérateur. Il convient de
noter que, dans le cadre de l’enquête 2009, 6 à 8 sites WAP ont été testés par opérateur.

38/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.3.5 Mesure FTP
1.3.5.1 Protocole de mesure

Une mesure consiste, sur chacun des réseaux testés, à :

 se connecter, via le modem de l’opérateur, à un serveur relié à internet et mesurer le délai
d’établissement de la liaison ou noter l’échec éventuel ;
 télécharger ou envoyer, selon le protocole FTP, un fichier et mesurer le délai de transfert ou
noter l’échec éventuel (en distinguant les échecs de connexion au serveur FTP, de coupure en
cours de communication, et les abandons hors délai) ;
 vérifier que le fichier est intégralement téléchargé.

Les fichiers utilisés pour les transferts de données sont identiques pour les opérateurs :

 un fichier de 5 Mo pour le téléchargement en sens descendant (download) ;
 un fichier de 1 Mo pour l’envoi en sens montant (upload).

Pour chaque téléchargement, une connexion/déconnexion réseau est effectuée. Le time out de
connexion est de 1 minute. Les timeout de téléchargement après connexion sont respectivement de
2 minutes en upload (Dmax) et de 5 minutes en download (Dmax). Au-delà de ces temps, les
téléchargements sont abandonnés et considérés comme échoués.

1.3.5.2 Synoptique de la mesure
AVANT TEST
CONNEXION
TRANSFERT
DECONNEXION
PC Carte

déconnectée
Connexion
Connexion
Téléchar-
Vérification
Déconnexion
Déconnexion
depuis
au réseau
au serveur
gement ou
du fichier
du serveur
du réseau
minimum 1
FTP
émission du
reçu
FTP
minute
fichier

Demande de
PC
Demande de
Fichier
connexion
connecté :
téléchargement
reçu
au réseau
indication
ou d’envoi du
du débit
fichier
dans la
barre de
tâche
Délai de
Délai de
connexion
téléchargement

Hors délai : 1
Hors délai : Dmax
minute

1.3.5.3 Serveurs FTP

Un serveur FTP a été sélectionné à la suite de tests probatoires sur 5 serveurs chez trois
fournisseurs (OVH, EC/IS et Ikoula) :

Fournisseur
OS
IP
Bande Passante
IKOULA
DEBIAN 4
80.93.82.60
50Mbps garanti

39/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

1.3.5.4 Plateforme de tests
Les mesures FTP ont été réalisées à l’aide d’un outil d’acquisition de mesures Data Vision
Client du marché : MQC de la société BTC-Software. MQC se matérialise par un logiciel non-intrusif
comportant un module de lancement de la mesure et un module de paramétrage du protocole.
Une plateforme de test comprend un PC et sa configuration, système d’exploitation,
paramétrages réseau. Des PC Acer 2930Z ont été utilisés pour Orange France et SFR ; pour Bouygues
Telecom, la plateforme de tests a été un Samsung NC10 avec modem 3G+ intégré. La configuration de
référence a été conservée sous forme de ghost afin de permettre ensuite de reconstituer des plateformes
identiques en cas de besoin. Aucune application en dehors de tests n’est autorisée sur ces machines.

1.3.6 Mesure de visiophonie
Une mesure consiste à tenter d’établir une communication de visiophonie entre un mobile
situé sur un lieu de mesure et un mobile situé sur un site fixe, puis à évaluer la qualité globale de la
communication, sur chacun des réseaux testés pendant une durée de 2 minutes.
Les appels sont réalisés par un couple d’enquêteurs mobile et fixe. Le site fixe, où est installé
l’enquêteur fixe, dispose d’une bonne couverture 3G de l’opérateur. L’enquêteur mobile se déplace sur
différents lieux de tests en situation piéton à l’extérieur et à l’intérieur (pièces en premier jour) des
bâtiments, sans que la couverture 3G ne rentre comme critère de choix du lieu choisi. Deux tiers des
appels sont initiés par l’enquêteur mobile et un tiers par l’enquêteur fixe. Une minute de pause entre
les appels sur le même terminal est systématiquement respectée. Le quota d’appels sortant /entrant est
assuré par un cadencement de la base de saisie. Cette dernière est renseignée par l’enquêteur fixe en
notant :
 l’échec éventuel, si l’appel échoue ou est coupé moins de 5 secondes après le décroché ;
 coupure avant 2 minutes de maintien.

1.4 GESTION DES QUOTAS

Pour la construction de l’échantillon de l’enquête, un certain nombre de quotas, établis sur la
base de valeurs de référence ou de moyennes représentatives du marché actuel des mobiles en France,
ont été définis. Ces quotas portent sur le respect de la répartition horaire des mesures, la répartition des
mesures entres les terminaux 2G et 3G pour chaque service et le nombre des lieux audités. Pour les
tests de visiophonie, les mesures ont été réparties équitablement à l’intérieur et à l’extérieur des
bâtiments.

40/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Le tableau récapitule les quotas cible et réalisés pour l’ensemble des agglomérations :

Définition des quotas
Cible
Réalisé
Orange France
20%
25%
SMS
SFR
30%
30%
Bouygues
10%
20%
Orange France
80%
78%
Mesures avec le terminal 3G
MMS
SFR
80%
79%
Bouygues
80%
80%
Orange France
80%
80%
WAP
SFR
80%
79%
Bouygues
80%
79%
9h - 12h
25%
34%
12h - 15h
25%
35%
Tranches horaires
15h - 18h
25%
28%
18h - 21h
25%
3%
Agglomérations du Autres zones denses
33%
35%
TOP 12
Zones très denses
67%
65%
Répartition géographique
Agglomérations de Autres zones denses
33%
32%
50 000 à 400 000
habitants
Zones très denses
67%
68%

On remarque que le quota de répartition des mesures 2G/3G a bien été respecté pour les
services MMS et WAP. Pour le service SMS, il convient de noter que la part des mesures 3G pour
Orange France et Bouygues Telecom est un peu plus élevée que prévu. Cependant, compte tenu des
résultats des indicateurs pour ce service, autour de 99%, ceci n’a pas d’impact sur les résultats
individuels de ces deux opérateurs, et l’équité entre les trois opérateurs a donc été maintenue.
Le fait qu’aucune mesure n’ait été effectuée de 20h à 21h affecte le quota de mesure réalisée
dans la tranche horaire 18h-21h. Cependant, les mesures ayant été réalisées en un même point de
manière simultanée sur chacun des trois réseaux (un enquêteur par opérateur), l’équité entre les
opérateurs a été respectée.

41/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2. INDICATEURS DE PUBLICATION DE L’ENQUETE
2.1 Définition des indicateurs publiés

2.1.1 Service de messages courts (SMS)
Une mesure consiste à tenter d’émettre un message, puis à mesurer le délai de réception et à
vérifier son contenu, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois
messages, qu’ils aient abouti ou non.
Indicateurs
Définitions
Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai
Taux de messages reçus
de 2 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le
complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 2 minutes, ou
dont le contenu est incorrect.
Taux de messages reçus et dans un Un message est considéré reçu dans un délai inférieur à 30 secondes si le message est reçu au sens du premier
délai inférieur à 30 secondes
indicateur et si le délai de réception du message reçu ne dépasse pas 30 secondes.

2.1.2 Service de messages multimédia (MMS)
Une mesure consiste à tenter d’émettre un message avec une pièce jointe de 50 ko, puis à
mesurer le délai de réception et à vérifier son contenu, sur chacun des réseaux testés. Une mesure sur
trois réseaux porte ainsi sur trois messages, qu’ils aient abouti ou non.
Indicateurs
Définitions
Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai
Taux de messages reçus
de 5 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le
complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 5 minutes, ou
dont le contenu est incorrect.
Taux de messages reçus et dans un
Un message est considéré reçu dans un délai inférieur à 3 minutes si le message est reçu au sens du premier
délai inférieur à 3 minutes
indicateur et si le délai de réception du message reçu ne dépasse pas 3 minutes.

2.1.3 Service de navigation WAP
Une mesure consiste à accéder au portail de l’opérateur, puis à réaliser une succession
de connexions sur des sites « Internet Mobile » à partir du portail de l’opérateur pendant une
durée de 5 minutes.
Indicateurs
Définitions
Taux de réussite de l'accès au
L'accès au portail de l'opérateur est considéré comme réussi lorsque la page d'accueil de l'opérateur est chargée
portail
intégralement sans coupure de connexion dans un délai inférieur à 30 secondes dés la première tentative.
Taux de navigations réussies et
maintenues pendant une durée de 5 La navigation est considérée comme réussie si elle est maintenue et active pendant une durée de 5 minutes sans
coupure de connexion au réseau de données et si le temps inter page ne dépasse 30 secondes.
minutes

42/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2.1.4 Service de transmission de données en mode FTP
Une mesure consiste à établir une connexion au serveur relié à internet par des liens
correctement dimensionnés et à tenter de télécharger ou à envoyer des fichiers en utilisant le protocole
de transfert de données FTP.
Indicateurs
Définition
Une connexion est réussie si elle est établie dans un délai inférieur à 1
Taux de connexions réussies
minute. Le taux de connexions réussies est calculé sur la base de
l’ensemble des mesures réalisées.
Taux de connexions réussies dans un Le taux de connexions réussies dans un délai inférieur à 10 secondes
délai inférieur à 10 secondes
est calculé sur la base de l’ensemble des mesures réalisées.
Un fichier est considéré comme envoyé si le fichier est envoyé
Taux de fichiers de 1 Mo envoyés
intégralement dans un délai Dmax et si son contenu est correct. Le
taux est calculé sur la base du nombre total de fichiers envoyés.
Débit de données atteint pour 90% Cet indicateur correspond au percentile à 90 % des fichiers envoyés
des fichiers de 1 Mo envoyés
Débit de données atteint pour 50% Cet indicateur correspond au percentile à 50 % des fichiers envoyés
des fichiers de 1 Mo envoyés
Débit de données atteint pour 10% Cet indicateur correspond au percentile à 10 % des fichiers envoyés
des fichiers de 1 Mo envoyés
Un fichier est considéré comme reçu si le fichier est reçu
Taux de fichiers de 5 Mo reçus
intégralement dans un délai Dmax et si son contenu est correct. Le
taux est calculé sur la base du nombre total de fichiers téléchargés.
Débit de données atteint pour 90% Cet indicateur correspond au percentile à 90 % des fichiers reçus
des fichiers de 5 Mo reçus
Débit de données atteint pour 50% Cet indicateur correspond au percentile à 50 % des fichiers reçus
des fichiers de 5 Mo reçus
Débit de données atteint pour 10% Cet indicateur correspond au percentile à 10 % des fichiers reçus
des fichiers de 5 Mo reçus

43/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2.1.5 Service de visiophonie
Une mesure consiste à tenter une communication de visiophonie entre un terminal situé sur un
site fixe, assurant une bonne couverture 3G, et un terminal situé sur différents lieux de tests, en
situation piéton à l’extérieur et à l’intérieur des bâtiments.

Indicateurs
Définitions
Taux de communications réussies
Une communication de visiophonie est considérée comme réussie si l’appel lancé par l’un des enquêteurs
aboutit dès le premier essai et si la communication est maintenue 2 minutes sans coupure (voix ou vidéo).
Taux d’échec des communications Une communication de visiophonie est considérée en échec si la première tentative ne permet pas de l’établir
ou de la maintenir plus de 5 secondes sur le réseau.

44/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

2.2 Principes généraux de la publication

2.2.1 Présentation des tableaux
A l’exception des indicateurs relatifs au téléchargement de fichiers en mode FTP, les résultats
de l’enquête sont publiés sur la base, d’une part, d’une valeur de référence choisie comme étant la
moyenne agrégée pour les trois opérateurs et de sa précision statistique et, d’autre part, de la
qualification de la performance individuelle de chaque opérateur autour de cette valeur selon les cinq
niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.
De plus, une comparaison avec les résultats de l’enquête 2008 tenant compte de la précision
statistique de ces mesures est présente lorsqu’elle est pertinente, sous forme d’un signe () ou ()
accolé au résultat indiquant, le cas échéant, une amélioration ou une dégradation par rapport à l’année
précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs.
2.2.2 Choix de la valeur de référence
La valeur de référence (v) est choisie comme étant la réalisation de la moyenne des résultats
des trois opérateurs sur la mesure considérée :
3
 pour les mesures de « taux » : v  t  t /3
i
i 1

3
 pour les mesures de « délais » : v  d  d /3
i
i 1

2.2.3 Choix des seuils
 

t
v
s
s
Pour les mesures de « taux » : on réalise le test d’inégalité suivant : i
min,i où min,i est
[t  s
%]
100
,
défini pour chaque opérateur de telle façon que l’intervalle i
min,i
contienne la
s
valeur (Ti ) du résultat théorique de l’opérateur avec une probabilité de 95%. min,i est calculé
par la formule suivante (n étant le nombre de mesures réalisées pour l’indicateur considéré) :
t 1
(  t )
s
i
i
 ,
1 645.

i
min,
n
 Pour les mesures de « délai » : on calcule l’intervalle de confiance en valeur relative dans
lequel se situe le résultat théorique de chaque opérateur (Di) avec la probabilité de 95% selon
la formule suivante :
i
IC 
.
96
,
1

i
n. di

Où  représente l’écart type du délai moyen mesuré, sa valeur est calculée pour chaque
opérateur :

(d
d )2

/ n
i
 
i
i
n

45/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Pour chaque opérateur, les seuils s1 ets2 sont définis de la façon suivante :

Pour les taux publiés
Pour les délais publiés
 s

1 = Max(1% ; s
)
min,

s1 = Max(5% ; ICi)
i
 s

2 = 4%

s2 = 4%

t 1
(  t )
i
s
i
i
 ,
1 645.

.
96
,
1

IC

i
i
min,
n
n. di

2.2.4 Qualification de l’opérateur
La qualification de l’opérateur se fait en fonction de la valeur de l’écart ( e
t
i ) du taux ( i ) ou du
délai ( di ) mesuré par rapport à la valeur de référence (v) :
Seuil
Performance
Définition
e ≤ -s2 -
- Très inférieur à la valeur de référence
- s2 < e ≤ - s1
-
Inférieur à la valeur de référence
- s1 < e ≤ s1 =
Voisin de la valeur de référence
s1 < e ≤ s2
+
Supérieur à la valeur de référence
e >= s2
+ +
Très supérieur à la valeur de référence
2.2.5 Comparaison des résultats avec ceux de l’année précédente
Les résultats de l’enquête concernant la qualité des services mobiles sont comparés, quand
cela est possible, avec ceux de l’année précédente, pour chaque opérateur, ainsi que la moyenne. Pour
chaque opérateur, et pour chaque indicateur, l’évolution par rapport à l’année précédente est indiquée
par un signe accolé au nom de l’opérateur ou de la moyenne mesurée :
 en cas d’amélioration de la valeur de l’indicateur cette année (t2) par rapport à l’année
précédente (t1) supérieure à ∆ : () ;
 en cas d’indétermination (écart inférieur à ∆) : pas de signe ;
 en cas de dégradation supérieure à ∆ : ().
Avec ∆ = Max (1% ; ∆min), où ∆min est défini de telle façon que si t2 > t1 + ∆min, alors la
valeur théorique T2 est supérieure à la valeur théorique T1 avec une probabilité de 95%. ∆min est
calculé par une formule analogue à celle qui permet le calcul de la précision statistique :
 ∆min = ,
1 645. p 1
(  p 1
)( / n 1
)( / n )
1
2
 p  (n .t  n .t ) /(n  n )
1 1
2 2
1
2
où p est le résultat moyen de mesures réalisées l’année précédente et cette année, et n1 et n2 les
nombres de mesures de chacune des deux années.

46/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3. RESULTATS DE L’ENQUETE D’EVALUATION DE LA
QUALITE DES SERVICES DE DONNEES DES RESEAUX
DE DEUXIEME ET DE TROISIEME GENERATIONS EN
FRANCE METROPOLITAINE

Rappel : le cahier des charges relatif à l’enquête de la qualité des services de données n’a
pas été pleinement respecté par le prestataire (cf. avertissement pages 28 et 35)
3.1 Les services interpersonnels et de navigation

3.1.1 Ensemble des agglomérations de plus de 50 000 habitants

SMS
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
2198 mesures
Taux de messages reçus
99,4%
=
=
=
Précision statistique
+/-0,3%
Taux de messages reçus en moins de 30
secondes
98,8%
=
=
=
Précision statistique
+/-0,4%

MMS
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
2191 mesures
Taux de messages reçus
94,8%
+
+
--
Précision statistique
+/-0,9%
Taux de messages reçus
en moins de 3 minutes
94,4%
+
+
--
Précision statistique
+/-1,0%

Navigation WAP
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
4313 mesures
Taux de réussite de connexion au portail
93,3%
++
+
--
Précision statistique
+/-0,7%
Taux de navigation réussie et maintenue
pendant une durée de 5 minutes
92,3%
+
+
--
Précision statistique
+/-0,8%

47/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.1.2 Agglomérations du TOP 12

SMS
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
1145 mesures
Taux de messages reçus
99,4%
=
=
=
Précision statistique
+/-0,5%
Taux de messages reçus en moins de 30
secondes
98,7%
=
=
=
Précision statistique
+/-0,7%

Comparaison avec l’étude 2008 effectuée pour tous les indicateurs

MMS
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
1145 mesures
Taux de messages reçus
95,4%
+
+
--
↘
↘
↘
↘
Précision statistique
+/-1,2%
Taux de messages reçus
en moins de 3 minutes
95,0%
+
+
--
↘
↘
↘
↘
Précision statistique
+/-1,3%

Comparaison avec l’étude 2008 effectuée pour tous les indicateurs

Navigation WAP
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
2248 mesures
Taux de réussite de connexion au portail
94,3%
+
+
--
↘
↗
↘
Précision statistique
+/-0,7%
Taux de navigation réussie et maintenue
pendant une durée de 5 minutes
93,1%
+
+
--
↘
↘
Précision statistique
+/-0,8%

Comparaison avec l’étude 2008 effectuée pour tous les indicateurs

48/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.2 Service de visiophonie

3.2.1 Agglomérations du TOP 12

Visiophonie
Moyenne
Bouygues
mesurée
Orange France
SFR
Telecom
1402 mesures
Taux de communications réussies et
maintenues 2 minutes
88,9%
++
+
--
Précision statistique
+/-1,6%
Taux d'échecs des communications
tentées
10,3%
++
+
--
Précision statistique
+/-1,6%

49/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.3 Transfert de données en mode paquets
3.3.1 Ensemble des agglomérations de plus de 50 000 habitants

Connexion au réseau
Moyenne
Bouygues
mesurée
Orange France*
SFR**
Telecom***
7777 mesures
Taux de connexions réussies au réseau
98,8%
=
-
+
Précision statistique
+/-0,2%
Taux de connexions réussies en moins
93,1%
de 10s
++
++
--
Précision statistique
+/-0,6%

*L’offre grand public testée pour Orange France est le forfait internet Everywhere 4Go
** L’offre grand public testée pour SFR est le forfait Illimité 3G+
*** L’offre grand public testée pour Bouygues Telecom est le Data forfait 3G+/EDGE Illimité

Envoi de fichiers de 1 Mo
Bouygues
Orange France
SFR
Telecom
Taux de fichier de 1 Mo reçus
96,0%
94,2%
87,4%
Précision statistique
+/- 1,1%
+/- 1,3%
+/- 1,8%
Débit de données atteint pour 90% des fichiers reçus
538,40 Kbps
509,96 Kbps
387,56 Kbps
Débit de données atteint pour 50% des fichiers reçus
1497,08 Kbps
1280,00 Kbps
861,95 Kbps
Débit de données atteint pour 10% des fichiers reçus
1641,03 Kbps
1662,34 Kbps
1193,47 Kbps

*Avertissement, la courbe du pourcentage cumulé de répartition des débits upload présentée ci-après tient compte également
des tentatives en échec

Téléchargement de fichiers de 5 Mo
Bouygues
Orange France
SFR
Telecom
Taux de fichier de 5 Mo reçus
95,7%
92,9%
85,3%
Précision statistique
+/- 1,1%
+/- 1,4%
+/- 1,9%
Débit de données atteint pour 90% des fichiers reçus
1177,82 Kbps
726,58 Kbps
627,30 Kbps
Débit de données atteint pour 50% des fichiers reçus
2811,71 Kbps
2171,33 Kbps
1861,82 Kbps
Débit de données atteint pour 10% des fichiers reçus
4317,03 Kbps
3516,48 Kbps
3062,20 Kbps

*Avertissement, la courbe du pourcentage cumulé de répartition des débits download présentée ci-après tient compte
également des tentatives en échec

50/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

3.3.2 Agglomérations du TOP 12

Connexion au réseau
Moyenne
Bouygues
mesurée
Orange France*
SFR**
Telecom***
3838 mesures
Taux de connexions réussies au réseau
98,8%
=
=
=
Précision statistique
+/-0,2%
Taux de connexions réussies en moins
94,9%
+
+
--
de 10s
↘
↘
Précision statistique
+/-0,5%

*L’offre grand public testée pour Orange France est le forfait Internet Everywhere 4Go
** L’offre grand public testée pour SFR est le forfait Illimité 3G+
*** L’offre grand public testée pour Bouygues Telecom est le Data forfait 3G+/EDGE Illimité

Envoi de fichiers de 1 Mo
Bouygues
Orange France
SFR
Telecom
Taux de fichier de 1 Mo reçus
95,5%
94,4%
92,9%
↗
↘
↗
Précision statistique
+/- 1,6%
+/- 1,8%
+/- 2,0%
Débit de données atteint pour 90% des fichiers reçus
544,12 Kbps ↗
542,95 Kbps ↗
528,93 Kbps ↗
Débit de données atteint pour 50% des fichiers reçus
1454,55 Kbps ↗ 1514,79 Kbps ↗ 1057,85 Kbps ↗
Débit de données atteint pour 10% des fichiers reçus
1641,03 Kbps ↗ 1667,75 Kbps ↗ 1193,47 Kbps ↗
*Avertissement, la courbe du cumulé de répartition des débits upload présentée ci-après tient compte également des tentatives
en échec

Téléchargement de fichiers de 5 Mo
Bouygues
Orange France
SFR
Telecom
Taux de fichier de 5 Mo reçus
95,3%
93,2%
88,0%
↗
↘
↘
Précision statistique
+/- 1,7%
+/- 2,0%
+/- 2,5%
Débit de données atteint pour 90% des fichiers reçus
1145,93 Kbps ↗
835,46 Kbps ↗
657,51 Kbps ↗
Débit de données atteint pour 50% des fichiers reçus
2593,72 Kbps ↗ 2447,42 Kbps ↗ 1861,82 Kbps ↗
Débit de données atteint pour 10% des fichiers reçus
3975,16 Kbps ↗ 3965,92 Kbps ↗ 3022,43 Kbps ↗

*Avertissement, la courbe du cumulé de répartition des débits download présentée ci-après tient compte également des
tentatives en échec

Comparaison avec l’étude 2008 effectuée pour tous les indicateurs

51/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

COURBE DE REPARTITION DES ECHANTILLONS
 COMMUNES DE PLUS DE 50 000 HABITANTS

Répartition des débits Download
80
Bouygues
70
Orange
SFR
60
sreus 50
mee d 40
re
mbo 30
N
20
10
0
0
1000
2000
3000
4000
5000
6000
Débit (kbps)

Aide à la lecture du graphique :

Il y a eu 10 mesures pour Orange France dont les débits ont été enregistrés entre 800 et 900 kbit/s.

Echantillon atteignant un débit minimum (download)
1200
Orange
SFR
1000
vée
Bouygues Telecom
s élu
800
t plbi
dé
au
600
ressu
me
400
dere
mb
No
200
0
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
5500
6000
Débit (kbps)

Aide à la lecture du graphique :
 507 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour Bouygues Telecom
 680 mesures dont la connexion réseau a réussi ont dépassé 2 Mbit/s pour SFR
 880 mesures dont la connexion réseau a réussi ont dépassé 2 Mbits/s pour Orange France

52/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

Répartition des débits Upload
300
Bouygues
Orange
250
SFR
sre 200
use
me d 150
rebmoN 100
50
0
0
500
1000
1500
Débit (kbps)

Aide à la lecture du graphique :
Il y a eu 120 mesures pour Bouygues Telecom dont les débits ont été enregistrés entre 800 et 850 kbit/s.

Echantillon atteignant un débit minimum (upload)
1200
Ora nge
é
SFR
ev 1000
él
Bouygues Tel ecom
us
t plbi 800
dé
au
resu 600
mes
de
400
rebm
No
200
0
0
250
500
750
1000
1250
1500
1750
Débit (kbps)

Aide à la lecture du graphique :
 415 mesures dont la connexion réseau a réussi ont dépassé 1 Mbit/s pour Bouygues Telecom
 933 mesures dont la connexion réseau a réussi ont dépassé 1 Mbit/s pour SFR
 958 mesures dont la connexion réseau a réussi ont dépassé 1 Mbits/s pour Orange France

53/55

ARCEP – Résultats pour l’année 2009 de l’enquête de qualité des services de voix et de
données des réseaux mobiles (2G et 3G) en France métropolitaine

 AGGLOMÉRATIONS DU TOP 12

Répartition des débits Download
40
Bouygues
35
Orange
SFR
30
sreus 25
mee d 20
re
mbo 15
N
10
5
0
0
1000
2000
3000
4000
5000
6000
Débit (kbps)

Voir aide à la lecture ci-dessus

Echantillon atteignant un débit minimum (download)
600
Orange
SFR
é
ev 500
Bouygues Telecom
élus
t plbi 400
dé
s aure 300
u
mes
de 200
re
mb
No 100
0
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
5500
6000
Débit (kbps)

Voir aide à la lecture ci-dessus

54/55