Portal de Periódicos da CAPES

Efficient recursive estimation; application to estimating the parameters of a covariance function

1965; Elsevier BV; Volume: 3; Issue: 4 Linguagem: Inglês

10.1016/0020-7225(65)90029-7

1879-2197

D. Sakrison,

Advanced Multi-Objective Optimization Algorithms

In many engineering applications, repeated observations of a random nature are made in an effort to estimate certain parameters associated with the observations. In such a situation, two considerations are usually of paramount importance: computational simplicity and asymptotic efficiency. Stochastic approximation methods were originally introduced to solve regression problems in which no information concerning the statistics of the observations was available beyond a knowledge that certain regularity properties were satisfied. However, a second advantage of these methods is their computational simplicity. We here show that if some knowledge of the statistics of the observations can be assumed, these methods can be modified to yield methods which are asymptotically efficient. Specifically, we consider an estimation method which recursively seeks a solution to the likelihood equation. This method possesses the simple computational structure of previous stochastic approximation methods and, under certain regularity conditions, we show the method to be asymptotically efficient. This method is then applied to the problem of estimating the parameters of the covariance function of a gaussian process. Dans de nombreuses applications de la technique de l'ingénieur, il est fait usage d'observations répétées, prises au hasard, dans le but d'estimer certains paramètres associés aux observations. Dans cette recherche, deux considérations prennent, habituellement, une importance primordiale: ce sont la simplicité du calcul et l'efficacité asymptotique. Les méthodes stochastiques d'approximation ont été introduites, à l'origine, pour résoudre certains problèmes de régression pour lesquels on ne possédait aucune information statistique sur les observations, en dehors de la certitude que certaines conditions de régularitéétaient satisfaites. Un avantage de ces méthodes réside dans leur simplicité de calcul. L'auteur montre, dans cette étude, que lorsqu'on dispose de quelques informations sur la statistique des observations, ces méthodes peuvent être modifiées et deviennent efficaces asymptotiquement. L'auteur considère une méthode d'estimation par récurrence pour la recherche de la solution de l'équation de probabilité. Cette méthode présente la même simplicité de calcul que les méthodes stochastiques d'approximation antérieures et, sous réserve de certaines conditions de régularité, elle est efficace asymptotiquement. La méthode peut, ensuite, être appliquée à l'estimation des paramètres d'une fonction covariante, dans des conditions de Gauss. Auf vielen Gebieten der Technik werden oft wiederholte, ihren Eigenschaften nach zufallsveränderliche Beobachtungen gemacht und zwar mit dem Ziel, die mit diesen Beobachtungen verbundenen Parameter abschätzen zu können. In einer derartigen Situation sind gewöhnlich zwei Gesichtspunkte von ausschlaggebender Bedeutung, nämlich die rechnerische Klarheit und die asymptotische Wirtschaftlichkeit. Ursprünglich wurden zur Lösung gewisser Regressionsprobleme stochastische Annäherungsmethoden eingesetzt. Bei diesen Problemen standen, abgesehen von der Kenntnis, dass gewisse Regelmässigkeitsbedingungen erfüllt werden, keine statistische, die Beobachtungen betreffende Daten zur Verfügung. Eine grosser Vorteil dieser Methoden war deren rechnerische Klarheit. Wir zeigen hier, dass diese Methoden abgewandelt werden können und zwar so dass sie asymptotisch wirtschaftlich sind, vorausgestzt einige statistische Eigenschaften der Beobachtungen sind bekannt. Im besonderen betrachten wir eine Abschätzungsmethode, mit der in rekursiver Weise eine Lösung der Wahrscheinlich-keitsgleichung ϵsucht wird. Die Methode besitzt die rechnerisch einfache Struktur früherer stochastischer Annaherungsmethoden, und wir zeigen, dass die Methode unter gewissen Regelmässigkeitsbedingungen asymptotisch wirtschaftlich ist. Diese Methode wird dann dazu benutzt, die Parameter der kovarianten Funktion eines Gausschen Vorganges abzuschätzen. In molte applicazioni meccaniche, si compiono ripetute osservazioni di genere casuale con lo scopo di valutare certi parametri associati alle osservazioni stesse. In una situazione del genere, due considerazioni sono solitamente d'importanza estrema: la semplicità di compute e l'efficienza asintotica. In origine si erano introdotti metodi d'approssimazione stocastica per risolvere i problemi di regressione per i quali non si disponeva d'informazioni sulla statistica delle osservazioni, se non la conoscenza ehe certe proprietà di regolarità erano state rispettate. Ciò nonostante, un seconde vantaggio di detti metodi sta nella loro semplicità di computo. In questo articolo viene mostrato come se si può presumere una certa qual conoscenza della statistica delle osservazioni, questi metodi possono venire modificati per ottenere metodi asintoticamente efficienti. Speciflcando, si considera un metodo di valutazione che ricerca all'inverso una soluzione dell'equazione di probabilità. Questo metodo possiede la semplice struttura di computo di precedenti metodi di approssimazione stocastica e, in certe condizioni di regolarità, si dimostra che il metodo è asintoticamente efficiente. Il metodo è quindi applicato al problema di valutare i parametri della funzione covariante di un procedimento gaussiano. B; мнo;гич инзe;нe;p;ныч пp;имe;нe;нияч пp;o;B;o;дятc;я пo;B;тo;p;ныe; нa;лy;дQuдe;ния c;лy;khcy;a;инo;гo; чa;p;a;ктe;p;a; c; цe;лью пo;лy;khcy;ить нe;кo;тo;p;ыe; пa;p;a;мe;тp;ы c;B;язa;нныe; c; нa;βлюдe;ниями. o;βьыkhcy;нo;, B; тa;кич c;лy;khcy;a;яч, дB;a; o;βc;y;ждe;ния яB;ляютc;я пe;p;B;o;c;тe;пe;ннo;и B;a;жнo;c;ти: пp;o;c;тo;тa; B;ыkhcy;иc;лe;нии й a;c;c;имптo;тиkhcy;e;c;кa;я эффe;ктиB;нo;c;ть. Пe;p;B;o;нa;khcy;a;льнo; βылиB; B;e;дe;ны мe;тo;ды c;тo;чa;c;тиkhcy;e;c;кo;й a;ппp;o;кc;имa;ции, khcy;тo;βы p;e;щить пp;o;βлe;мы p;e;гp;e;c;ии, для кo;тo;p;ыч инфo;p;мa;ции, кa;c;a;ющиe;c;я c;тa;тиc;тиkhcy;e;c;кич нa;βлюдe;ний нe; βыли дo;c;тy;пны, a; тo;лькo; B;ыпo;o;лнялиc;ь нe;qko;тo;p;ыe; c;B;o;йc;тB;a; p;e;гy;яp;нo;c;ти. o;днa;кo; B;тo;p;ым пp;e;имy;щe;c;тB;o;м этич мe;тo;дo;B; яB;ляe;тc;я ич B;ыkhcy;иc;лтe;льнa;я пp;o;c;тo;тa;. здe;c;ь мы пo;кa;зыB;a;e;м, khcy;тo; e;c;ли мo;знo; пp;e;дпo;лo;зить, khcy;тo; изB;e;c;тнa;, B; нe;кo;тo;p;o;й c;тe;пe;ни, c;тa;тикa; нa;блюдe;ний, эти мe;тo;ды мo;гy;т βытя мo;дифициp;o;B;a;ны тa;к, khcy;тo; пo;лy;khcy;им a;c;c;имптo;тиkhcy;e;c;ки эффe;ктиB;ныe; мe;тo;ды. B; khcy;a;c;тнo;м c;лy;khcy;a;e; p;a;c;c;мa;тp;иB;a;e;м o;цe;нкy;, кo;тo;p;a;я p;e;кy;p;c;иB;нo; иc;khcy;e;т p;e;qiцe;ниe; y;p;a;B;нe;ния пp;a;B;дo;пo;дo;бия. Этo;т мe;тo;д имe;e;т пp;o;c;тy;ю B;ыkhcy;иc;литe;льнy;ю c;тp;y;ктy;p;y; пp;e;дидy;щич мe;тo;дo;B; c;тo;чa;c;тиe;c;кo;й a;ппp;o;кc;имa;ции, и, мы пo;кa;зыB;a;e;м, khcy;тo; пp;и нe;qko;тo;p;ыч y;c;лo;B;ияч p;e;гy;ляp;нo;c;ти мe;тo;д яB;ляe;тc;я a;c;c;имптo;тиkhcy;e;ки эффe;qkтиB;ным. Дa;лe;e; мe;тo;д пp;имe;няe;тc;я к пp;o;блe;мe; o;цe;нки пa;p;a;мe;тp;o;B; кo;B;a;p;иa;нтнo;й фy;нкции гa;y;c;c;o;B;o;гo; пp;o;цe;c;c;a;.