Startseite » Foren » ETL & Base SAS

Gruppen von Beobachtungen in DataSets schreiben

ETL & Base SAS | Eingetragen von MM Genepi. | 21 August, 2007 - 11:26

Hallo, Community,

mir liegen Daten von (unterschiedlich großen) Familien, durch eine ID identifiziert, im DataSet vor.
Nun sollen alle die Familien, wo eine [in der Praxis recht komplexe] Bedingung erfüllt ist, in ein Set 1, die anderen Familien ins Set 2 geschrieben werden.

Prinzipiell funktioniert es, die Daten je einer Familie in ein Array zu schreiben, den Test auf die Bedingung durchzuführen und je nach Ergebnis das Array über eine Schleife ins (txt-)File 1 bzw. 2 auszugeben. Die Textfiles müsste man zur Weiterverarbeitung wieder in DataSets einlesen.

Ich wollte diesen Zwischenschritt über txt-Files vermeiden.
Mir ist bisher nur eine recht umständliche Lösung eingefallen (s. u.), bei Ansätzen mit direktem Zugriff auf die Beobachtungen über MODIFY mit KEY-Option bin ich leider gescheitert.

Hier ist meine vorläufige Lösung:

/* Dataset erzeugen:
     j Nummer des Familienmitglieds (1 ... 3)
     u ist eine beliebige Variable,
     z wird zum Test auf die Bedingung herangezogen,
       hier: z < 0.15
     verteil ist ein Flag, 0: Set2, 1: Set1
*/
DATA a;
DO ID=1 TO 10;
  DO j=1 TO 3;
    u = floor(10*ranuni(-1));
    z = ranuni(-1);
    verteil=0;
    OUTPUT;
  END;
END;
RUN;

/* Variable 'verteil' wird auf 1 gesetzt, wenn für
   irgendein Familienmitglied die Bedingung erfüllt ist
*/
DATA b;
  SET a;
  IF z < 0.15 THEN DO;
    verteil=1;
    OUTPUT;
  END;
  KEEP id verteil;
RUN;

/* Für MERGE wird nur je 1 Wert je Familie stehengelassen */
DATA c;
  SET b;
  BY ID;
  IF last.id THEN OUTPUT;
RUN;

/* MERGE,
   Hinweis: per Definitionem bereits nach ID sortiert
*/
DATA d (drop=_verteil);
  Merge a c (rename=(verteil=_verteil));
  BY ID;
  IF _verteil > 0 THEN verteil=_verteil;
RUN;

/* Separate Ausgabe in Set1 bzw. 2
   je nach Wert der Variable 'verteil'
*/
DATA set1 set2;
SET d;
IF verteil=1 THEN OUTPUT set1;
ELSE IF verteil=0 THEN OUTPUT set2;
RUN;

Hat jemand noch eine einfachere Idee? Auf Ihre Vorschläge bin ich gespannt.
Freundliche Grüße

Meinhard Mende

Anmelden oder registrieren um Kommentare einzutragen | Vorheriges Thema | Nächstes Thema

Wie wäre es mit einer Select-Anweisung?

Eingetragen von awindisch. | 21 August, 2007 - 17:10

Hallo Herr Mende,

eine Möglichkeit wäre es eine SELECT-Anweisung im DATA-Step einzubauen.

z.B.

DATA set1a set2a;
    set d;

    select (Verteil);
      when (1) output set1a;
      otherwise output set2a;
    end;
RUN;

Siehe auch die Online-Doc SELECT Statement .

Damit ist es auch möglich, sehr komplexe Abfragen durchzuführen...

Viele Grüße aus Coburg
Andreas Windisch

» Anmelden oder registrieren um Kommentare einzutragen

zwei Lösungen

Eingetragen von AndreasMangold. | 21 August, 2007 - 17:03

Lösung 1: Die HAVING-Klausel in PROC SQL ermöglicht es, nach Gruppenstatistiken zu filtern.

/* Lösung 1 mit SQL */
proc sql noprint;
   create table set1_1 as
      select * from a group by id having min(z)<0.15 order by id, j;
   create table set2_1 as
      select * from a group by id having NOT min(z)<0.15 order by id, j;
quit;

Lösung 2: man kann mit PROC SORT und WHERE alle Ids herausbekommen, für die die gewünschte Bedingung zutrifft und anschließend im DATA-Schritt die richtigen Detaildatensätze heraussuchen.

/* Lösung 2 mit PROC und DATA */
proc sort data=a out=b(keep=id) nodupkey;
   where z<0.15;
   by id;
run;

data set1_2 set2_2;
   merge a b (in=inb);
   by id;
   if inb then output set1_2;
   else output set2_2;
run;
» Anmelden oder registrieren um Kommentare einzutragen

Es funktioniert, aber mit Warnmeldung

Eingetragen von MM Genepi. | 22 August, 2007 - 10:16

Die (vorläufige) Lösung sieht so aus:

- Nach den Bedingungsprüfungen habe ich pro Familie eine Beobachtung mit der ID und dem 'status' in ein temporäres Set W geschrieben.

- Diese Variable 'status' habe ich mit MERGE allen Familienmitgliedern zugewiesen.

- PROC SQL nahm wie gewünscht je nach 'status' die Verteilung in drei DataSets vor:

PROC SQL noprint;
  create table h0.compl as
    select * from a group by fam having status=1 order by fam, ind;
  create table h0.inc as
    select * from a group by fam having status=2 order by fam, ind;
  create table h0.schrott as
    select * from a group by fam having status=3 or status=4
      order by fam, ind;
QUIT;    
Etwas beunruhigend: Jede SELECT clause "produziert" eine analoge Warnmeldung, hier die dritte:

NOTE: A GROUP BY clause has been discarded because neither the SELECT clause
      nor the optional HAVING clause of the associated table-expression
      referenced a summary function.
NOTE: Table H0.SCHROTT created, with 8 rows and 11 columns.

Ist diese Warnung kritisch? (Mir ist sehr wohl bewusst, dass eine "Verteilung" der Familien alternativ über einen Datenschritt möglich ist.)

Gruß

Meinhard Mende

» Anmelden oder registrieren um Kommentare einzutragen

HAVING nur für Gruppenstatistiken

Eingetragen von AndreasMangold. | 22 August, 2007 - 16:53

HAVING verwendet man nur, wenn man Gruppenstatistiken verwendet, in meinem Beispiel war das die Gruppierung nach Id (GROUP BY Id) und die Statistik MIN(z). Wenn man die Variable Status schon allen Datensätzen zugeordnet hat, wie in Ihrem Fall anscheinend schon geschehen, würde ich einen DATA-Schritt nehmen, da dieser hier effizienter ist (die Daten müssen nur einmal durchlaufen werden). Wenn man es mit SQL machen möchte, verwendet man die WHERE-Klausel statt der SELECT-Klausel:

PROC SQL noprint;
  create table h0.compl as
    select * from a where status=1 order by fam, ind;
  create table h0.inc as
    select * from a where status=2 order by fam, ind;
  create table h0.schrott as
    select * from a where status in (3,4)
      order by fam, ind;
QUIT;
» Anmelden oder registrieren um Kommentare einzutragen

Vielen Dank für die

Eingetragen von MM Genepi. | 23 August, 2007 - 09:35

Vielen Dank für die Hinweise und Ihre Geduld, Herr Mangold!

Da die Bedingungen zur Verteilung der Familien komplexer sind, ließen sie sich nicht in einer einfachen Statistikfunktion fassen. Somit habe ich auch keinen anderen Weg gesehen, als allen Familienmitgliedern über MERGE den gemeinsamen Status zuzuweisen. Dann liegt natürlich ein Datenschritt nahe.

Freundlichen Gruß

Meinhard Mende

» Anmelden oder registrieren um Kommentare einzutragen

von einer Beobachtung auf die Gruppe schließen ...

Eingetragen von MM Genepi. | 22 August, 2007 - 08:16

Vielen Dank, Herr Windisch und Herr Mangold!

SELECT ist eine gute Wahl, obwohl das hier nicht das Kernproblem trifft: Im DataStep kann ich aktuell nur eine Beobachtung halten, muss aber die Bedingung über ALLE Records der Gruppe prüfen, um dann die ganze Gruppe selektiv auszugeben. (Im Beispiel: Im Set D ist die "eigentliche Arbeit" bereits getan.)

Die Idee mit PROC SQL und HAVING werde ich für spätere Anwendungen im Hinterkopf behalten. Im konkreten Sachverhalt kommt man aber nicht am Datenschritt vorbei, um die etwas komplexere Bedingungs-Prüfung durchzuführen.

Die Lösung mit SORT und MERGE besticht durch Eleganz und Durchsichtigkeit. Wenn mir die Anwendung gelungen ist, gebe ich noch einmal ein Zeichen.

Freundliche Grüße und einen guten Tag!

Meinhard Mende

» Anmelden oder registrieren um Kommentare einzutragen