O wadach i zaletach przechowywania danych finansowych w hurtowni danych można by napisać co najmniej serię wpisów (może kiedyś :]), w tym wpisie założę jednak, że posiadamy już takową hurtownię i chcemy się do niej podłączyć z poziomu programu R w celu przeprowadzenia analiz na danych pobranych z hurtowni.
Podłączenie sprowadza się do trzech etapów:
- Utworzenie w systemie źródła danych ODBC
- Instalacji biblioteki dla R służącej do połączenia ze wspomnianym źródłem
- Wykonaniem zapytania i pobraniem danych
W dalszej części wpisu, krok po kroku przeprowadzę Was przez powyższe punkty.
Utworzenie źródła danych ODBC
- Otwieramy Panel sterowania
- Wybieramy Narzędzia administracyjne a następnie Źródła danych ODBC
- Na zakładce DSN Użytkownika klikamy na Dodaj
- Jako sterownik wybieramy SQL Server Native Client
- Podajemy nazwę dla połączenia oraz wybieramy serwer, z którym chcemy się połączyć a następnie przechodzimy dalej
- Wybieramy sposób autentykacji oraz podajemy wymagane dane
- W kolejnych krokach możemy ustawić dodatkowe opcje, jak na przykład wybór domyślnej bazy danych, do której chcemy się podłączyć
- Po podaniu informacji, klikamy na przycisk „Test Data Source” celem sprawdzenia poprawności wprowadzonych ustawień połączenia
Instalacja biblioteki RODBC
Zakładając, że korzystamy z interfejsu graficznego RGui:
- Z menu Packages wybieramy Install Packages
- Możliwe, że zostaniemy zapytani o wybór mirroru, z którego chcemy pobrać bibliotekę
- Następnie, z listy paczek wybieramy RODBC i akceptujemy
- Po chwili biblioteka zostanie zainstalowana
Pobranie danych z bazy
Pobieranie danych z bazy sprowadza się do załadowania biblioteki RODBC, połączenia się ze źródłem danych oraz wykonania kwerendy na bazie danych celem pobrania danych. Przykładowa sesja z programem R mająca na celu pobranie historii transakcji i wyświetlenie krzywej kapitału prezentuje się następująco:
library("RODBC")
db<-odbcConnect("StrategiesResults","user","password")
profits<-sqlQuery(db,"SELECT Profit FROM Trades WHERE StrategyId=1 ORDER BY CloseTime")[,1]
plot(cumsum(profits),type="l")
W pierwszej linijce ładujemy bibliotekę RODBC, druga linijka tworzy nowe połączenie ze źródłem danych ODBC o nazwie StrategiesResults przy użyciu poświadczeń user oraz password. W trzeciej linijce przy użyciu sqlQuery wykonujemy kwerendę na bazie danych, którą od razu obrabiamy wybierając tylko pierwszą kolumnę (końcówka [,1]). Ostatnia linijka odpowiada za narysowania wykresu liniowego (type=”l”) skumulowanych sum na podstawie danych pobranych z tabeli.
Paweł P. gru 14 , 2010 at 11:02 /
„db<-*" – no nie, strzałka na odwrót.
Na tych bazkach się nie znam, ale jak to wygląda?
Tak jakbyśmy chcieli „cofnąć się do tyłu” …
Pozdrawiam serdecznie!
Hołek gru 27 , 2010 at 21:25 /
To ja mam pytanie. Jesteś w stanie wymienić jakieś przewagi systemu R nad innymi narzędziami do profesjonalnej analizy statystycznej? Poza tym, że R jest darmowy oczywiście.
Korzystałeś z innych aplikacji?
luktom gru 28 , 2010 at 00:58 /
O dokładną analizę się nie pokuszę, bo dłużej używałem w praktyce tylko R i Gretla, choć bawiłem się też Matlabem i Mathematicą – więc jeśli poszukujesz porównania pakietów statystycznych to odsyłam do http://en.wikipedia.org/wiki/Comparison_of_statistical_packages
R sty 24 , 2011 at 01:07 /
Trudno mówić o „przewadze”. Istotną zaletą może być to, że R to język programowania, który pozwala pisać własne procedury statystyczne, gdy brak takowych w dostępnych pakietach (jak odmiana Basica w Statistice). R jest ciągle nadzorowany przez tysiące userów (patrząc po maillistach wielu z nich to doktorzy i profesorowie statystyki), więc jak znajdą błąd, to jest on szybko rozwiązywany. Kiedyś martwiłem się o to, na ile mogę „zaufać” R, a teraz śpię spokojnie, chociaż przy nowo poznanych pakietach porównuję wyrywkowo wyniki z innymi pakietami. Nie zawsze różnice oznaczają błędy, a np. inny algorytm i wtedy trzeba rozumieć, dlaczego jest taki wynik a nie inny. Dla początkujących to spore utrudnienie. Jednak w komercyjnych pakietach z poprawą błędów obliczeniowych bywa naprawdę różnie – nie chcę tu robić antyreklamy znanym firmom, ale pewne błędy i czas ich usunięcia jest już legendą. Zalety są takie, że R jest darmowy, ma gigantyczną liczbę zaprogramowanych procedur statystycznych i w miarę łatwy do opanowania język, a także posiada najszybszy czas reakcji społeczności i developerów na błędy. Wady są takie, że niewiele da się wyklikać (np. takim RCommanderem), praktycznie wszystko trzeba wpisać z palca. Przy analizie dataminingowej to może być wręcz dramat z kilobajtami kodu w tle. W takich zastosowaniach sprawdzają się „workbenche”, takie, jak RapidMiner, KNIME czy DataMiner ze Statistiki. Z drugiej strony każdy szanujący się pakiet (WEKA, RapidMiner, KNIME) współpracuje z R i może wykorzystywać jego możliwości, nawet komercyjna Statistica, SPSS czy nawet Excel. Właśnie ze względu na współpracę z tym ostatnim (pakiet RExcel + RCommander) R jest bardzo fajny, bo wzbogaca się o cechy arkusza kalkulacyjnego. Dalej, jeśli chodzi o wady, to niestety, składnia funkcji w wielu pakietach robiących to samo bywa niespójna. Dodatkowo dokumentacja do nich jest często bardzo oszczędna, więc nierzadko wymagana jest dobra znajomość zagadnień statystycznych. Można rzec, że obowiązuje zasada „profesjonaliści dla profesjonalistów”, aczkolwiek wiele ustawień ma wartości domyślne. Co prawda tak samo jest np. w Statistice, gdzie parametrów są dziesiątki, ale „help” do niej to chyba jedna z większych bibliotek statystycznych w sieci. Co do popularności w świecie nauki, to w wielu zachodnich ośrodkach naukowych, głównie we Francji, jak śledzę literaturę, jest wiodącym narzędziem analitycznym i wstawienie „citation”, że wykonano coś z użyciem R jest dobrze widziane przez recenzentów. Zapewne sugeruje, że analityk chwilę pomyślał nad tym, co robi, zanim nacisnął „enter”, czy przeklikał „next, next, OK”. Do Matlaba czy Mapple trudno go porównać, bo nie ma np. obliczeń symbolicznych, czy dedykowanych pakietów inżynierskich. Ma za to znacznie więcej pakietów statystycznych i dataminingowych. Np. na dzień dzisiejszy (styczeń 2011) tylko w tym języku można znaleźć implementację metody maszyn wektorów importujących (następca SVM). Aha, co do wykresów, to bardzo daleko im do artyzmu tych tworzonych przez Statisticę, ale z kolei są bardzo dobrze odbierane w zachodnich publikacjach. Często można spotkać się z takim „przykazaniem”: „If anything, there should be a Law: Thou Shalt Not Even Think Of Producing A Graph That Looks Like Anything From A Spreadsheet”. Podsumowując, nie ma rady i trzeba zainstalować kilka maszyn wirtualnych, zainstalować na nich wersje testowe wybranych pakietów i testować. Jeśli zachodzi potrzeba wykorzystania R jako silnika obliczeń z poziomu języków programowania, to można po gniazdach TCP albo przez OLE COM. Polecam tutaj pakiet RDCOM (ta sama strona www, co RExcel). Zwłaszcza sprawdzi się tutaj platforma MS .NET. Mam nadzieję, że choć odrobinę pomogłem.