David, Ja, MapReduce är avsedd att fungera på en stor mängd data. Och tanken är att i allmänhet ska kartan och minska funktionerna inte bryr sig om hur många mappers eller hur många reducerare det finns, det är bara optimering. Om du tänker noggrant på den algoritm som jag skrev upp kan du se att det spelar ingen roll vilken mappare får vilka delar av data som finns. Varje inmatningsrekord kommer att finnas tillgänglig för varje reducerad operation som behöver den. ndash Joe K Sep 18 12 på 22:30 I bästa av mina förståelse är rörligt medelvärde inte snygga kartor till MapReduce-paradigmet eftersom dess beräkning väsentligen skjuter fönster över sorterade data, medan MR behandlar icke-skurna rader av sorterade data. Lösningen jag ser är som följer: a) Att implementera anpassad partitioner för att kunna skapa två olika partitioner i två körningar. I varje körning kommer dina reducerare att få olika dataområden och beräkna glidande medelvärde, där det är lämpligt att jag ska försöka illustrera: I första omgången bör data för reduktionsmedel vara: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . här kommer du att cacluate glidande medelvärde för några Qs. I nästa körning bör dina reducerare få data som: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 och caclulate resten av glidande medelvärden. Då måste du sammanställa resultaten. Idé av anpassad partitioner att det kommer att ha två olika sätt att fungera - varje gång dela i lika stora områden men med lite skift. I en pseudokod kommer det att se ut så här. partition (keySHIFT) (MAXKEYnumOfPartitions) där: SHIFT kommer att tas från konfigurationen. MAXKEY maximalt värde för nyckeln. Jag antar för enkelhet att de börjar med noll. RecordReader, IMHO är inte en lösning eftersom den är begränsad till specifik delning och kan inte glida över delningsgränsen. En annan lösning skulle vara att implementera anpassad logik för att dela in data (det är en del av InputFormat). Det kan göras att göra 2 olika bilder, liknar partitionering. svarat 17 sep 12 kl 8:59 När du räknar ett löpande rörligt medelvärde, är det genomsnittligt att placera medelvärdet under mellantidet. I det föregående exemplet beräknade vi genomsnittet av de första 3 tidsperioderna och placerade det bredvid period 3. Vi kunde ha placerat genomsnittet mitt i tidsintervallen av tre perioder, det vill säga intill period 2. Detta fungerar bra med udda tidsperioder, men inte så bra för jämn tid. Så var skulle vi placera det första glidande medlet när M 4 Tekniskt sett skulle det rörliga genomsnittet falla vid t 2.5, 3.5. För att undvika detta problem släpper vi MAs med M 2. Således släpper vi de jämnderade värdena Om vi i genomsnitt ett jämnt antal termer behöver vi släta de jämnda värdena Följande tabell visar resultaten med M 4. Vad är skillnaden mellan att flytta genomsnittligt och centrerat glidande medelvärde Det rörliga genomsnittet var sannolikt den första tekniska undersökningen som användarna och investerarna använde för att bestämma utvecklingen på marknaden. Det glidande genomsnittet stryker prisfluktuationer genom att beräkna ett utvalt antal priser. Detta avlägsnar vilka ingenjörer refererar till som högfrekvent noisequot från data, och från handlarens synpunkt skapar utjämningen en studie som kan användas som en definition för trenden. Medelpriset är ritat på prisdiagrammet tillsammans med prisstängerna. Det finns olika sätt att beräkna genomsnittspriset, inklusive enkla, exponentiella, viktiga och jämnberäknade beräkningar. CQG har två studier, det rörliga genomsnittet och det glidande medelkorset, som båda kan formateras till handlarens intresse och vara en del av villkor, anpassade studier, varningar och handelssystem. Enkelt rörligt medelvärde (SMA) Formeln för en fem dagars SMA är: (Stäng () Stäng () - 1 Stäng () - 2 Stäng () - 3 Stäng () - 4) 5 Fem stänger som börjar med strömmen och arbetet ut till slutet för fyra dagar sedan summeras och divideras med fem. I det här fallet vägs varje slutkurs samma (15). Därför har stängningen idag samma inverkan i beräkningen som slutet för fyra dagar sedan. Om dagens stängning var dramatiskt annorlunda än de närmaste fyra dagarna, kanske från en utbrott i ett handelsområde, kommer SMA att sänka prisåtgärden på grund av denna lika vikt eller lika stor betydelse för de individuella slutkurserna under de senaste fem dagarna. Ju längre reflekteringsperioden används, desto viktigare roll spelar det för. Exponentially Sloothed Moving Average (ESMA) Ett exponentiellt jämnt glidande medelvärde (ESMA) använder bara nuvarande slutkurs, ESMAs tidigare värde och en utjämningskonstant (SC) för beräkningen: ESMA () SCClose () (1- SC) ESMA () - 1) Dagens ESMA är summan av dagens slutkurs multiplicerat med utjämningskonstanten och gårdagens ESMA multiplicerad med 1 minus utjämningskonstanten. Utjämningskonstanten kan vara ett decimaltal mellan noll och 1. Handlare använder en formel för utjämningskonstanten för att approximera ett enkelt glidande medelvärde, 2 (n 1) där n är återkallningsperioden som används i en SMA. Om vi sätter n 5, då 2 (n 1) 26 0.3333. Formeln för fem-dagars ESMA: ESMA () 0.3333Close () (1-0.3333) ESMA () - 1 För att enkelt se hur formeln för utjämningskonstanten approximerar ett enkelt glidande medelvärde, anser att en dags SMA är helt enkelt slutkursen och om vi använder n 1 i ESMA är utjämningskonstanten 2 (11) 22 1. ESMA är då: Dessutom noterar att ESMA är summan av den justerade nuvarande slutkursen och den justerade tidigare ESMA. Detta leder till en omväxling i riktning omedelbart av Esma om slutkursen är över eller under ESMA för första gången. Med andra ord, den första dagen som ligger nära en fallande ESMA kommer att göra att ESMA kommer att dyka upp den dagen. ESMA lagrar inte förändringen i den riktning på marknaden som SMA kan. Många gånger kommer en SMA att fortsätta att utvecklas i samma riktning, beroende på slutkurserna i återkallningsperioden trots den nuvarande slutkursens förändringsriktning. Ett centrerat medelvärde beräknas på samma sätt som det enkla glidande medlet, förutom att den första punkten i det centrerade medlet är plottat i mitten av den angivna återkallningsperioden. Till exempel skulle den första punkten för ett centrerat medelvärde med fem staplar vara ritad på tredje stapeln. I fallet med ett centrerat medelvärde med ett jämnt tal för återkollningsperioden skulle den första punkten plottas i fältet omedelbart till höger om mittfältet.
Comments
Post a Comment